基于函数计算FC实现阿里云Kafka消息轻量级ETL处理
在大数据ETL场景，Kafka是数据的流转中心，Kafka中的数据一般是原始数据，可能存在多种数据混杂的情况，需要进一步做数据清洗后才能进行下一步的处理或者保存。利用函数计算FC，可以快速高效的搭建数据处理链路，用户只需要关注数据处理的逻辑，数据的触发，弹性伸缩，运维监控等阿里云函数计算都已经做了集成，函数计算FC也支持多种下游，OSS/数据库/消息队列/ES等都可以自定义的对接
存储引擎：阿里云 Kafka架构，有云存储和 Local存储。（详细对比参见文档：https://help.aliyun.com/zh/apsaramq-for-kafka/cloud-message-queue-for- kafka/product-overview/comparison-between-storage-engines ）◆消息类型：普通消息。创建Group：◆Group名称：根据实际业务自行填写。Group描述：根据实际业务自行填写...
基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
在大数据ETL场景，将Kafka中的消息流转到其他下游服务是很常见的场景，除了常规的消息流转外，很多场景还需要基于消息体内容做判断，然后决定下游服务做何种操作。 该方案实现了通过Kafka中消息Key的内容来判断应该对MongoDB做增、删、改的哪种DML操作。 当Kafka收到消息后，会自动触发函数计算中的函数，接收到消息，对消息内容做判断，然后再操作MongoDB。用户可以对提供的默认函数代码做修改，来满足更复杂的逻辑。 整体方案通过CADT可以一键拉起依赖的产品，并完成了大多数的配置，用户只需要到函数计算和MongoDB控制台做少量配置即可。
u 存储引擎：阿里云 Kafka 架构，有云存储和 Local 存储。（详细对比参见文档：https://help.aliyun.com/zh/apsaramq-for-kafka/cloud-message-queue-for- kafka/product-overview/comparison-between-storage-engines ）u 消息类型：普通消息。创建 Group：u Group 名称：根据实际业务自行填写。u Group 描述：根据实际...
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
应用场景 在大数据场景，企业的Kafka实例可能存在多种情况，比如使用阿里云Kafka服务，可能是自建开源Kafka，或者是其他云上的云Kafka。不同的业务使用不同类型的Kafka实例，在这个前提下Kafka实例之间可能会需要消息同步的情况： 同帐号容灾场景：比如Kafka实例都是阿里云Kafka，但是Kafka实例会有主备之分，需要将主Kafka实例的消息实时同步到备Kafka。 跨帐号或异地容灾：这类场景比如主Kafka是阿里云Kafka，备Kafka是IDC开源自建Kafka，或者是其他云上的Kafka。 不同业务之间消息同步：因为现在的业务通常不会是信息孤岛，都需要消息互通，所以可能是A业务的Kafka实例消息需要同步到B业务的Kafka实例，并且这两个Kafka实例归属不同的RAM角色，有自己独自的权限控制。 解决问题 解决使用开源组件做消息同步的高成本问题。 解决使用开源组件做消息同步的并发性能、稳定性问题。 解决使用开源组件做消息同步的可靠性问题（重试机制，容错机制，死信队列等）。 大幅提升构建消息同步架构的效率，降低构建复杂度问题。
存储引擎：阿里云Kafka架构，有云存储和Local存储。（详细对比参见文档：https://help.aliyun.com/zh/apsaramq-for-kafka/cloud-message-queue-for-kafka/pro duct-overview/comparison-between-storage-engines） 消息类型：普通消息。创建Group： Group名称：根据实际业务自行填写。 Group描述：根据实际业务...
基于FC实现的Web端视频录制最佳实践
场景描述在很多互娱场景，在线教育领域会有直播视频录制的需求，但是往往一个页面上的内容是多种多样的，不止有直播流，可能还有白板，评论等其他元素，如果只是录直播流，那内容是不完整的，所以需要将整个屏幕的内容录制为视频。该最佳实践可以有效解决这个场景。
基于 FC实现的 Web端视频录制最佳实践 业务架构 场景描述 解决问题 在很多互娱场景，在线教育领域会有直播视频录制的 解决 Web端全屏录制复杂度高的问题。需求，但是往往一个页面上的内容是多种多样的，不 解决 Web端全屏录制灵活扩展性的问题。止有直播流，可能还有白板，评论等其他元素，如果 只是录直播流，那内容是不...
Kafka性能压测快速方案
产品性能基线测试场景需要对产品进行性能测试得到详细的压测数据，本方案可以快速构建测试的客户端（kafka官方的压测客户端）和不同的Kafka服务端（ SSD云盘版、高效云盘、Serverless版三种实例），方便客户进行POC完成性能验证。
值 topic test_kafka_perf1 test_kafka_perf1 test_kafka_perf1 group perf-consumer perf-consumer perf-consumer 分区数 24 24 24 产品介绍 专有网络VPC（VirtualPrivateCloud）：是用户基于阿里云创建的自定义私有网 络,不同的专有网络之间二层逻辑隔离，用户可以在自己创建的专有网络内创建和 管理云产品实例，比如...
云Clickhouse冷热数据分层存储
基于云ClickHouse可以给电商、游戏、互联网以及其他行业提供高性能、高稳定性、低维护成本、高性价比的实时数据分析、精准营销、业务运营、业务分析、业务预警、业务营销、数仓加速等场景化方案，本实践会向客户提供数据库低维护成本、数据库链路构建、冷热分层存储、快熟分析等操作实践。 解决问题 1. 维护成本低不用建设维护体系，稳定性高，数据倾斜自动均衡。 2. 完善的数据同步链路，可以平滑将业务库、大数据、日志服务的数据同步到Clickhouse，降低研发成本。 3. 平滑升级版本，业务中断小。 冷热分层后透明读取，帮客户节约整体数据存储成本。
利用云控制台水平扩容云 ClickHouse 本章节介绍如何通过云控制台进行水平扩容云 ClickHouse集群，增加节点数，提升集 群 计 算 资 源 容 量，水 平 扩 容 参 考 文 档：https://help.aliyun.com/document_detail/172411.html；水平扩容后费用将会发生变化，费用变化参考：...
云效制品仓库 Packages
云效制品仓库 Packages提供Maven私有仓库、Npm私有仓库、通用制品仓库等企业级私有制品仓库服务，用于maven、npm等软件包和依赖管理。
云效精益敏捷定制化方案.maven私有仓库.npm私有仓库.通用制品仓库.云效获得三级认证.公安部网络安全等级保护2.0.国际公认的信息安全管理体系标准.ISO 27001 信息安全认证.广泛认可的质量管理体系认证.ISO 9001 质量管理认证.云效安全认证.支持多种制品类型.相比开源自建，云效制品仓库的优势.更多云效产品.提供对需求、迭代...
来自：
云产品
OpenAPI实现云主机闪电交付
闪电交付最佳实践使用Alibaba Cloud Linux 2 镜像来快速创建大量的ECS云主机，满足客户在处理热点事件时大量且紧急的算力需求。 本实践针对在短暂时间内需要快速交付大量ECS实例的场景。通过调用阿里云Open API实现快速的跨VPC部署大量ECS实例，满足用户对高弹性算力的需求，而且ECS启动的时间很短。对于社交媒体，在线教育等存在线上热点活动的用户，该方案可以提高客户的使用体验
基于阿里云创建的自定义私有网络,不 同的专有网络之间二层逻辑隔离，可以在自己创建的专有网络内创建和管理云产 品实例，比如 ECS、负载均衡、RDS等。在创建前，您需要结合具体业务，规划 VPC 和交换机的数量及网段等。更多信息，请参见：https://www.aliyun.com/product/vpc Alibaba Cloud Linux 2：Alibaba Cloud Linux 2...
混合云数据库统一管理
本最佳实践描述在混合云场景下，用户利用数据库网关将IDC自建数据库和云上RDS实例统一管理。通过DMS管理云上RDS实例和IDC自建数据库，并通过DTS实现IDC数据库和云上RDS的数据同步， DBS将数据备份到云上
基于阿里云创建的自定义私有网络,不 同的专有网络之间二层逻辑隔离，可以在自己创建的专有网络内创建和管理云产 品实例，比如 ECS、负载均衡、RDS等。在创建前，您需要结合具体业务，规划 VPC 和交换机的数量及网段等。更多信息，请参见：https://www.aliyun.com/product/vpc 数据库网关：数据库网关（Database Gateway）是...
云服务器基准性能测试
本最佳实践适合利用标准的benchmark工具对云服务器的CPU、内存、网络和磁盘性能进行测试的场景。
产品列表 云服务器 ECS 专有网络 VPC 云监控 阿里云最佳实践分享群 最佳实践频道 如二维码过期，请搜索群号：31852400 Z'z 文档模板（手册名称）/文档版本信息 阿里云 企业上云实践 云服务器基准性能测试 最佳实践 文档版本：20220218 文档版本：20150122（发布日期）II 云服务器基准性能测试 文档版本信息 文档版本信息 ...
小型互联网迁移阿里云
场景描述 本方案主要适用于中小型互联网企业，从他云 迁移到阿里云的最佳实践。方案中会概述网络 规划、服务器、数据库、存储数据、Kafka和 镜像数据的迁移方案描述。同时在实践环节， 增加服务器和RDS的迁移操作演练和验证。 解决问题 提供服务器、数据库等关键环节的平滑迁移方 案 提供云上高可用架构参考 提供模拟简单的演练回归流程机制 产品列表 云服务器（ECS）、迁云工具（SMC）、数据库 （RDS）、数据库（Redis）、数据传输（DTS）、 负载均衡（SLB）、专有络（VPC）等
基于阿里云创建的自定义私有网络,不 同的专有网络之间二层逻辑隔离，可以在自己创建的专有网络内创建和管理云产 品实例，比如 ECS、负载均衡、RDS等。在创建前，您需要结合具体业务，规划 VPC和交换机的数量及网段等。详见：https://www.aliyun.com/product/vpc ECS：Elastic Compute Service，是一种弹性可伸缩的计算服务...
自建Hadoop迁移到阿里云EMR
场景描述 场景1：自建Hadoop集群数据（HDFS）迁移到 阿里云EMR集群的HDFS文件系统； 场景2：自建Hadoop集群数据（HDFS）迁移到 计算存储分离架构的阿里云EMR集群，以OSS 和JindoFS作为EMR集群的后端存储。 解决的问题 客户自建Hadoop迁移到阿里云EMR集群的 技术方案； 基于IPSecVPN隧道构建安全和低成本数据 传输链路 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
自建 Hadoop数据迁移到阿里云 EMR 场景描述 解决的问题 场景1：自建 Hadoop集群数据（HDFS）迁移到阿 客户自建 Hadoop迁移到阿里云 EMR集群的技 里云EMR集群的 HDFS文件系统；术方案；场景2：自建 Hadoop集群数据（HDFS）迁移到计 基于 IPSec VPN隧道构建安全和低成本数据 算存储分离架构的阿里云 EMR集群，以 OSS 和 传输...
云数据库Redis
云数据库 Redis 版是一种全托管、兼容Redis协议的内存数据库服务，包含社区版Redis和企业版Tair，支持主从、集群和读写分离架构，具备低延迟、大吞吐、弹性扩缩容的特点。Tair提供多种系列满足不同场景的性价比要求，更有全球多活、数据闪回、大热Key探测与优化、丰富的数据结构，赋能大规模高性能要求的在线数据业务。
产品形态丰富，可平滑扩容存储空间、网络吞吐量及连接数.性能灵活扩展.资深阿里云专家提供专业护航服务的缓存数据库，从性能、安全等多维度深入优化内核，修复内核安全漏洞，持续保障服务稳定性.源码级护航.全面可视化管理，所见即所得；全链路监控预警机制，主动升级，免除版本管理烦恼的缓存数据库；智能化运维及管控，...
来自：
云产品
云上成本优化workshop
某金融科技公司，它主要提供信贷，理财，电商等 服务，目前已经拥有千万级注册用户。该公司在将 在线业务系统和大数据业务从自建 IDC 机房迁移 到阿里云后，今年大数据集群经历过多次因为资 源不足导致弹性扩容失败的故障，运维负责人非 常苦恼。由于该公司从事互联网金融的借贷业务， 白天的催收非常依赖晚上大数据计算的结果，若 因为资源不足导致计算结果失败则意味着白天催 收业务员无事可做，会对公司业务造成严重影响。 后来，通过阿里云解决方案架构师建议的方案，将 大数据集群迁移到资源较充足的可用区以及配置 弹性伸缩多规格 ECS 选型增加交付成功率等方 法，目前已阶段性的解决因资源不足导致弹性扩 容失败的问题，但该方案在 Spot 计算资源不足 时，启用大量按量收费算力，带来了较高的成本， 并且抢占式实例和按量付费实例都不保证资源 100%交付，还是存在交付失败的可能性，特别是 在双 11 期间由于其他客户的资源需求上升带来 的资源挤兑客观上存在，就进一步增加了弹性扩 容失败的风险，从而影响业务正常运行。
支持使用已有优惠：使用私有池容量创建的按量付费实例仍然可以匹配已有节省 计划、地域级预留实例券，匹配成功即可抵扣按量付费实例的小时账单。4.2.购买弹性保障 步骤1 通过以下链接进入资源保障控制台，单击购买弹性保障。https://ecs.console.aliyun.com/#/resourceAssurance/region/cn- 文档版本：20210329 36 云上成本...
来自：
最佳实践
相关产品：云服务器ECS,负载均衡 SLB,弹性公网IP,容器服务 ACK,日志服务（SLS）,NAT网关,函数计算,E-MapReduce,云数据库PolarDB,弹性容器实例 ECI,存储容量单位包,预留实例券,Hologres
- 产品推荐
- 这些文档可能帮助您