实时计算Flink版
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，具备实时应用的作业开发、数据调试、运行与监控、自动调优、智能诊断等全生命周期能力。内核引擎100%兼容Apache Flink，2倍性能提升，拥有FlinkCDC、动态CEP等企业级增值功能，内置丰富上下游连接器，助力企业构建高效、稳定和强大的实时数据应用。
内置集成数十种连接器，覆盖数据库、消息队列、OLAP引擎等系统。自助编写SQL使用全托管服务对数据进行实时流转集成，帮助企业构建数据中台.从海量数据中实时识别刷单作弊、恶意爬虫等业务风险，避免企业出现巨大的经济损失，还可借助CEP（复杂事件处理）直接在流式处理作业中执行异常情况检测.实时计算Flink版高效的状态...
来自：
云产品
Spark on ECI大数据分析
场景描述 方案优势 1.计算引擎弹性扩缩容，兼顾资源弹性与计 算资源成本优化。 2.计算与存储分离架构，结合阿里云原生云 存储产品，海量数据湖优势。 3.Kubernetes原生的调度性能优势，提升在 大规模分析作业时的分析性能优势分。 4.集群资源隔离和按需分配。 解决问题 1.计算资源弹性能力不足，计算资源成本管 控能力欠缺. 2.集群资源调度能力和隔离能力不足。 3.计算与存储无法分离，大数据量分析时出 现数据存储资源瓶颈。 4.Spark submit方式提交分析作业参数支持 有限等缺点。 产品列表 容器服务Kubernetes版(ACK) 弹性容器实例(ECI) 文件存储HDFS 对象存储OSS 专有网络VPC 容器镜像服务ACR
Yarn的资源隔离是通过绑定用户组（用户）和队列来实现的，不能 做到更精细化的资源隔离控制；Spark on Kubernetes下每个 driver/executor都是 隔离的 Pod，这样可以做到真正的隔离；同时结合 Kubernetes的 namespace能 力限制用户级的内存、CPU、对象等资源的 quota。监控可以细化到每一次提交的作业，甚至可以到每个 ...
EMR集群安全认证和授权管理
场景描述 阿里云EMR服务Kafka和Hadoop安全集群使 用Kerberos进行用户安全认证，通过Apache Ranger服务进行访问授权管理。本最佳实践中以 Apache Web服务器日志为例，演示基于Kafka 和Hadoop的生态组件构建日志大数据仓库，并 介绍在整个数据流程中，如何通过Kerberos和 Ranger进行认证和授权的相关配置。 解决问题 1.创建基于Kerberos的EMR Kafka和 Hadoop集群。 2.EMR服务的Kafka和Hadoop集群中 Kerberos相关配置和使用方法。 3.Ranger中添加Kafka、HDFS、Hive和 Hbase服务和访问策略。 4.Flume中和Kafka、HDFS相关的安全配 置。 产品列表：E-MapReduce、专有网络VPC、云服务器ECS、云数据库RDS版
步骤2 查看 Flume后台日志，发现有报错信息：cd/mnt/disk1/log/flume/default-agent tail-f flume.log 说明该 Flume没有权限消费 Kafka队列的消息，需要通过 Kafka集群的 Ranger配置 消费消息队列的权限。文档版本：20200330 82 EMR集群安全认证和授权管理 EMR Hadoop安全集群和网关集群 步骤3 参考章节 2.6.3，编辑 Kafka...
自建Hadoop迁移MaxCompute
场景描述 客户基于ECS、IDC自建或在友商云平台自建了大数 据集群，为了降低企业大数据计算平台的成本，提高 大数据应用开发效率，更有效保障数据安全，把大数 据集群的数据、作业、调度任务以及业务数据库整体 迁移到MaxCompute和其他云产品。 解决的问题 自建Hadoop集群搬迁到MaxCompute 自建Hbase集群搬迁到云Hbase 自建Kafka或应用数据准实时同步到 MaxCompute 自建Azkaban任务迁移到Dataworks任务 产品列表 MaxCompute，Dataworks、云数据库Hbase版、Datahub、VPC，ECS。
VPN网关 VPN网关是一款基于 Internet的网络连接服务，通过加密通道的方式实现企业数 据中心、企业办公网络或 Internet终端与阿里云专有网络（VPC）安全可靠的连 接。VPN 网关提供 IPSec-VPN 连接和 SSL-VPN 连接。详情请查看 https://www.aliyun.com/product/vpn IPSec VPN 基于路由的 IPSec-VPN，不仅可以更方便的配置和...
基于函数计算FC实现阿里云Kafka消息轻量级ETL处理
在大数据ETL场景，Kafka是数据的流转中心，Kafka中的数据一般是原始数据，可能存在多种数据混杂的情况，需要进一步做数据清洗后才能进行下一步的处理或者保存。利用函数计算FC，可以快速高效的搭建数据处理链路，用户只需要关注数据处理的逻辑，数据的触发，弹性伸缩，运维监控等阿里云函数计算都已经做了集成，函数计算FC也支持多种下游，OSS/数据库/消息队列/ES等都可以自定义的对接
基于函数计算 FC实现阿里云 Kafka消息轻量级ETL处理 最佳实践 业务架构 场景描述 基于函数计算 FC处理消息队列 Kafka中的数据，进行 ETL处理后，将清洗归档后的数据上传到 OSS存储。应用场景 在大数据 ETL场景，Kafka是数据的流转中心，Kafka 中的数据一般是原始数据，可能存在多种 数据混杂的情况，需要进一步做数据清洗后...
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
应用场景 在大数据场景，企业的Kafka实例可能存在多种情况，比如使用阿里云Kafka服务，可能是自建开源Kafka，或者是其他云上的云Kafka。不同的业务使用不同类型的Kafka实例，在这个前提下Kafka实例之间可能会需要消息同步的情况： 同帐号容灾场景：比如Kafka实例都是阿里云Kafka，但是Kafka实例会有主备之分，需要将主Kafka实例的消息实时同步到备Kafka。 跨帐号或异地容灾：这类场景比如主Kafka是阿里云Kafka，备Kafka是IDC开源自建Kafka，或者是其他云上的Kafka。 不同业务之间消息同步：因为现在的业务通常不会是信息孤岛，都需要消息互通，所以可能是A业务的Kafka实例消息需要同步到B业务的Kafka实例，并且这两个Kafka实例归属不同的RAM角色，有自己独自的权限控制。 解决问题 解决使用开源组件做消息同步的高成本问题。 解决使用开源组件做消息同步的并发性能、稳定性问题。 解决使用开源组件做消息同步的可靠性问题（重试机制，容错机制，死信队列等）。 大幅提升构建消息同步架构的效率，降低构建复杂度问题。
（这里有异步调用和同步调用两种方式，为了能快速消费消 息，这里选择异步调用，并且两种调用方式的正文负载大小不同，同步调用为32MB，异步调用为128KB） 触发器启用状态：勾选 批量推送：默认关闭。（可以选择开启，然后可以设置批量推送的条数，批量推送 间隔，根据需求选择是否批量推送） 推送格式：RawData（也...
基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
在大数据ETL场景，将Kafka中的消息流转到其他下游服务是很常见的场景，除了常规的消息流转外，很多场景还需要基于消息体内容做判断，然后决定下游服务做何种操作。 该方案实现了通过Kafka中消息Key的内容来判断应该对MongoDB做增、删、改的哪种DML操作。 当Kafka收到消息后，会自动触发函数计算中的函数，接收到消息，对消息内容做判断，然后再操作MongoDB。用户可以对提供的默认函数代码做修改，来满足更复杂的逻辑。 整体方案通过CADT可以一键拉起依赖的产品，并完成了大多数的配置，用户只需要到函数计算和MongoDB控制台做少量配置即可。
l 云消息队列 Kafka 版：云消息队列 Kafka 版是阿里云提供的分布式、高吞吐、可扩展的消 息队列服务。云消息队列 Kafka 版广泛用于日志收集、监控数据聚合、流式数据处理、在 线和离线分析等大数据领域，已成为大数据生态中不可或缺的部分。l 云数据库 MongoDB 版（ApsaraDB for MongoDB）：完全兼容 MongoDB 协议，基于...
通义灵码助力函数计算FC实现函数编写
现在社会软件开发的复杂性不断增加，服务器配置和运维管理更复杂、开发效率变低。函数计算FC采用无服务器计算模式，用户只需要关注业务逻辑的实现，无需关心底层的服务器配置和运维管理，从而大大降低了运维成本和复杂性，而且具有弹性伸缩、快速部署、按需使用按量付费的特点。通义灵码是阿里云出品的一款基于通义大模型的智能编码辅助工具，可以帮助开发者快速编写高质量的代码，为开发者提供了强大的编程辅助功能。两者的结合让开发者可以更高效地编写函数代码，简化部署流程，提高开发效率。
通义灵码助力函数计算FC实现函数编写 业务架构 场景描述 现在社会软件开发的复杂性不断增加，服务器配置和运维管理更复杂、开发效率变低。函数计算FC采用 无服务器计算模式，用户只需要关注业务逻辑的实现，无需关心底层的服务器配置和运维管理，从而大大 降低了运维成本和复杂性，而且具有弹性伸缩、快速部署、按需使用按...
基于函数计算实现直播流录制-存储-通知
在互娱、教育、电商等行业都会有直播相关的业务，大部分场合都需要对直播相关的业务做安全审核，或者对直播的课程进行录制和转码。该方案实现了一种完全按需拉起、按量弹性、按实际使用付费的录制方案。基于本方案还可以扩展实现直播流截帧、自动化安全审核等能力
基于函数计算实现直播流录制-存储-通知最佳实践 业务架构 场景描述 基于阿里云函数计算实现对直播流的实时录制，录制结束后会把录制的结果写入 OSS 存储桶，并把录制的结果写到消息队列，下游服务可以通 过订阅的方式来消费消息 应用场景 在互娱、教育、电商等行业都会有直播相关的业 务，大部分场合都需要对直播相关的业务...
基于函数计算FC实现物联网音视频处理
在物联网场景中，智能设备会产生大量的非结构化数据，并且采集量和频率都很高。比如各类摄像头（家用摄像头、车载摄像头、工业监控摄像头等）采集的数据。企业需要对这些非结构化数据做快速的分析和处理，然后应用到下游业务中，所以需要一套高并发、低成本、自动化的方案。该最佳实践就适用于这类场景。
基于函数计算FC实现物联网音视频处理最佳实践 场景描述 业务架构 基于阿里云函数计算FC和云工作流（CloudFlow）实现对物联网智能设备采集的音视频做切片、转解码 等视频处理，回传OSS，然后在客户端拉流观看的 自动化流程。应用场景 在物联网场景中，智能设备会产生大量的非结构化数 据，并且采集量和频率都很高。比如各类...
SLS数据入湖Kafka最佳实践
应用和数据分散在多云或混合云，在面对多云/混合云这样大的趋势下，数据无法进行统一的聚合、分析处理和导出等，本方案给出了在多云/混合云场景下，构建通过标准的Kafka协议和托管服务，SLS可以连接Kafka数据入湖导入，然后进行统一的海量数据的集中存储、智能转储、聚合分析查询等。
云消息队列Kafka版：是阿里云基于ApacheKafka构建的高吞吐量、高可扩 展性的分布式消息队列服务，广泛用于日志收集、监控数据聚合、流式数据处 理、在线和离线分析等场景，是大数据生态中不可或缺的产品之一，阿里云提 供全托管服务，用户无需部署运维，更专业、更可靠、更安全. Serverless应用引擎SAE...
基于MSE云原生网关实现全链路灰度
在微服务场景中，应用间的调用是随机的。当您部署的Spring Cloud应用或Dubbo应用存在升级版本时，可能会导致无法将具有一定特征的流量路由到应用的目标版本。通过MSE提供的全链路灰度能力，您无需修改业务代码，就可以实现端到端的全链路流量控制。泳道可以将应用的相关版本隔离成一个独立的运行环境。通过设置泳道规则，可以将满足规则的请求流量路由到目标版本的应用。
【基于MSE云原生网关实现全链路灰度】最佳实践 场景描述 在微服务场景中，应用间的调用是随机的。当您部署 的SpringCloud应用或Dubbo应用存在升级版本 业务架构 时，可能会导致无法将具有一定特征的流量路由到应 用的目标版本。通过MSE提供的全链路灰度能力，您无需修改业务代码，就可以实现端到端的全链路流 量控制。泳道...
基于函数计算FC实现大语言模型部署
在现代AI应用中， Qwen /chatglm2-6b 和Stable Diffusion等模型因其强大的功能而受到关注。然而，这些模型对计算资源的高需求和复杂的运维管理成为部署时的挑战。基于函数计算FC的无服务器计算模式为这类模型的部署提供了全新的解决方案。用户只需关注模型的部署和调用逻辑，而无需关心底层的服务器配置、资源分配和扩展性等问题。函数计算FC能够自动处理函数的执行环境，包括冷启动、弹性伸缩等，确保模型能够在大规模的请求下稳定运行。
基于函数计算 FC实现大语言模型部署最佳实践 业务架构 方式一：魔搭 SwingDeploy模型到 FC 方式二：FC3.0应用模板部署 场景描述 在现代 AI应用中，Qwen/chatglm2-6b等社区模型因其强大的功能而受到关注。然而，这些模型对计算 资源的高需求和复杂的运维管理成为部署时的挑战。基于函数计算 FC的无服务器计算模式为这类模型...
基于FC实现的Web端视频录制最佳实践
场景描述在很多互娱场景，在线教育领域会有直播视频录制的需求，但是往往一个页面上的内容是多种多样的，不止有直播流，可能还有白板，评论等其他元素，如果只是录直播流，那内容是不完整的，所以需要将整个屏幕的内容录制为视频。该最佳实践可以有效解决这个场景。
如果您配置了失败目标，函数计算将自动把失败请求的上下文信息推送到云消息队列 RocketMQ 版等消息服务中，以便后续处理。您也可以将目标服务设置为另一个函数，函数计算将自动把失败请求的上下文信息推送到该函数，执行您自定义的错误处理逻 辑。自动通知下游服务执行结果 ◼ 请求执行成功后，如果您配置了成功目标，函数...
通过ALB+ESS实现应用的弹性伸缩
使用应用型负载均衡（ALB）和弹性伸缩（ESS）智能分配网络流量、动态调整服务器资源，提高应用的高可用性和吞吐量，弹性控制资源利用率、缩减资源成本。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台方案导读高可用与弹性伸缩如何实现弹性伸缩与传统方案对比方案优势方案部署方案权益随需而动：自动弹性，稳定交付本方案使用应用型负载均衡（ALB）和弹性伸缩（ESS）智能分配网络流量、动态调整服务器资源，提高应用的高可用性和吞吐量，...
来自：
解决方案
RocketMQ性能压测快速方案
在客户对产品性能存疑或者给客户进行POC验证时可以用本实践来快速完成性能测试。
云消息队列RocketMQ版：是阿里云基于ApacheRocketMQ构建的低延迟、高 并发、高可用、高可靠的分布式“消息、事件、流”统一处理平台，面向互联网分布 式应用场景提供微服务异步解耦、流式数据处理、事件驱动处理等核心能力。文档版本：20240506 6RocketMQ性能压测快速方案 前置条件 前置条件 在进行本文操作之前，您需要...
基于OSS Object FC实现非结构化文件实时处理最佳实践
现在绝大多数客户都有很多非结构化的数据存在OSS中，以图片，视频，音频居多。举一个图片处理的场景，现在各种终端种类繁多，不同的终端对图片的格式、分辨率要求也不同，所以一张图片往往会有很多张衍生图，那如果所有的衍生图都存在OSS中，那存储的成本会增加，所以就可以通过OSS Object FC的方案，在不同的终端请求时，对OSS中的原图基于终端的要求做实时处理，然后响应返回，这样OSS中只需要存储原图即可。音视频也有类似的场景。
基于OSSObjectFC实现非结构化文件实时处理最佳实践 业务架构 场景描述 基于阿里云OSS和函数计算共同实现的产品化 集成解决方案OSSObjectFC，实现可以OSS 中的非结构化数据在读取时插入自定义业务逻 辑，对非结构化数据做实时处理后再返回。应用场景 现在绝大多数客户都有很多非结构化的数据存 在OSS中，以图片，视频，音频...
Kafka性能压测快速方案
产品性能基线测试场景需要对产品进行性能测试得到详细的压测数据，本方案可以快速构建测试的客户端（kafka官方的压测客户端）和不同的Kafka服务端（ SSD云盘版、高效云盘、Serverless版三种实例），方便客户进行POC完成性能验证。
消息队列kafkaserverless版本身实例未提供具体的云盘类型来选择，其性能表现只 与购买实例时预留的写入、读取的指标有关，写入峰值为预留写入的2倍，读取峰值 为读取预留的2倍 应用场景 借助CADT迅速的搭建Kafka不同类型的实例，并构建压测环境，快速对不同的实例 配置的性能进行压测，以验证不同配置对性能影响，帮助客户...
IPv4网关实现流量统一出入口
对公网流量出入有严格的限制，禁止ECS直接通过挂载公网IP访问互联网带来安全隐患
IPv4网关实现流量统一出入口 最佳实践 业务架构 场景描述 云服务器 ECS拥有了公网 IP（例如固定公网 IP或 者 EIP），可以直接访问公网，不受 VPC路由表控 制。为了降低 ECS直接访问公网可能带来的安全管 控风险，可以使用 IPv4网关及子网路由能力，对 VPC 中访问公网的行为进行约束，根据需求使得子网具备 访问公网的能力...
云消息队列 Kafka 版
云消息队列 Kafka 版是阿里云基于Apache Kafka构建的大数据消息中间件，广泛用于日志收集和分析、数据处理等场景。可提供全托管服务，用户无需部署运维，更专业、更可靠、更安全。
云消息队列 Kafka 版支持连接自建 Logstash服务，实现丰富的数据源导入和导出.Filebeat 日志收集.云消息队列 Kafka 版支持连接自建 Filebeat 日志采集，经由 Kafka 流转到后方 ES 服务.Hbase、Spark 数据处理.云消息队列 Kafka 版数据导入 Hbase 等存储，实现低成本存储和计算分析.Flink 实时数仓.云消息队列 Kafka 版支持...
来自：
云产品
- 产品推荐
- 这些文档可能帮助您