云消息队列 RocketMQ 版
云消息队列 RocketMQ 版是基于 Apache RocketMQ 构建的分布式消息中间件，广泛用于异步解耦、削峰填谷等场景。可支撑千万级并发、万亿级数据洪峰，更稳定，更安全。
提供丰富的消息类型，满足各种严苛场景下的高级特性需求，当前支持的消息类型涵盖普通消息、顺序消息（全局顺序/分区顺序）、分布式事务消息、定时消息/延时消息.兼容并包，丰富功能引领业务集成.以消息主题、订阅组的粒度，对每个资源都进行严格的访问控制，确保运维操作安全性；全面支持阿里云 RAM 主子账号、黑白名单、...
来自：
云产品
数据同步服务
数据同步 MSS，源于阿里云移动开发平台。移动数据同步 MSS，通过一个安全的数据通道 TCP+SSL，及时、准确、有序地将服务器端的业务数据，主动的同步（SYNC）到客户端 App。提供增量、可靠的消息触达能力，将聊天消息按发送方的发送顺序，有序推送至指定用户。可以动态地将配置信息进行全设备推送，保证在线 APP 可实时接收推送数据。
同一通道内，客户端消息顺序与服务端一致.网络状况良好时，消息推送仅耗时 1 秒。网络遭到干扰时，TCP 长连接重建后即刻完成数据同步.客户端与服务端之间的可靠消息中间件.开通 mPaaS，创建 mPaaS App，并下载配置.查看接入帮助.接入客户端和服务端.完成基础配置、添加 MSS SDK，更新业务代码后，接入服务端.添加推送配置，...
来自：
云产品
消息服务MNS
消息服务 MNS 是一款易集成、高并发、可弹性扩展的轻量消息队列服务。消息服务的轻量队列模型、按量后付费的计费模式、自动适应高并发的弹性可扩展能力，让开发者低成本快速构建分布式、松耦合系统，高效地传递数据和通知消息。
提供更简单，轻量的消息队列，聚焦消息领域核心能力构建。提供轻量 Queue/Topic 资源模型，简单易用无复杂模型概念；提供轻量 HTTP RESTful 接口，原生支持 HTTP 协议对平台无依赖；多种语言SDK：C++、Java、C#、Python、PHP、golang(第三方)、Node.js(第三方).MNS 是标准的 Serverless 化产品，可处理近乎无限的并发请求，...
来自：
云产品
Spring Cloud Netflix应用迁移EDAS
场景描述 Spring Cloud Netflix微服务应用迁移到EDAS 服务（SpringCloud Alibaba云版本）的方法， 迁移后充分利用阿里云监控、调用链、限流降级 等能力，优化应用生命周期管理。 解决问题 1.帮助自建SpringCloudNetflix微服务应用 通过简单修改迁移到阿里云企业级分布式 应用服务（EDAS）平台。 2.迁移到EDAS后，简化应用的运维，提升监 控、调用链探测、限流降级等管理能力，提 高对应用的全生命周期管理。 产品列表 企业级分布式应用服务（EDAS） 负载均衡（SLB） 专有网络（VPC） 云服务器（ECS）
这 5个微服务部署的顺也按照上述顺序完成，部署成功后页面如下：文档版本：20200106 56 Spring Cloud Netflix应用迁移 EDAS 微服务应用部署 EDAS环境 注意：如果此步骤后应用状态不正常，请执行完步骤 14，配置/etc/hosts后重启应用。步骤12 查看日志定位问题。如果应用状态不正常，可以单击应用名称，选择实例部署信息页签...
基于Flink+ClickHouse构建实时游戏数据分析
在互联网、游戏行业中，常常需要对用户行为日志进行分析，通过数据挖掘，来更好地支持业务运营，比如用户轨迹，热力图，登录行为分析，实时业务大屏等。当业务数据量达到千亿规模时，常常导致分析不实时，平均响应时间长达10分钟，影响业务的正常运营和发展。 本实践介绍如何快速收集海量用户行为数据，实现秒级响应的实时用户行为分析，并通过实时流计算Flink/Blink、云数据库ClickHouse等技术进行深入挖掘和分析，得到用户特征和画像，实现个性化系统推荐服务。 通过云数据库ClickHouse替换原有Presto数仓，对比开源Presto性能提升20倍。 利用云数据库ClickHouse极致分析性能，千亿级数据分析从10分钟缩短到30秒。 云数据库ClickHouse批量写入效率高，支持业务高峰每小时230亿的用户数据写入。 云数据库ClickHouse开箱即用，免运维，全球多Region部署，快速支持新游戏开服。 Flink+ClickHouse+QuickBI
步骤6 确认消息被推送到消息队列 Kafka（实际消息条数大于 100，因为有系统启动的日志 也被收集到 kafka，这部分日志会在 Flink流处理时，进行 ETL过滤）。步骤7（可选）查看消息队列 Kafka中的 filebeat的消息格式。文档版本：20201224 44 基于 Flink+ClickHouse构建实时游戏数据分析 日志采集 日志模拟方式二：通过调用 ...
批量计算BCS
阿里云批量计算（BatchCompute）是一种适用于大规模并行批处理作业的分布式云服务。支持海量作业并发规模，系统自动完成资源管理，作业调度和数据加载，并按实际使用量计费。可广泛应用于电影动画渲染、生物数据分析、多媒体转码、金融保险分析、科学计算等领域。
配合消息通知功能，简化用户业务逻辑.批量计算提供了强大的作业管理及作业调度能力，用户创建批量计算作业即可运行各种类型的工作负载.文件接口访问对象存储OSS.支持将对象存储OSS挂载到计算节点的本地文件系统，程序可以通过文件系统接口访问对象存储数据，无缝兼容传统软件上云.通过分布式缓存大幅加速共享数据的并发读取...
来自：
云产品
弹性计算OOS审批流程自动化运维
场景描述 本文以ECS、RDS、SLB搭建一个小型的WEB系 统为例，介绍如何利用OOS在运维常见的部署系统、 扩容系统、回收系统三个场景中添加审批流程，并以 钉钉通知到对应的审批人员。 解决问题 1.对接阿里云API，通过OOS模板执行运维 任务，实现了运维自动化与可视化。 2.运维操作集成了RAM访问控制权限管理， 无需担心操作安全，并可以快速增加审批流 程，提高运维安全与效率。 产品列表 1.运维编排OOS 2.访问控制RAM 3.云服务器ECS 4.RDSMySQL版 5.负载均衡SLB
您可以通过模板来定义执行任 务、执行顺序、执行输入和输出，然后通过执行模板来完成任务的自动化运行。OOS 支持跨产品使用，您可以使用OOS管理ECS、RDS、SLB、VPC等云产品。注意：对OOS比较熟悉的同学可以跳过本章。1.1.基本概念 1.模板：一个YAML或JSON格式的文件，包括一个或多个任务。2.任务：模板的主要组成部分，定义...
Spark on ECI大数据分析
场景描述 方案优势 1.计算引擎弹性扩缩容，兼顾资源弹性与计 算资源成本优化。 2.计算与存储分离架构，结合阿里云原生云 存储产品，海量数据湖优势。 3.Kubernetes原生的调度性能优势，提升在 大规模分析作业时的分析性能优势分。 4.集群资源隔离和按需分配。 解决问题 1.计算资源弹性能力不足，计算资源成本管 控能力欠缺. 2.集群资源调度能力和隔离能力不足。 3.计算与存储无法分离，大数据量分析时出 现数据存储资源瓶颈。 4.Spark submit方式提交分析作业参数支持 有限等缺点。 产品列表 容器服务Kubernetes版(ACK) 弹性容器实例(ECI) 文件存储HDFS 对象存储OSS 专有网络VPC 容器镜像服务ACR
同时，因为在 Spark中，Driver和 Executor 文档版本：20200409 20 Spark on ECI大数据分析 Spark on Kubernetes实践方案对比 之间的启动顺序是串行的，对于一些响应时间要求高的应用，由于 Driver Pod本身资 源占用少，且在启动 Driver Pod以后才是大规模的 Executor Pod启动；因此为了提 升分析作业应用的响应速度，可以让...
自建Hadoop迁移MaxCompute
场景描述 客户基于ECS、IDC自建或在友商云平台自建了大数 据集群，为了降低企业大数据计算平台的成本，提高 大数据应用开发效率，更有效保障数据安全，把大数 据集群的数据、作业、调度任务以及业务数据库整体 迁移到MaxCompute和其他云产品。 解决的问题 自建Hadoop集群搬迁到MaxCompute 自建Hbase集群搬迁到云Hbase 自建Kafka或应用数据准实时同步到 MaxCompute 自建Azkaban任务迁移到Dataworks任务 产品列表 MaxCompute，Dataworks、云数据库Hbase版、Datahub、VPC，ECS。
echo 3>/opt/bigdata/zookeeper/data/myid 1.8.Hadoop操作 首次启动严格按照下列顺序进行 步骤1 在 slave1，2，3节点分别启动 zookeeper zkServer.sh start 在 slave1，2，3节点分别检查 zookeeper的状态 zkServer.sh status 有两个节点的 Mode是 follower，一个节点的 Mode是 leader。步骤2 在 master，master2，slave1...
基于函数计算FC实现阿里云Kafka消息轻量级ETL处理
在大数据ETL场景，Kafka是数据的流转中心，Kafka中的数据一般是原始数据，可能存在多种数据混杂的情况，需要进一步做数据清洗后才能进行下一步的处理或者保存。利用函数计算FC，可以快速高效的搭建数据处理链路，用户只需要关注数据处理的逻辑，数据的触发，弹性伸缩，运维监控等阿里云函数计算都已经做了集成，函数计算FC也支持多种下游，OSS/数据库/消息队列/ES等都可以自定义的对接
（这里有异步调用和同步调用两种方式，为了能快速消费消 息，这里选择异步调用，并且两种调用方式的正文负载大小不同，同步调用为 32MB，异步调用为 128KB）触发器启用状态：勾选 批量推送：默认关闭。（可以选择开启，然后可以设置批量推送的条数，批量推送 间隔，根据需求选择是否批量推送）推送格式：RawData（也可以...
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
应用场景 在大数据场景，企业的Kafka实例可能存在多种情况，比如使用阿里云Kafka服务，可能是自建开源Kafka，或者是其他云上的云Kafka。不同的业务使用不同类型的Kafka实例，在这个前提下Kafka实例之间可能会需要消息同步的情况： 同帐号容灾场景：比如Kafka实例都是阿里云Kafka，但是Kafka实例会有主备之分，需要将主Kafka实例的消息实时同步到备Kafka。 跨帐号或异地容灾：这类场景比如主Kafka是阿里云Kafka，备Kafka是IDC开源自建Kafka，或者是其他云上的Kafka。 不同业务之间消息同步：因为现在的业务通常不会是信息孤岛，都需要消息互通，所以可能是A业务的Kafka实例消息需要同步到B业务的Kafka实例，并且这两个Kafka实例归属不同的RAM角色，有自己独自的权限控制。 解决问题 解决使用开源组件做消息同步的高成本问题。 解决使用开源组件做消息同步的并发性能、稳定性问题。 解决使用开源组件做消息同步的可靠性问题（重试机制，容错机制，死信队列等）。 大幅提升构建消息同步架构的效率，降低构建复杂度问题。
（这里有异步调用和同步调用两种方式，为了能快速消费消 息，这里选择异步调用，并且两种调用方式的正文负载大小不同，同步调用为32MB，异步调用为128KB） 触发器启用状态：勾选 批量推送：默认关闭。（可以选择开启，然后可以设置批量推送的条数，批量推送 间隔，根据需求选择是否批量推送） 推送格式：RawData（也...
基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
在大数据ETL场景，将Kafka中的消息流转到其他下游服务是很常见的场景，除了常规的消息流转外，很多场景还需要基于消息体内容做判断，然后决定下游服务做何种操作。 该方案实现了通过Kafka中消息Key的内容来判断应该对MongoDB做增、删、改的哪种DML操作。 当Kafka收到消息后，会自动触发函数计算中的函数，接收到消息，对消息内容做判断，然后再操作MongoDB。用户可以对提供的默认函数代码做修改，来满足更复杂的逻辑。 整体方案通过CADT可以一键拉起依赖的产品，并完成了大多数的配置，用户只需要到函数计算和MongoDB控制台做少量配置即可。
l 云消息队列 Kafka 版：云消息队列 Kafka 版是阿里云提供的分布式、高吞吐、可扩展的消 息队列服务。云消息队列 Kafka 版广泛用于日志收集、监控数据聚合、流式数据处理、在 线和离线分析等大数据领域，已成为大数据生态中不可或缺的部分。l 云数据库 MongoDB 版（ApsaraDB for MongoDB）：完全兼容 MongoDB 协议，基于...
云消息队列 Confluent 版
云消息队列 Confluent 版是阿里云与 Apache Kafka 项目创始团队所创立的 Confluent 公司合作，基于 Apache Kafka 核心能力提供的企业级全托管消息队列服务，旨在为企业提供集成消息流式处理与大数据系统的一站式解决方案。
Apache Kafka 全托管消息服务，大数据生态中不可或缺的消息产品，具备开箱即用、无缝迁移、安全可靠、免运维等特点.云消息队列 Kafka 版.阿里巴巴官方指定消息产品，成熟、稳定、先进的技术体系打造金融级消息服务，感受双十一产品的完美体验.云消息队列 RocketMQ 版.即 RocketMQ 轻量版，提供轻量模型、轻量 HTTP RESTful ...
来自：
云产品
SLS数据入湖Kafka最佳实践
应用和数据分散在多云或混合云，在面对多云/混合云这样大的趋势下，数据无法进行统一的聚合、分析处理和导出等，本方案给出了在多云/混合云场景下，构建通过标准的Kafka协议和托管服务，SLS可以连接Kafka数据入湖导入，然后进行统一的海量数据的集中存储、智能转储、聚合分析查询等。
云消息队列Kafka版：是阿里云基于ApacheKafka构建的高吞吐量、高可扩 展性的分布式消息队列服务，广泛用于日志收集、监控数据聚合、流式数据处 理、在线和离线分析等场景，是大数据生态中不可或缺的产品之一，阿里云提 供全托管服务，用户无需部署运维，更专业、更可靠、更安全. Serverless应用引擎SAE...
RocketMQ性能压测快速方案
在客户对产品性能存疑或者给客户进行POC验证时可以用本实践来快速完成性能测试。
一键释放资源.29 文档版本：20240506 IIIRocketMQ性能压测快速方案 最佳实践概述 最佳实践概述 方案概述 消息队列RocketMQ5.0版提供多种消息收发实例规格，在创建实例时按照消息读写 TPS总和选择满足业务的规格大小，本实验进行性能压测，来验证实例的消息读写 TPS能力是否符合规格定义的TPS峰值大小。应用场景 借助CADT...
Kafka性能压测快速方案
产品性能基线测试场景需要对产品进行性能测试得到详细的压测数据，本方案可以快速构建测试的客户端（kafka官方的压测客户端）和不同的Kafka服务端（ SSD云盘版、高效云盘、Serverless版三种实例），方便客户进行POC完成性能验证。
消息队列kafkaserverless版本身实例未提供具体的云盘类型来选择，其性能表现只 与购买实例时预留的写入、读取的指标有关，写入峰值为预留写入的2倍，读取峰值 为读取预留的2倍 应用场景 借助CADT迅速的搭建Kafka不同类型的实例，并构建压测环境，快速对不同的实例 配置的性能进行压测，以验证不同配置对性能影响，帮助客户...
基于SpringCloud应用玩转MSE实践
随着业务不断创新，大型的单个应用和服务会被拆分为数个甚至数十个微服务，微服务架构已经被广泛应用。 微服务的好处在于快速迭代，如何在迭代过程中保障线上流量不受损。依赖开源产品缺少无运维工具，常常需要投入较大的运维人力和成本。 本实践提供基于云原生应用产品提供微服务注册配置中心、微服务治理和云原生网关等一系列高性能和高可用的企业级云服务能力。
消息使用消息队列MQ。初始化时系统会自动创建：topic：xl-test，group：xl-test-group、xl-test-group_gray 2.2.核心模块 MSE云原生网关：目前支持SpringCloudGateway、Zuul和Kong三种引擎类型，本实 践选择MSE云原生网关。以下列举MSE云原生网关的一些优势： 服务发现：支持ACK容器服务、NACOS、ZOOKEEPER、SAE、固定...
消息推送
移动网关服务，源于阿里云移动开发平台。消息推送 MPS，针对不同的场景推出多种推送类型，满足个性化推送需求。集成了多家手机厂商的推送功能，方便快速集成移动终端推送功能，与 App 用户保持互动，从而有效地提高用户留存率，提升用户体验。
消息有效期内，消息推送 MPS 确保消息能够在用户在线时下发，保障最终送达率.自定义消息有效期.消息推送 MPS 将小米、华为、Oppo、Vivo 等三方渠道整合，覆盖国内近 90%安卓机型用户.集成多个三方渠道.App 保活状态下 100ms 到达；集成三方安卓渠道下非保活 App 300ms 到达.推送到达率保障.mPaaS 全线降价！点击查看.全线...
来自：
云产品
云消息队列 ApsaraMQ
云消息队列 ApsaraMQ 是阿里云自主研发的消息队列服务系列产品的总称，旨在为开发者和企业的不同业务场景提供强大、可靠、低成本、高弹性且易于管理的消息服务。云消息队列 ApsaraMQ 全系列产品提供 Serverless 化的消息服务，按实际使用量付费，自适应弹性，跨可用区容灾，帮助客户降低使用和维护成本，专注业务创新。
消息系列课程直播回放.ApsaraMQ 产品家族.【产品升级发布会】ApsaraMQ 全新升级，云消息队列 Confluent 版重磅发布！【产品升级发布会】ApsaraMQ 全新升级，云消息队列 Confluent 版重磅发布！《基于 OpenSchema 的 SchemaRegistry 实现》.RocketMQ x EventMesh Open Day 线上直播（四）《基于 RocketMQ 构建阿里云事件驱动...
来自：
云产品
- 产品推荐
- 这些文档可能帮助您