云消息队列 Confluent 版
云消息队列 Confluent 版是阿里云与 Apache Kafka 项目创始团队所创立的 Confluent 公司合作，基于 Apache Kafka 核心能力提供的企业级全托管消息队列服务，旨在为企业提供集成消息流式处理与大数据系统的一站式解决方案。
云消息队列 Confluent 版正式发布！云消息队列 Confluent 版正式发布！查看全部产品.云消息队列 Confluent 版是阿里云与 Apache Kafka 项目创始团队所创立的 Confluent 公司合作，基于 Apache Kafka 核心能力提供的企业级全托管消息队列服务，旨在为企业提供集成消息流式处理与大数据系统的一站式解决方案.查看产品文档.云...
来自：
云产品
RocketMQ性能压测快速方案
在客户对产品性能存疑或者给客户进行POC验证时可以用本实践来快速完成性能测试。
应用场景 在客户对产品性能存疑或者给客户进行POC验 证时可以用本实践来快速完成性能测试。解决问题•RocketMQ性能压测的时候快速构建环境和执 行压测方案。产品列表 最佳实践频道 专有网络VPC http://bp.aliyun.com 云虚拟机ECS 阿里云最佳实践分享群 钉钉搜索钉群号31852400入群 弹性公网IP 消息队列RocketMQ...
Kafka性能压测快速方案
产品性能基线测试场景需要对产品进行性能测试得到详细的压测数据，本方案可以快速构建测试的客户端（kafka官方的压测客户端）和不同的Kafka服务端（ SSD云盘版、高效云盘、Serverless版三种实例），方便客户进行POC完成性能验证。
应用场景 有需要通过PoC得到Kafka产品性能实测数据 时可以用本实践来快速完成环境搭建及性能测 试。解决问题 Kafka压测环境的快速构建 产品列表 Kafka官方压测客户端完成性能压测 专有网络VPC 云虚拟机ECS 弹性公网IP 消息队列Kafka版 消息队列KafkaSeverless版 云速搭CADT 最佳实践频道 ...
基于SpringCloud应用玩转MSE实践
随着业务不断创新，大型的单个应用和服务会被拆分为数个甚至数十个微服务，微服务架构已经被广泛应用。 微服务的好处在于快速迭代，如何在迭代过程中保障线上流量不受损。依赖开源产品缺少无运维工具，常常需要投入较大的运维人力和成本。 本实践提供基于云原生应用产品提供微服务注册配置中心、微服务治理和云原生网关等一系列高性能和高可用的企业级云服务能力。
步骤8 确认订单阶段会列出架构中所有的产品及其价格，需要用户确认无误后勾选接受《云 速搭服务条款》，此时下一步：支付并创建才会高亮，可以单击进行实际的资源购买 和部署。此次方案涉及到云产品费用12.47元/时（不含流量型产品，数据参考20240229官网 数据）步骤9 等待分钟级后，查看应用状态为“部署成功”部署时长与...
云消息队列 MQTT 版
云消息队列 MQTT 版是专为移动互联网(MI)、物联网(IoT)领域设计的消息产品，覆盖直播互动、金融支付、智能餐饮、即时聊天、移动 Apps、智能设备、车联网等多种应用场景；通过对 MQTT、WebSocket 等协议的全面支持，连接端云之间的双向通信，实现 C2C、C2B、B2C 等业务场景之间的消息通信，可支撑千万级设备与消息并发。
Apache Kafka 全托管消息服务，大数据生态中不可或缺的消息产品，具备开箱即用、无缝迁移、安全可靠、免运维等特点.云消息队列 Kafka 版.兼容 AMQP 标准协议以及 RabbitMQ 开源生态与多语言客户端，开箱即用，免运维，更安全、更可靠.云消息队列 RabbitMQ 版.阿里巴巴官方指定消息产品，成熟、稳定、先进的技术体系打造金融...
来自：
云产品
开源Flink迁移实时计算Flink全托管版最佳实践
本方案介绍如何将自建开源Flink集群的流式任务（包含Datastream、Table/SQL、PyFlink任务）迁移至阿里云实时计算全托管版。
3.如果作业中依赖部分不在云上的服务，怎么处理?如果作业依赖的配置中心、作业的输入和输出的持久层等不在云上的服务，需要找 网络运维人员进 行网络打通，网络打通后即可直接使用这些服务。可参考官网 FAQ:Flink全托管集群如何访问公网?4.在实时计算 Flink版产品上如何使用自定义的依赖?ￚ 用户自定义的 connector、三方...
Spark on ECI大数据分析
场景描述 方案优势 1.计算引擎弹性扩缩容，兼顾资源弹性与计 算资源成本优化。 2.计算与存储分离架构，结合阿里云原生云 存储产品，海量数据湖优势。 3.Kubernetes原生的调度性能优势，提升在 大规模分析作业时的分析性能优势分。 4.集群资源隔离和按需分配。 解决问题 1.计算资源弹性能力不足，计算资源成本管 控能力欠缺. 2.集群资源调度能力和隔离能力不足。 3.计算与存储无法分离，大数据量分析时出 现数据存储资源瓶颈。 4.Spark submit方式提交分析作业参数支持 有限等缺点。 产品列表 容器服务Kubernetes版(ACK) 弹性容器实例(ECI) 文件存储HDFS 对象存储OSS 专有网络VPC 容器镜像服务ACR
阿里云的虚拟容 器组实例（ECI）完全兼容原生的 Kubernetes，通过与阿里云容器服务 Kubernetes 版（ACK）的结合，能够为业务驱动型、拥抱云原生进行容器化改造并且专注数据应 用的用户带来更多的数据分析优势。计算引擎弹性扩缩容，兼顾资源弹性与计算资源成本优化。计算与存储分离架构，拥有海量数据湖分析优势。利用 ...
CDH迁移升级CDP最佳实践
当前 CDH 免费版停止下载，终止服务，针对需要企业版服务能力并且CDH 升级过程对业务影响较小的客户，通过安装新的 CDP 集群，将现有数据拷贝至新集群，然后将新集群切换为生产集群，升级过程没有数据丢失风险，停机时间较短，适合大部分互联网客户升级使用。
最大 AM 份额：限制可用于运行应用程序主机的队 列公平份额的比例 最大正在运行的应用程序：限制队列中一次运行的应 用程序数量 最大容器分配：队列可以为单个容器分配的最大资源 量。队列的调度策略（例如，提交的应用程序如何随时间 排序）。它的转换有一些限制。有关更多信息，请参阅Fair Scheduler 功能和转换详细信息...
AHAS多活容灾MSHA
多活容灾MSHA是在阿里电商业务环境演进出来的多活容灾商业化产品，是应用高可用服务AHAS的核心模块，为客户提供容灾架构建设能力。横向支持容灾架构的上线、运维、演练、切流，升级到下线。纵向支持业务流量的全链路管理，从流量接入到服务化调用再到异步化消息，最终完成数据落库。
应用高可用服务专注于提高应用及业务的高可用能力，主要提供应用架构探测感知，故障注入式高可用能力评测和流控降级高可用防护三大核心能力，通过各工具模块可以快速低成本的在营销活动场景、业务核心场景全面提升业务稳定性和韧性.应用高可用服务 AHAS.消息队列 RocketMQ 版（原ONS）是阿里云基于 Apache RocketMQ 构建的...
来自：
云产品
自建Hadoop迁移到阿里云EMR
场景描述 场景1：自建Hadoop集群数据（HDFS）迁移到 阿里云EMR集群的HDFS文件系统； 场景2：自建Hadoop集群数据（HDFS）迁移到 计算存储分离架构的阿里云EMR集群，以OSS 和JindoFS作为EMR集群的后端存储。 解决的问题 客户自建Hadoop迁移到阿里云EMR集群的 技术方案； 基于IPSecVPN隧道构建安全和低成本数据 传输链路 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
yum install-y java java-1.8.0-openjdk-devel.x86_64 ssh slave1"yum install-y java java-1.8.0-openjdk-devel.x86_64"ssh slave2"yum install-y java java-1.8.0-openjdk-devel.x86_64"ssh slave3"yum install-y java java-1.8.0-openjdk-devel.x86_64"步骤5 下载并解压缩 Hadoop 2.10.1文件包。1.下载软件包，下面两...
可观测监控 Prometheus 版
覆盖业务自定义监控/应用组件监控/云服务监控/容器监控/系统监控等场景。默认集成Grafana看板与智能告警，全面优化系统可用性与查询能力，用户无需关注系统可用性与Exporter集成。帮助企业快速搭建一站式指标可观测体系。
一键接入常见云服务，覆盖数据库、中间件等主流应用组件，以及 Java/Go 等主流编程语言构建的应用，支持 ECS 集群中间件的免 Agent 安装监控.创建对应组件的 Exporter，完成数据接入.基于云上存储，存储容量无上限.受限于存储容量.内置 Grafana，各类常见监控模板开箱即用.需要单独部署 Grafana，并自行配置看板.集成 ARMS ...
来自：
云产品
函数计算FC
阿里云函数计算（Function Compute）是一个事件驱动的全托管计算服务。通过函数计算，您无需管理服务器等基础设施，只需编写代码并上传。函数计算会为您准备好计算资源，以弹性、可靠的方式运行您的代码。更棒的是，您只需要为代码实际运行消耗的资源付费，代码未运行则不产生费用。
消息队列（MNS）触发器.编写函数对发布在主题上的消息进行实时处理.内容分发网络（CDN）触发器.编写函数对 CDN 事件（预热、刷新等）进行自定义处理.了解所有触发器支持列表.函数计算FC通过触发器与事件源进行关联，关联后的事件源，会在事件产生时以同步或异步的方式触发函数执行，并将变更事件作为入参传递给入口函数....
来自：
云产品
基于Flink+ClickHouse构建实时游戏数据分析
在互联网、游戏行业中，常常需要对用户行为日志进行分析，通过数据挖掘，来更好地支持业务运营，比如用户轨迹，热力图，登录行为分析，实时业务大屏等。当业务数据量达到千亿规模时，常常导致分析不实时，平均响应时间长达10分钟，影响业务的正常运营和发展。 本实践介绍如何快速收集海量用户行为数据，实现秒级响应的实时用户行为分析，并通过实时流计算Flink/Blink、云数据库ClickHouse等技术进行深入挖掘和分析，得到用户特征和画像，实现个性化系统推荐服务。 通过云数据库ClickHouse替换原有Presto数仓，对比开源Presto性能提升20倍。 利用云数据库ClickHouse极致分析性能，千亿级数据分析从10分钟缩短到30秒。 云数据库ClickHouse批量写入效率高，支持业务高峰每小时230亿的用户数据写入。 云数据库ClickHouse开箱即用，免运维，全球多Region部署，快速支持新游戏开服。 Flink+ClickHouse+QuickBI
产品列表 最佳实践频道 阿里云最佳实践分享群 专有网络 VPC 弹性公网 IP EIP 云服务器 ECS 消息队列 Kafka版 云数据库 ClickHouse 实时计算 Flink版 如二维码过期，Quick BI数据可视化分析平台 请搜索群号：31852400 云服务器 ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云 基于 Flink+ClickHouse 构建实时游戏...
大数据近实时数据投递MaxCompute
本文介绍离线大数据场景使MaxCompute构建云 上近实时数仓，打通云下数据上云链路，解决数据复杂类型支持和动态分区问题，满足高级数据处理需求的最佳实践。 l混合云环境下，现有业务系统零改造，打通数据上云链路。 l使用UDF实现复杂数据类型转换和数据动态分区。 l使用DataWorks配置周期调度业务流程，数据自动入仓。 l借助MaxCompute优化计算引擎，实现降本增效。 产品列表 云服务器ECS 专有网络VPC 访问控制RAM 数据总线DataHub E-MapReduceEMR DataWorks 大数据计算服务MaxCompute
kafka-console-consumer.sh-bootstrap-server core-1-1:9092-topic message-from-beginning-max-messages 10 文档版本：20240419 15 大数据近实时数据投递 MaxCompute 4.EMR Kafka数据拉取至消息队列 Kafka 在本实践中，云上环境使用独立 ECS部署 MirrorMaker服务同步 EMR Kafka集群 数据至云上阿里云消息队列 Kafka，再...
基于Flink的资讯场景实时数仓
场景描述 本实践针对资讯聚合类业务场景，Step by Step介绍 如何搭建实时数仓。 解决问题 1.如何搭建实时数仓。 2.通过实时计算Flink实现实时ETL和数据流。 3.通过实时计算Flink实现实时数据分析。 4.通过实时计算Flink实现事件触发。 产品列表 实时计算 专有网络VPC 云数据库RDSMySQL版 分析型数据库MySQL版 消息队列Kafka 对象存储OSS NAT网关 DataV数据可视化
明细数据层生成 从消息队列 Kafka的 Topic：app_log读取预处理日志，通过实时计算 Flink进行实时 ETL处理（维表 JOIN和自定义函数处理），再将生成的明细数据层数据发送到消息队 列 Kafka的 Topic：app_log_dwd。4.2.2.1.自定义函数 UDX开发 步骤1 搭建实时计算自定义函数的环境。从演示环境说明中下载的示例 demo代码包含 ...
- 产品推荐
- 这些文档可能帮助您