云消息队列 RabbitMQ 版
云消息队列 RabbitMQ 版是阿里云打造的云消息服务，广泛用于海量队列分发、分布式定时任务等场景。支持 AMQP 协议，开箱即用，轻松实现快速上云，更专业、更可靠、更安全。
云消息队列 RabbitMQ 版.云消息队列 RabbitMQ 版是一款基于自研的分布式存储架构实现的 AMQP 0-9-1 协议的消息产品。Serverless 系列打破固定资源付费模式，按量付费可节省大量成本。云消息队列 RabbitMQ 版兼容开源 RabbitMQ 客户端，解决开源各种稳定性痛点（例如消息堆积、脑裂等问题），提供多可用区高可用的稳定服务....
来自：
云产品
云消息队列 MQTT 版
云消息队列 MQTT 版是专为移动互联网(MI)、物联网(IoT)领域设计的消息产品，覆盖直播互动、金融支付、智能餐饮、即时聊天、移动 Apps、智能设备、车联网等多种应用场景；通过对 MQTT、WebSocket 等协议的全面支持，连接端云之间的双向通信，实现 C2C、C2B、B2C 等业务场景之间的消息通信，可支撑千万级设备与消息并发。
云消息队列 MQTT 版.云消息队列 MQTT 版是专为移动互联网(MI)、物联网(IoT)领域设计的消息产品，覆盖直播互动、金融支付、智能餐饮、即时聊天、移动 Apps、智能设备、车联网等多种应用场景；通过对 MQTT、WebSocket 等协议的全面支持，连接端云之间的双向通信，实现 C2C、C2B、B2C 等业务场景之间的消息通信，可支撑千万级...
来自：
云产品
云消息队列 Kafka 版
云消息队列 Kafka 版是阿里云基于Apache Kafka构建的大数据消息中间件，广泛用于日志收集和分析、数据处理等场景。可提供全托管服务，用户无需部署运维，更专业、更可靠、更安全。
消息队列 Kafka 版.消息队列 Kafka 版是阿里云基于 Apache Kafka 构建的高吞吐量、高可扩展性的分布式消息队列服务，广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等，是大数据生态中不可或缺的产品之一，阿里云提供全托管服务，用户无需部署运维，更专业、更可靠、更安全.消息队列 RocketMQ 版.消息队列 ...
来自：
云产品
云消息队列 RocketMQ 版
云消息队列 RocketMQ 版是基于 Apache RocketMQ 构建的分布式消息中间件，广泛用于异步解耦、削峰填谷等场景。可支撑千万级并发、万亿级数据洪峰，更稳定，更安全。
提供丰富的消息类型，满足各种严苛场景下的高级特性需求，当前支持的消息类型涵盖普通消息、顺序消息（全局顺序/分区顺序）、分布式事务消息、定时消息/延时消息.安全可控，满足企业集成风险控制.以消息主题、订阅组的粒度，对每个资源都进行严格的访问控制，确保运维操作安全性；全面支持阿里云 RAM 主子账号、黑白名单、...
来自：
云产品
轻量消息队列（原 MNS）
轻量消息队列（原 MNS）是一款易集成、高并发、可弹性扩展的轻量消息队列服务。轻量队列模型、按量后付费的计费模式、自动适应高并发的弹性可扩展能力，让开发者低成本快速构建分布式、松耦合系统，高效地传递数据和通知消息。
阿里云消息服务 MNS 是一种高效、可靠、安全、便捷、可弹性扩展的分布式消息服务。MNS能够帮助应用开发者在他们应用的分布式组件上自由的传递数据、通知消息，构建松耦合系统.消息队列 RocketMQ.\\b消息队列 kafka.微消息队列 MQTT.消息队列 AMQP.【新特性推出】发布AMQP，兼容开源RabbitMQ.【高级特性】顺序消息，FIFO ...
来自：
云产品
基于Flink+ClickHouse构建实时游戏数据分析
在互联网、游戏行业中，常常需要对用户行为日志进行分析，通过数据挖掘，来更好地支持业务运营，比如用户轨迹，热力图，登录行为分析，实时业务大屏等。当业务数据量达到千亿规模时，常常导致分析不实时，平均响应时间长达10分钟，影响业务的正常运营和发展。 本实践介绍如何快速收集海量用户行为数据，实现秒级响应的实时用户行为分析，并通过实时流计算Flink/Blink、云数据库ClickHouse等技术进行深入挖掘和分析，得到用户特征和画像，实现个性化系统推荐服务。 通过云数据库ClickHouse替换原有Presto数仓，对比开源Presto性能提升20倍。 利用云数据库ClickHouse极致分析性能，千亿级数据分析从10分钟缩短到30秒。 云数据库ClickHouse批量写入效率高，支持业务高峰每小时230亿的用户数据写入。 云数据库ClickHouse开箱即用，免运维，全球多Region部署，快速支持新游戏开服。 Flink+ClickHouse+QuickBI
本实践将模拟某款游戏线上的用户行为数据，基于日志文件和实时产生的行为数据，我们可以做后续的实时用户行为分析实验，体验这套解决方案的落地实践。基本需求：从用户行为日志中，统计实时的 PV和 UV 统计每小时的访问量（PV），并且对用户进行去重（UV）说明:用户行为数据，进一步细分，可分为两大类，一类：用户行为习惯...
大数据workshop
大数据workshop
tail-f nohup.out 文档版本：20210628（发布日期）32 阿里云最佳实践大数据 WorkShop 最佳实践项目实践 步骤7 查询 datahub中是否已有消息，可见消息已正常投递到 datahub，观察到数据量在增 加。文档版本：20210628（发布日期）33 阿里云最佳实践大数据 WorkShop 最佳实践项目实践 3.2.4.业务数据同步 步骤1 进入 DTS...
来自：
最佳实践
相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
金融专属大数据workshop
实践目标 学习搭建一个实时数据仓库，掌握数据采集、存储、计算、输出、展示等整个业务流程。 整个实时数据仓库系统全部基于阿里云产品进行架构搭建，用户可以掌握并学会运用各个服务组件及各个组件之间如何联动。 理解阿里云原生实时离线一体数仓解决方案架构以及掌握交付落地的实践使用方法。 前置知识要求 熟练掌握SQL语法 对大数据体系系统知识有一定的了解
tail-fnohup.out 文档版本：20210803（发布日期）29阿里云最佳实践金融大数据WorkShop 最佳实践项目实践 步骤4 查询datahub中是否已有消息，可见消息已正常投递到datahub，观察到数据量在增 加。（说明：刚开始实时流量曲线可能会没有生成）文档版本：20210803（发布日期）30阿里云最佳实践金融大数据WorkShop 最佳实践项目...
来自：
最佳实践
相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
云速搭部署Flink应用
本水煎通过云速搭实现一个DataHub+Flink的实时流计算引擎架构，利用DataHub收集原始数据，推送到Flink进行基于流式数据的分析和应用。
更多信 息，详见：https://www.aliyun.com/product/bigdata/sc 数据总线 DataHub：是阿里云提供的流式数据(Streaming Data)服务，它提供流 式数据的发布(Publish)和订阅(Subscribe)的功能，让您可以轻松构建基于流式数 据的分析和应用。详见：https://www.aliyun.com/product/datahub 对象存储 OSS（Object Storage Service...
Function Compute构建高弹性大数据采集系统
当前互联网很多场景都存在需要将大量的数据信息采集起来然后传输到后端的各类系统服务中，对数据进行处理、分析，形成业务闭环。比如游戏行业中的游戏发行、游戏运营，产互行业中的数字营销，物联网、车联网行业中的硬件、车辆信息上报等等。这些场景普遍存在数据采集量大、数据传输需要稳定且吞吐量大的特点，给整个数据采集传输系统带来很大的挑战。在这个场景中，有三个关键的环节，数据采集、数据传输、数据处理。该最佳实践主要涉
总的来说，就是一切 SLA都有云上兜底，我们只需要关注在消息发送和消息消费即可。步骤1 打开 kafka的详情页面。在 CADT应用页面，打开部署清单，找到 kafka，并点击。文档版本：20210806（发布日期）34 Function Compute构建高弹性大数据采集系统 创建削峰填谷函数 步骤2 进入实例详情页，在左侧导航栏选择 Topic管理，单击...
开源Flink迁移实时计算Flink全托管版最佳实践
本方案介绍如何将自建开源Flink集群的流式任务（包含Datastream、Table/SQL、PyFlink任务）迁移至阿里云实时计算全托管版。
文档版本：20211222 14 开源 Flink迁移实时计算Flink全托管版 基础环境搭建 步骤4 待作业成功运行后，在 kafka中查询消息，可见测试数据已成功生成。文档版本：20211222 15 开源 Flink迁移实时计算Flink全托管版 作业迁移 2.作业迁移 原始集群计算说明：Flink 中的计算逻辑为：统计每 5分钟窗口内订单的订单总量和订单总...
阿里云最佳实践离线大数据workshop
本最佳实践，首先搭建一个简化的电商 demo 系统，然后为此 demo 系统构建一套离 线大数据分析系统。 实践目标 1. 学习搭建一个离线大数据分析系统，学习从数据采集到数据存储和业务分析的业 务流程。 2. 整个离线大数据分析系统全部基于阿里云产品进行搭建，学习掌运用各个服务组 件及各个组件之间如何联动。 背景知识要求 熟练掌握 SQL 语法 对大数据体系系统知识有一定的了解
步骤1 在总控制台页面，进入CADT的控制台。文档版本：20210802（发布日期）11阿里云最佳实践金融大数据WorkShop 基础环境构建 步骤2 在CADT的控制台页面，找到新建>官方模板库新建。步骤3 在页面右侧，输入“离线大数据”，进行搜索，找到如下模板，单击基于方案新建。文档版本：20210802（发布日期）12阿里云最佳实践金融...
来自：
最佳实践
相关产品：云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,日志服务（SLS）,大数据计算服务 MaxCompute,DataV数据可视化,数据总线,Quick BI,云速搭
大数据近实时数据投递MaxCompute
本文介绍离线大数据场景使MaxCompute构建云 上近实时数仓，打通云下数据上云链路，解决数据复杂类型支持和动态分区问题，满足高级数据处理需求的最佳实践。 l混合云环境下，现有业务系统零改造，打通数据上云链路。 l使用UDF实现复杂数据类型转换和数据动态分区。 l使用DataWorks配置周期调度业务流程，数据自动入仓。 l借助MaxCompute优化计算引擎，实现降本增效。 产品列表 云服务器ECS 专有网络VPC 访问控制RAM 数据总线DataHub E-MapReduceEMR DataWorks 大数据计算服务MaxCompute
全数据链路延时.55 文档版本：20240419 V 大数据近实时数据投递 MaxCompute 最佳实践概述 最佳实践概述 场景描述 本最佳实践构建以下场景：使用阿里云 EMR服务部署 Kafka集群模拟线下 IDC的自建 Kafka集群 构建消息队列 Kafka、MaxCompute等服务实例，构建云上数仓。使用 MirrorMaker将 EMR Kafka集群消息同步至云消息队列 ...
自建Hadoop迁移MaxCompute
场景描述 客户基于ECS、IDC自建或在友商云平台自建了大数 据集群，为了降低企业大数据计算平台的成本，提高 大数据应用开发效率，更有效保障数据安全，把大数 据集群的数据、作业、调度任务以及业务数据库整体 迁移到MaxCompute和其他云产品。 解决的问题 自建Hadoop集群搬迁到MaxCompute 自建Hbase集群搬迁到云Hbase 自建Kafka或应用数据准实时同步到 MaxCompute 自建Azkaban任务迁移到Dataworks任务 产品列表 MaxCompute，Dataworks、云数据库Hbase版、Datahub、VPC，ECS。
改造 Azkaban测试工程中 Job 98_add_device_and_user_type 使用者可以参考章节 6.2的步骤，改造另一个 Azkaban的 Job任务，这里提供一些信 息共使用者参考，详细步骤不再重复。◼ Job中原 SQL，修改点依然用黄色背景标识 insert into table hbase_external_table_job98_user_detail select substring(md5(concat(ipaddr,...
- 产品推荐
- 这些文档可能帮助您