RocketMQ性能压测快速方案
在客户对产品性能存疑或者给客户进行POC验证时可以用本实践来快速完成性能测试。
一键释放资源.29 文档版本：20240506 IIIRocketMQ性能压测快速方案 最佳实践概述 最佳实践概述 方案概述 消息队列RocketMQ5.0版提供多种消息收发实例规格，在创建实例时按照消息读写 TPS总和选择满足业务的规格大小，本实验进行性能压测，来验证实例的消息读写 TPS能力是否符合规格定义的TPS峰值大小。应用场景 借助CADT...
Kafka性能压测快速方案
产品性能基线测试场景需要对产品进行性能测试得到详细的压测数据，本方案可以快速构建测试的客户端（kafka官方的压测客户端）和不同的Kafka服务端（ SSD云盘版、高效云盘、Serverless版三种实例），方便客户进行POC完成性能验证。
消息队列kafkaserverless版本身实例未提供具体的云盘类型来选择，其性能表现只 与购买实例时预留的写入、读取的指标有关，写入峰值为预留写入的2倍，读取峰值 为读取预留的2倍 应用场景 借助CADT迅速的搭建Kafka不同类型的实例，并构建压测环境，快速对不同的实例 配置的性能进行压测，以验证不同配置对性能影响，帮助客户...
云消息队列 MQTT 版
云消息队列 MQTT 版是专为移动互联网(MI)、物联网(IoT)领域设计的消息产品，覆盖直播互动、金融支付、智能餐饮、即时聊天、移动 Apps、智能设备、车联网等多种应用场景；通过对 MQTT、WebSocket 等协议的全面支持，连接端云之间的双向通信，实现 C2C、C2B、B2C 等业务场景之间的消息通信，可支撑千万级设备与消息并发。
云消息队列 MQTT Serverless 版实例正式发布！查看全部产品.云消息队列 MQTT 版是专为移动互联网(MI)、物联网(IoT)领域设计的消息产品，覆盖直播互动、金融支付、智能餐饮、即时聊天、移动 Apps、智能设备、车联网等多种应用场景；通过对 MQTT、WebSocket 等协议的全面支持，连接端和云之间的双向通信，实现 C2C、C2B、B2C...
来自：
云产品
基于SpringCloud应用玩转MSE实践
随着业务不断创新，大型的单个应用和服务会被拆分为数个甚至数十个微服务，微服务架构已经被广泛应用。 微服务的好处在于快速迭代，如何在迭代过程中保障线上流量不受损。依赖开源产品缺少无运维工具，常常需要投入较大的运维人力和成本。 本实践提供基于云原生应用产品提供微服务注册配置中心、微服务治理和云原生网关等一系列高性能和高可用的企业级云服务能力。
云消息队列 MQ（RocketMQ）：是构建分布式互联网应用的基础设施，通过 MQ 实现的松耦合架构 设计可以提高系统可用性以及可扩展性，是适用于现代应用的优秀设计方案。MQ 产品生态丰富，多 个子产品线联合打造金融级高可用消息服务以及对物联网的原生支持，覆盖金融保险、（新）零售、物联网、移动互联网、教育、物流、...
消息服务MNS
消息服务 MNS 是一款易集成、高并发、可弹性扩展的轻量消息队列服务。消息服务的轻量队列模型、按量后付费的计费模式、自动适应高并发的弹性可扩展能力，让开发者低成本快速构建分布式、松耦合系统，高效地传递数据和通知消息。
提供更简单，轻量的消息队列，聚焦消息领域核心能力构建。提供轻量 Queue/Topic 资源模型，简单易用无复杂模型概念；提供轻量 HTTP RESTful 接口，原生支持 HTTP 协议对平台无依赖；多种语言SDK：C++、Java、C#、Python、PHP、golang(第三方)、Node.js(第三方).MNS 是标准的 Serverless 化产品，可处理近乎无限的并发请求，...
来自：
云产品
大数据近实时数据投递MaxCompute
本文介绍离线大数据场景使MaxCompute构建云 上近实时数仓，打通云下数据上云链路，解决数据复杂类型支持和动态分区问题，满足高级数据处理需求的最佳实践。 l混合云环境下，现有业务系统零改造，打通数据上云链路。 l使用UDF实现复杂数据类型转换和数据动态分区。 l使用DataWorks配置周期调度业务流程，数据自动入仓。 l借助MaxCompute优化计算引擎，实现降本增效。 产品列表 云服务器ECS 专有网络VPC 访问控制RAM 数据总线DataHub E-MapReduceEMR DataWorks 大数据计算服务MaxCompute
全数据链路延时.55 文档版本：20240419 V 大数据近实时数据投递 MaxCompute 最佳实践概述 最佳实践概述 场景描述 本最佳实践构建以下场景：使用阿里云 EMR服务部署 Kafka集群模拟线下 IDC的自建 Kafka集群 构建消息队列 Kafka、MaxCompute等服务实例，构建云上数仓。使用 MirrorMaker将 EMR Kafka集群消息同步至云消息队列 ...
函数计算FC
阿里云函数计算（Function Compute）是一个事件驱动的全托管计算服务。通过函数计算，您无需管理服务器等基础设施，只需编写代码并上传。函数计算会为您准备好计算资源，以弹性、可靠的方式运行您的代码。更棒的是，您只需要为代码实际运行消耗的资源付费，代码未运行则不产生费用。
消息队列（MNS）触发器.编写函数对发布在主题上的消息进行实时处理.内容分发网络（CDN）触发器.编写函数对 CDN 事件（预热、刷新等）进行自定义处理.了解所有触发器支持列表.函数计算FC通过触发器与事件源进行关联，关联后的事件源，会在事件产生时以同步或异步的方式触发函数执行，并将变更事件作为入参传递给入口函数....
来自：
云产品
基于Flink+ClickHouse构建实时游戏数据分析
在互联网、游戏行业中，常常需要对用户行为日志进行分析，通过数据挖掘，来更好地支持业务运营，比如用户轨迹，热力图，登录行为分析，实时业务大屏等。当业务数据量达到千亿规模时，常常导致分析不实时，平均响应时间长达10分钟，影响业务的正常运营和发展。 本实践介绍如何快速收集海量用户行为数据，实现秒级响应的实时用户行为分析，并通过实时流计算Flink/Blink、云数据库ClickHouse等技术进行深入挖掘和分析，得到用户特征和画像，实现个性化系统推荐服务。 通过云数据库ClickHouse替换原有Presto数仓，对比开源Presto性能提升20倍。 利用云数据库ClickHouse极致分析性能，千亿级数据分析从10分钟缩短到30秒。 云数据库ClickHouse批量写入效率高，支持业务高峰每小时230亿的用户数据写入。 云数据库ClickHouse开箱即用，免运维，全球多Region部署，快速支持新游戏开服。 Flink+ClickHouse+QuickBI
部署消息队列 Kafka 消息队列 Kafka版是阿里云提供的分布式、高吞吐、可扩展的消息队列服务。广泛用 于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域，已成为 大数据生态中不可或缺的部分。步骤1 登录阿里云消息队列 Kafka版控制台。（https://kafka.console.aliyun.com）步骤2 切换地域为华东 1...
可观测监控 Prometheus 版
覆盖业务自定义监控/应用组件监控/云服务监控/容器监控/系统监控等场景。默认集成Grafana看板与智能告警，全面优化系统可用性与查询能力，用户无需关注系统可用性与Exporter集成。帮助企业快速搭建一站式指标可观测体系。
作为云原生的运维数据可视化平台，面向用户提供免运维和快速启动 Grafana 运行环境的能力，默认集成如数据库 MySQL、消息队列 RockteMQ、实时计算 Flink、Elasticsearch、可观测监控 Prometheus 版、日志服务SLS等各类阿里云服务数据源，并提供丰富的数据看板，让运维监控更加高效、精细.可观测可视化 Grafana 版.支持按需...
来自：
云产品
Spark on ECI大数据分析
场景描述 方案优势 1.计算引擎弹性扩缩容，兼顾资源弹性与计 算资源成本优化。 2.计算与存储分离架构，结合阿里云原生云 存储产品，海量数据湖优势。 3.Kubernetes原生的调度性能优势，提升在 大规模分析作业时的分析性能优势分。 4.集群资源隔离和按需分配。 解决问题 1.计算资源弹性能力不足，计算资源成本管 控能力欠缺. 2.集群资源调度能力和隔离能力不足。 3.计算与存储无法分离，大数据量分析时出 现数据存储资源瓶颈。 4.Spark submit方式提交分析作业参数支持 有限等缺点。 产品列表 容器服务Kubernetes版(ACK) 弹性容器实例(ECI) 文件存储HDFS 对象存储OSS 专有网络VPC 容器镜像服务ACR
准备 HDFS数据源 数据存储可以使用文件存储 HDFS或者对象存储 OSS，这里我们以 HDFS为例；如 果使用 OSS只需修改相应的 core-site.xml里与 OSS bucket相关的配置并且在数据分 析作业开发里修改文件存储以及分析结果地址为相应的 OSS bucket地址即可。1.4.安装 Apache Hadoop 步骤1 下载 Apache Hadoop安装压缩包。在 Apache...
自建Hadoop迁移MaxCompute
场景描述 客户基于ECS、IDC自建或在友商云平台自建了大数 据集群，为了降低企业大数据计算平台的成本，提高 大数据应用开发效率，更有效保障数据安全，把大数 据集群的数据、作业、调度任务以及业务数据库整体 迁移到MaxCompute和其他云产品。 解决的问题 自建Hadoop集群搬迁到MaxCompute 自建Hbase集群搬迁到云Hbase 自建Kafka或应用数据准实时同步到 MaxCompute 自建Azkaban任务迁移到Dataworks任务 产品列表 MaxCompute，Dataworks、云数据库Hbase版、Datahub、VPC，ECS。
Kafka迁移到 Datahub 步骤5 预览数据 文档版本：20210723 48 自建Hadoop迁移MaxCompute Azkaban定时任务迁移和改造 6.Azkaban定时任务迁移和改造 本实践方案中，自建 Hadoop集群的数据的流向如下所示：日志发生器→Kafka队列→HDFS文件系统→Azkaba任务 01执行→Hive表 apache_logs→Azkaba任务 99执行→Hbase表 job99_ip_...
基于Flink的资讯场景实时数仓
场景描述 本实践针对资讯聚合类业务场景，Step by Step介绍 如何搭建实时数仓。 解决问题 1.如何搭建实时数仓。 2.通过实时计算Flink实现实时ETL和数据流。 3.通过实时计算Flink实现实时数据分析。 4.通过实时计算Flink实现事件触发。 产品列表 实时计算 专有网络VPC 云数据库RDSMySQL版 分析型数据库MySQL版 消息队列Kafka 对象存储OSS NAT网关 DataV数据可视化
明细数据层生成 从消息队列 Kafka的 Topic：app_log读取预处理日志，通过实时计算 Flink进行实时 ETL处理（维表 JOIN和自定义函数处理），再将生成的明细数据层数据发送到消息队 列 Kafka的 Topic：app_log_dwd。4.2.2.1.自定义函数 UDX开发 步骤1 搭建实时计算自定义函数的环境。从演示环境说明中下载的示例 demo代码包含 ...
自建Hadoop迁移到阿里云EMR
场景描述 场景1：自建Hadoop集群数据（HDFS）迁移到 阿里云EMR集群的HDFS文件系统； 场景2：自建Hadoop集群数据（HDFS）迁移到 计算存储分离架构的阿里云EMR集群，以OSS 和JindoFS作为EMR集群的后端存储。 解决的问题 客户自建Hadoop迁移到阿里云EMR集群的 技术方案； 基于IPSecVPN隧道构建安全和低成本数据 传输链路 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
文档版本：20210714 11 自建Hadoop数据迁移到阿里云 EMR 自建 Hadoop集群环境搭建 步骤10 参考步骤 9为 Kafka队列实例更换系统盘，选择下面的镜像。（可选）配置安全组 在实例所在安全组中确认 22、80和 443端口的放通情况，如果有未放通端口，请按 照下面步骤进行放通。步骤1 在 ECS控制台，单击 FlexGW VPN网关实例操作列...
应用实时监控服务ARMS
作为云原生可观测平台，应用实时监控服务 ARMS 包含前端监控、应用监控、云拨测等模块。覆盖浏览器、小程序、APP、分布式应用、容器等不同可观测环境与场景。帮助企业实现全栈性能监控与端到端追踪诊断。提高监控效率，压降运维工作量。
针对容器服务ACK、消息队列 Kafka 等主流云服务，提供 Grafana Pro 大盘，帮助运维进行更精细化指标观测.云服务统一接入.可观测监控 Prometheus 版.可观测可视化 Grafana 版.云服务统一监控.针对多数据源进行统一管理，实现端到端的可观测数据统一展现.默认集成阿里云云服务、SQL 数据库、时序数据库、日志数据、链路数据、...
来自：
云产品
Spring Cloud Netflix应用迁移EDAS
场景描述 Spring Cloud Netflix微服务应用迁移到EDAS 服务（SpringCloud Alibaba云版本）的方法， 迁移后充分利用阿里云监控、调用链、限流降级 等能力，优化应用生命周期管理。 解决问题 1.帮助自建SpringCloudNetflix微服务应用 通过简单修改迁移到阿里云企业级分布式 应用服务（EDAS）平台。 2.迁移到EDAS后，简化应用的运维，提升监 控、调用链探测、限流降级等管理能力，提 高对应用的全生命周期管理。 产品列表 企业级分布式应用服务（EDAS） 负载均衡（SLB） 专有网络（VPC） 云服务器（ECS）
2.4节介绍部署微服务应用依赖的 RabbitMQ消息队列。2.5节介绍部署微服务应用依赖的 MongoDB数据库。2.6节介绍修改应用启动成功线下微服务应用。2.2.构建 PiggyMetrics本地开发环境 步骤1 下载项目源码。git clone https://github.com/sqshq/piggymetrics.git 步骤2 自行安装 JAVA环境和 MAVEN编译环境。1.请自行完成下载 ...
EMR集群安全认证和授权管理
场景描述 阿里云EMR服务Kafka和Hadoop安全集群使 用Kerberos进行用户安全认证，通过Apache Ranger服务进行访问授权管理。本最佳实践中以 Apache Web服务器日志为例，演示基于Kafka 和Hadoop的生态组件构建日志大数据仓库，并 介绍在整个数据流程中，如何通过Kerberos和 Ranger进行认证和授权的相关配置。 解决问题 1.创建基于Kerberos的EMR Kafka和 Hadoop集群。 2.EMR服务的Kafka和Hadoop集群中 Kerberos相关配置和使用方法。 3.Ranger中添加Kafka、HDFS、Hive和 Hbase服务和访问策略。 4.Flume中和Kafka、HDFS相关的安全配 置。 产品列表：E-MapReduce、专有网络VPC、云服务器ECS、云数据库RDS版
步骤2 查看 Flume后台日志，发现有报错信息：cd/mnt/disk1/log/flume/default-agent tail-f flume.log 说明该 Flume没有权限消费 Kafka队列的消息，需要通过 Kafka集群的 Ranger配置 消费消息队列的权限。文档版本：20200330 82 EMR集群安全认证和授权管理 EMR Hadoop安全集群和网关集群 步骤3 参考章节 2.6.3，编辑 Kafka...
开源Flink迁移实时计算Flink全托管版最佳实践
本方案介绍如何将自建开源Flink集群的流式任务（包含Datastream、Table/SQL、PyFlink任务）迁移至阿里云实时计算全托管版。
参见：https://www.aliyun.com/product/rds/mysql 消息队列 Kafka 版:是阿里云基于 Apache Kafka 构建的高吞吐量、高可扩展性 的分布式消息队列服务，广泛用于日志收集、监控数据聚合、流式数据处理、在线 和离线分析等场景，是大数据生态中不可或缺的产品之一，阿里云提供全托管服 务，用户无需部署运维，更专业、更可靠、...
- 产品推荐
- 这些文档可能帮助您