应用实时监控服务ARMS
作为云原生可观测平台，应用实时监控服务 ARMS 包含前端监控、应用监控、云拨测等模块。覆盖浏览器、小程序、APP、分布式应用、容器等不同可观测环境与场景。帮助企业实现全栈性能监控与端到端追踪诊断。提高监控效率，压降运维工作量。
多渠道数据推送.支持钉钉、邮件、短信、Webhook 等10+监控数据源，确保及时触达.告警协作提升协同效率.基于钉钉的 ChatOps，借助报警管理、报警记录、历史查看，让告警变得可协作，可追溯，可统计.提供异常检查、智能降噪等算法能力有效减少无效告警.告警根因分析.基于应用上下文的告警根因分析，提升故障定位效率.智能告警...
来自：
云产品
云数据库 Cassandra 版
Cassandra是连续9年DB-Engines排名第一的宽表数据库，支持类SQL语法CQL，开发体验类似MySQL，可扩展PB级存储。推出企业版Lindorm for Cassandra云原生多模数据库，采用存储计算分离架构，支持海量数据的低成本存储和按需付费，具备更高性价比和更为丰富的企业级功能。
广泛用于安全风控、用户信息、历史订单、实时大屏、人车轨迹、消息、日志、报表、商品详情、新闻推送等场景。示例：用户行为事件等端侧数据，实时上传至Kafka，存储在Cassandra中。结合Spark对数据做复杂分析，构建用户画像，提供毫秒级延迟的实时推荐业务.-具备优异的高并发写性能，线性扩展能力强。1节点起配，最大可扩展...
来自：
云产品
SLS多云日志采集、处理及分析
场景描述 从第三方云平台或线下IDC服务器上采集 日志写入到阿里云日志服务，通过日志服务 进行数据分析，帮助提升运维、运营效率， 建立DT 时代海量日志处理能力。 针对未使用其他日志采集服务的用户，推荐 在他云或线下服务器安装logtail采集并使用 Https安全传输；针对已使用其他日志采集 工具并且已有日志服务需要继续服务的情 况，可以通过Log producer SDK写入日志 服务。 解决问题 1.第三方云平台或线下IDC客户需要使用 阿里云日志服务生态的用户。 2.第三方云平台或线下IDC服务器已有完 整日志采集、处理及分析的用户。 产品列表 E-MapReduce 专有网络VPC 云服务器ECS 日志服务LOG DCDN
步骤10 通过 Log producer提交日志推送，把采集的日志发送到日志服务（这里把日志的相 关字段通过 logItem进行包装）。文档版本：20211203 62 SLS多云日志采集、处理及分析 编写 Spark作业源码解读及问题排查 步骤11 参考 pom.xml文件添加相关的 maven依赖及相关配置。Spark作业源码编译及问题排查 步骤1 进入源码所在的主...
Spark on ECI大数据分析
场景描述 方案优势 1.计算引擎弹性扩缩容，兼顾资源弹性与计 算资源成本优化。 2.计算与存储分离架构，结合阿里云原生云 存储产品，海量数据湖优势。 3.Kubernetes原生的调度性能优势，提升在 大规模分析作业时的分析性能优势分。 4.集群资源隔离和按需分配。 解决问题 1.计算资源弹性能力不足，计算资源成本管 控能力欠缺. 2.集群资源调度能力和隔离能力不足。 3.计算与存储无法分离，大数据量分析时出 现数据存储资源瓶颈。 4.Spark submit方式提交分析作业参数支持 有限等缺点。 产品列表 容器服务Kubernetes版(ACK) 弹性容器实例(ECI) 文件存储HDFS 对象存储OSS 专有网络VPC 容器镜像服务ACR
2.在容器镜像服务 ACR控制台上可以看到镜像已经推送到了私像仓库。2.4.准备 Spark应用镜像 步骤1 编写示例 WordCount函数并打包。本地开发环境使用 IntelliJ IDEA，创建 Maven工程，创建的 Maven工程结构如下图 所示，并将修改后的 core-site.xml文件放入应用项目的 resources目录，这里以编写 一个常见的 WordCount函数...
基于函数计算FC实现阿里云Kafka消息轻量级ETL处理
在大数据ETL场景，Kafka是数据的流转中心，Kafka中的数据一般是原始数据，可能存在多种数据混杂的情况，需要进一步做数据清洗后才能进行下一步的处理或者保存。利用函数计算FC，可以快速高效的搭建数据处理链路，用户只需要关注数据处理的逻辑，数据的触发，弹性伸缩，运维监控等阿里云函数计算都已经做了集成，函数计算FC也支持多种下游，OSS/数据库/消息队列/ES等都可以自定义的对接
（这里有异步调用和同步调用两种方式，为了能快速消费消 息，这里选择异步调用，并且两种调用方式的正文负载大小不同，同步调用为 32MB，异步调用为 128KB）触发器启用状态：勾选 批量推送：默认关闭。（可以选择开启，然后可以设置批量推送的条数，批量推送 间隔，根据需求选择是否批量推送）推送格式：RawData（也可以...
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
应用场景 在大数据场景，企业的Kafka实例可能存在多种情况，比如使用阿里云Kafka服务，可能是自建开源Kafka，或者是其他云上的云Kafka。不同的业务使用不同类型的Kafka实例，在这个前提下Kafka实例之间可能会需要消息同步的情况： 同帐号容灾场景：比如Kafka实例都是阿里云Kafka，但是Kafka实例会有主备之分，需要将主Kafka实例的消息实时同步到备Kafka。 跨帐号或异地容灾：这类场景比如主Kafka是阿里云Kafka，备Kafka是IDC开源自建Kafka，或者是其他云上的Kafka。 不同业务之间消息同步：因为现在的业务通常不会是信息孤岛，都需要消息互通，所以可能是A业务的Kafka实例消息需要同步到B业务的Kafka实例，并且这两个Kafka实例归属不同的RAM角色，有自己独自的权限控制。 解决问题 解决使用开源组件做消息同步的高成本问题。 解决使用开源组件做消息同步的并发性能、稳定性问题。 解决使用开源组件做消息同步的可靠性问题（重试机制，容错机制，死信队列等）。 大幅提升构建消息同步架构的效率，降低构建复杂度问题。
（这里有异步调用和同步调用两种方式，为了能快速消费消 息，这里选择异步调用，并且两种调用方式的正文负载大小不同，同步调用为32MB，异步调用为128KB） 触发器启用状态：勾选 批量推送：默认关闭。（可以选择开启，然后可以设置批量推送的条数，批量推送 间隔，根据需求选择是否批量推送） 推送格式：RawData（也...
基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
在大数据ETL场景，将Kafka中的消息流转到其他下游服务是很常见的场景，除了常规的消息流转外，很多场景还需要基于消息体内容做判断，然后决定下游服务做何种操作。 该方案实现了通过Kafka中消息Key的内容来判断应该对MongoDB做增、删、改的哪种DML操作。 当Kafka收到消息后，会自动触发函数计算中的函数，接收到消息，对消息内容做判断，然后再操作MongoDB。用户可以对提供的默认函数代码做修改，来满足更复杂的逻辑。 整体方案通过CADT可以一键拉起依赖的产品，并完成了大多数的配置，用户只需要到函数计算和MongoDB控制台做少量配置即可。
l 云消息队列 Kafka 版：云消息队列 Kafka 版是阿里云提供的分布式、高吞吐、可扩展的消 息队列服务。云消息队列 Kafka 版广泛用于日志收集、监控数据聚合、流式数据处理、在 线和离线分析等大数据领域，已成为大数据生态中不可或缺的部分。l 云数据库 MongoDB 版（ApsaraDB for MongoDB）：完全兼容 MongoDB 协议，基于...
SLS数据入湖Kafka最佳实践
应用和数据分散在多云或混合云，在面对多云/混合云这样大的趋势下，数据无法进行统一的聚合、分析处理和导出等，本方案给出了在多云/混合云场景下，构建通过标准的Kafka协议和托管服务，SLS可以连接Kafka数据入湖导入，然后进行统一的海量数据的集中存储、智能转储、聚合分析查询等。
云消息队列Kafka版：是阿里云基于ApacheKafka构建的高吞吐量、高可扩 展性的分布式消息队列服务，广泛用于日志收集、监控数据聚合、流式数据处 理、在线和离线分析等场景，是大数据生态中不可或缺的产品之一，阿里云提 供全托管服务，用户无需部署运维，更专业、更可靠、更安全. Serverless应用引擎SAE...
云消息队列 Confluent 版
云消息队列 Confluent 版是阿里云与 Apache Kafka 项目创始团队所创立的 Confluent 公司合作，基于 Apache Kafka 核心能力提供的企业级全托管消息队列服务，旨在为企业提供集成消息流式处理与大数据系统的一站式解决方案。
快速使用云消息队列 Confluent 版.云消息队列 Confluent 版所有文档.云消息队列 Confluent 版计费说明.阿里云与 Confluent 专家技术交流.Apache Kafka 全托管消息服务，大数据生态中不可或缺的消息产品，具备开箱即用、无缝迁移、安全可靠、免运维等特点.云消息队列 Kafka 版.阿里巴巴官方指定消息产品，成熟、稳定、先进的...
来自：
云产品
RocketMQ性能压测快速方案
在客户对产品性能存疑或者给客户进行POC验证时可以用本实践来快速完成性能测试。
一键释放资源.29 文档版本：20240506 IIIRocketMQ性能压测快速方案 最佳实践概述 最佳实践概述 方案概述 消息队列RocketMQ5.0版提供多种消息收发实例规格，在创建实例时按照消息读写 TPS总和选择满足业务的规格大小，本实验进行性能压测，来验证实例的消息读写 TPS能力是否符合规格定义的TPS峰值大小。应用场景 借助CADT...
基于SpringCloud应用玩转MSE实践
随着业务不断创新，大型的单个应用和服务会被拆分为数个甚至数十个微服务，微服务架构已经被广泛应用。 微服务的好处在于快速迭代，如何在迭代过程中保障线上流量不受损。依赖开源产品缺少无运维工具，常常需要投入较大的运维人力和成本。 本实践提供基于云原生应用产品提供微服务注册配置中心、微服务治理和云原生网关等一系列高性能和高可用的企业级云服务能力。
熔断效果展示 推送开关后，程序的慢调用生效，就会触发熔断规则：观察mseconsumer应用的接口详情，在客户端看到具体熔断信息。路径：治理中心-应用治理-接 口详情。文档版本：20240229基于SpringCloud玩转MSE 9.一键释放云资源 场景已经完成，可以将验证通过的环境直接用于生产。如果不再使用该架构，也可以通过CADT释放...
Kafka性能压测快速方案
产品性能基线测试场景需要对产品进行性能测试得到详细的压测数据，本方案可以快速构建测试的客户端（kafka官方的压测客户端）和不同的Kafka服务端（ SSD云盘版、高效云盘、Serverless版三种实例），方便客户进行POC完成性能验证。
消息队列kafkaserverless版本身实例未提供具体的云盘类型来选择，其性能表现只 与购买实例时预留的写入、读取的指标有关，写入峰值为预留写入的2倍，读取峰值 为读取预留的2倍 应用场景 借助CADT迅速的搭建Kafka不同类型的实例，并构建压测环境，快速对不同的实例 配置的性能进行压测，以验证不同配置对性能影响，帮助客户...
云消息队列 Kafka 版
云消息队列 Kafka 版是阿里云基于Apache Kafka构建的大数据消息中间件，广泛用于日志收集和分析、数据处理等场景。可提供全托管服务，用户无需部署运维，更专业、更可靠、更安全。
骑士卡：基于 Kafka 搭建消息中心，上亿消息推送轻松完成.开源自建 Kafka 运维投入大，在大规模场景下稳定性无法保障，开源 bug 没有解决，同时 SLA 无法保障。而阿里云云消息队列 Kafka 对产品内核进行全方位优化，解决开源产品长期以来的痛点，免运维、低成本、更稳定、大数据领域优选数据通道.小麦助教：通过阿里云原生...
来自：
云产品
云消息队列 RabbitMQ 版
云消息队列 RabbitMQ 版是阿里云打造的云消息服务，广泛用于海量队列分发、分布式定时任务等场景。支持 AMQP 协议，开箱即用，轻松实现快速上云，更专业、更可靠、更安全。
云消息队列 RabbitMQ 版完全兼容开源 SDK 和协议，支持开发者常用的流控实现方式，例如设置 channel 的并发度，设置拉取消息的条数 prefetch_count 等.完全兼容开源SDK的流控使用方式.云消息队列 MQ.推荐搭配使用.消费者流控保护.消费者流控保护.云消息队列 RabbitMQ 版的定时消息能力可以满足各种分布式定时任务回调的场景...
来自：
云产品
云消息队列 RocketMQ 版
云消息队列 RocketMQ 版是基于 Apache RocketMQ 构建的分布式消息中间件，广泛用于异步解耦、削峰填谷等场景。可支撑千万级并发、万亿级数据洪峰，更稳定，更安全。
云消息队列 RocketMQ 版 Serverless 系列资源包重磅上线！存储空间无法自由弹性伸缩，空间不足会导致清理数据；多副本存储成本高.基于集群水位规划机器：·需要预留水位，且缩容复杂；受扩容速度限制，无法支持突发流量弹性.手工命令行操作运维，成本高，风险大；缺少配套可观测监控体系.自行运维保障，需要资深技术人员...
来自：
云产品
云消息队列 ApsaraMQ
云消息队列 ApsaraMQ 是阿里云自主研发的消息队列服务系列产品的总称，旨在为开发者和企业的不同业务场景提供强大、可靠、低成本、高弹性且易于管理的消息服务。云消息队列 ApsaraMQ 全系列产品提供 Serverless 化的消息服务，按实际使用量付费，自适应弹性，跨可用区容灾，帮助客户降低使用和维护成本，专注业务创新。
RocketMQ系列课：5.0新版本消息收发原理解析.RocketMQ系列课：5.0新版本可观测能力详解.RocketMQ系列课：5.0新版本弹性运维系列.RocketMQ系列课：生产实战监控告警.查看更多商品.ApsaraMQ 产品选型.云消息队列 RocketMQ 版是阿里云基于 Apache RocketMQ 构建的低延迟、高并发、高可用、高可靠、高弹性的分布式“消息、事件...
来自：
云产品
基于Flink+ClickHouse构建实时游戏数据分析
在互联网、游戏行业中，常常需要对用户行为日志进行分析，通过数据挖掘，来更好地支持业务运营，比如用户轨迹，热力图，登录行为分析，实时业务大屏等。当业务数据量达到千亿规模时，常常导致分析不实时，平均响应时间长达10分钟，影响业务的正常运营和发展。 本实践介绍如何快速收集海量用户行为数据，实现秒级响应的实时用户行为分析，并通过实时流计算Flink/Blink、云数据库ClickHouse等技术进行深入挖掘和分析，得到用户特征和画像，实现个性化系统推荐服务。 通过云数据库ClickHouse替换原有Presto数仓，对比开源Presto性能提升20倍。 利用云数据库ClickHouse极致分析性能，千亿级数据分析从10分钟缩短到30秒。 云数据库ClickHouse批量写入效率高，支持业务高峰每小时230亿的用户数据写入。 云数据库ClickHouse开箱即用，免运维，全球多Region部署，快速支持新游戏开服。 Flink+ClickHouse+QuickBI
步骤6 确认消息被推送到消息队列 Kafka（实际消息条数大于 100，因为有系统启动的日志 也被收集到 kafka，这部分日志会在 Flink流处理时，进行 ETL过滤）。步骤7（可选）查看消息队列 Kafka中的 filebeat的消息格式。文档版本：20201224 44 基于 Flink+ClickHouse构建实时游戏数据分析 日志采集 日志模拟方式二：通过调用 ...
- 产品推荐
- 这些文档可能帮助您