基于Flink+ClickHouse构建实时游戏数据分析
在互联网、游戏行业中，常常需要对用户行为日志进行分析，通过数据挖掘，来更好地支持业务运营，比如用户轨迹，热力图，登录行为分析，实时业务大屏等。当业务数据量达到千亿规模时，常常导致分析不实时，平均响应时间长达10分钟，影响业务的正常运营和发展。 本实践介绍如何快速收集海量用户行为数据，实现秒级响应的实时用户行为分析，并通过实时流计算Flink/Blink、云数据库ClickHouse等技术进行深入挖掘和分析，得到用户特征和画像，实现个性化系统推荐服务。 通过云数据库ClickHouse替换原有Presto数仓，对比开源Presto性能提升20倍。 利用云数据库ClickHouse极致分析性能，千亿级数据分析从10分钟缩短到30秒。 云数据库ClickHouse批量写入效率高，支持业务高峰每小时230亿的用户数据写入。 云数据库ClickHouse开箱即用，免运维，全球多Region部署，快速支持新游戏开服。 Flink+ClickHouse+QuickBI
步骤6 确认消息被推送到消息队列 Kafka（实际消息条数大于 100，因为有系统启动的日志 也被收集到 kafka，这部分日志会在 Flink流处理时，进行 ETL过滤）。步骤7（可选）查看消息队列 Kafka中的 filebeat的消息格式。文档版本：20201224 44 基于 Flink+ClickHouse构建实时游戏数据分析 日志采集 日志模拟方式二：通过调用 ...
基于函数计算FC实现阿里云Kafka消息轻量级ETL处理
在大数据ETL场景，Kafka是数据的流转中心，Kafka中的数据一般是原始数据，可能存在多种数据混杂的情况，需要进一步做数据清洗后才能进行下一步的处理或者保存。利用函数计算FC，可以快速高效的搭建数据处理链路，用户只需要关注数据处理的逻辑，数据的触发，弹性伸缩，运维监控等阿里云函数计算都已经做了集成，函数计算FC也支持多种下游，OSS/数据库/消息队列/ES等都可以自定义的对接
（这里有异步调用和同步调用两种方式，为了能快速消费消 息，这里选择异步调用，并且两种调用方式的正文负载大小不同，同步调用为 32MB，异步调用为 128KB）触发器启用状态：勾选 批量推送：默认关闭。（可以选择开启，然后可以设置批量推送的条数，批量推送 间隔，根据需求选择是否批量推送）推送格式：RawData（也可以...
SLS数据入湖Kafka最佳实践
应用和数据分散在多云或混合云，在面对多云/混合云这样大的趋势下，数据无法进行统一的聚合、分析处理和导出等，本方案给出了在多云/混合云场景下，构建通过标准的Kafka协议和托管服务，SLS可以连接Kafka数据入湖导入，然后进行统一的海量数据的集中存储、智能转储、聚合分析查询等。
这里需要注意，如果通过CADT创建的VPC、vswitch中人工通过其他方式添加了 资源，如通过控制台或者API等购买了ECS，释放时因为这些非CADT部署的资 源会依赖VSW和VPC，会出现释放失败。遇到这类问题请先去控制台人工进行资 源清理后，在CADT中再次释放资源即可。步骤1对等连接路由策略释放，其中 步骤2打开云速搭 CADT管理...
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
应用场景 在大数据场景，企业的Kafka实例可能存在多种情况，比如使用阿里云Kafka服务，可能是自建开源Kafka，或者是其他云上的云Kafka。不同的业务使用不同类型的Kafka实例，在这个前提下Kafka实例之间可能会需要消息同步的情况： 同帐号容灾场景：比如Kafka实例都是阿里云Kafka，但是Kafka实例会有主备之分，需要将主Kafka实例的消息实时同步到备Kafka。 跨帐号或异地容灾：这类场景比如主Kafka是阿里云Kafka，备Kafka是IDC开源自建Kafka，或者是其他云上的Kafka。 不同业务之间消息同步：因为现在的业务通常不会是信息孤岛，都需要消息互通，所以可能是A业务的Kafka实例消息需要同步到B业务的Kafka实例，并且这两个Kafka实例归属不同的RAM角色，有自己独自的权限控制。 解决问题 解决使用开源组件做消息同步的高成本问题。 解决使用开源组件做消息同步的并发性能、稳定性问题。 解决使用开源组件做消息同步的可靠性问题（重试机制，容错机制，死信队列等）。 大幅提升构建消息同步架构的效率，降低构建复杂度问题。
（这里有异步调用和同步调用两种方式，为了能快速消费消 息，这里选择异步调用，并且两种调用方式的正文负载大小不同，同步调用为32MB，异步调用为128KB） 触发器启用状态：勾选 批量推送：默认关闭。（可以选择开启，然后可以设置批量推送的条数，批量推送 间隔，根据需求选择是否批量推送） 推送格式：RawData（也...
RocketMQ性能压测快速方案
在客户对产品性能存疑或者给客户进行POC验证时可以用本实践来快速完成性能测试。
一键释放资源.29 文档版本：20240506 IIIRocketMQ性能压测快速方案 最佳实践概述 最佳实践概述 方案概述 消息队列RocketMQ5.0版提供多种消息收发实例规格，在创建实例时按照消息读写 TPS总和选择满足业务的规格大小，本实验进行性能压测，来验证实例的消息读写 TPS能力是否符合规格定义的TPS峰值大小。应用场景 借助CADT...
实时监控应用关键业务异常与告警
使用日志服务（SLS）基于收集的业务日志对业务实现监控与告警，能够帮助您了解应用的运行趋势，及时发现业务异常状态，采用具体措施以保证系统稳定性。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台方案导读日志监控的重要性与业务价值如何实现日志监控与传统方案对比应用场景方案部署方案权益实时可观测，即时应对风险为了保障业务稳定性、提升客户满意度，运维监控告警与故障定位（运维）、检测与防范安全威胁（安全）、业务数据分析...
来自：
解决方案
基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
在大数据ETL场景，将Kafka中的消息流转到其他下游服务是很常见的场景，除了常规的消息流转外，很多场景还需要基于消息体内容做判断，然后决定下游服务做何种操作。 该方案实现了通过Kafka中消息Key的内容来判断应该对MongoDB做增、删、改的哪种DML操作。 当Kafka收到消息后，会自动触发函数计算中的函数，接收到消息，对消息内容做判断，然后再操作MongoDB。用户可以对提供的默认函数代码做修改，来满足更复杂的逻辑。 整体方案通过CADT可以一键拉起依赖的产品，并完成了大多数的配置，用户只需要到函数计算和MongoDB控制台做少量配置即可。
l 云消息队列 Kafka 版：云消息队列 Kafka 版是阿里云提供的分布式、高吞吐、可扩展的消 息队列服务。云消息队列 Kafka 版广泛用于日志收集、监控数据聚合、流式数据处理、在 线和离线分析等大数据领域，已成为大数据生态中不可或缺的部分。l 云数据库 MongoDB 版（ApsaraDB for MongoDB）：完全兼容 MongoDB 协议，基于...
基于OSS Object FC实现非结构化文件实时处理最佳实践
现在绝大多数客户都有很多非结构化的数据存在OSS中，以图片，视频，音频居多。举一个图片处理的场景，现在各种终端种类繁多，不同的终端对图片的格式、分辨率要求也不同，所以一张图片往往会有很多张衍生图，那如果所有的衍生图都存在OSS中，那存储的成本会增加，所以就可以通过OSS Object FC的方案，在不同的终端请求时，对OSS中的原图基于终端的要求做实时处理，然后响应返回，这样OSS中只需要存储原图即可。音视频也有类似的场景。
比如请求时实时加水印、实 时美颜处理、实时裁剪图片、实时截帧等。部署架构 名词解释 OPAP(ObjectProcessAccessPoint)：是在AP的能力上，拓展了FC功能，通过OPAP访问 的GetObject会触发FC。其他类型的请求会退化到绑定的AP。文档版本：20240304 4基于OSSObjectFC实现非结构化文件实时处理最佳实践 最佳实践概述 AP...
云消息队列 Confluent 版
云消息队列 Confluent 版是阿里云与 Apache Kafka 项目创始团队所创立的 Confluent 公司合作，基于 Apache Kafka 核心能力提供的企业级全托管消息队列服务，旨在为企业提供集成消息流式处理与大数据系统的一站式解决方案。
云消息队列 Confluent 版正式发布！云消息队列 Confluent 版正式发布！查看全部产品.云消息队列 Confluent 版是阿里云与 Apache Kafka 项目创始团队所创立的 Confluent 公司合作，基于 Apache Kafka 核心能力提供的企业级全托管消息队列服务，旨在为企业提供集成消息流式处理与大数据系统的一站式解决方案.查看产品文档.云...
来自：
云产品
基于SpringCloud应用玩转MSE实践
随着业务不断创新，大型的单个应用和服务会被拆分为数个甚至数十个微服务，微服务架构已经被广泛应用。 微服务的好处在于快速迭代，如何在迭代过程中保障线上流量不受损。依赖开源产品缺少无运维工具，常常需要投入较大的运维人力和成本。 本实践提供基于云原生应用产品提供微服务注册配置中心、微服务治理和云原生网关等一系列高性能和高可用的企业级云服务能力。
熔断效果展示 推送开关后，程序的慢调用生效，就会触发熔断规则：观察mseconsumer应用的接口详情，在客户端看到具体熔断信息。路径：治理中心-应用治理-接 口详情。文档版本：20240229基于SpringCloud玩转MSE 9.一键释放云资源 场景已经完成，可以将验证通过的环境直接用于生产。如果不再使用该架构，也可以通过CADT释放...
消息推送
移动网关服务，源于阿里云移动开发平台。消息推送 MPS，针对不同的场景推出多种推送类型，满足个性化推送需求。集成了多家手机厂商的推送功能，方便快速集成移动终端推送功能，与 App 用户保持互动，从而有效地提高用户留存率，提升用户体验。
消息有效期内，消息推送 MPS 确保消息能够在用户在线时下发，保障最终送达率.自定义消息有效期.消息推送 MPS 将小米、华为、Oppo、Vivo 等三方渠道整合，覆盖国内近 90%安卓机型用户.集成多个三方渠道.App 保活状态下 100ms 到达；集成三方安卓渠道下非保活 App 300ms 到达.推送到达率保障.开通 mPaaS，创建 mPaaS App，并...
来自：
云产品
Kafka性能压测快速方案
产品性能基线测试场景需要对产品进行性能测试得到详细的压测数据，本方案可以快速构建测试的客户端（kafka官方的压测客户端）和不同的Kafka服务端（ SSD云盘版、高效云盘、Serverless版三种实例），方便客户进行POC完成性能验证。
消息队列kafkaserverless版本身实例未提供具体的云盘类型来选择，其性能表现只 与购买实例时预留的写入、读取的指标有关，写入峰值为预留写入的2倍，读取峰值 为读取预留的2倍 应用场景 借助CADT迅速的搭建Kafka不同类型的实例，并构建压测环境，快速对不同的实例 配置的性能进行压测，以验证不同配置对性能影响，帮助客户...
基于MSE和SAE的微服务部署与压测
通过云原生微服务引擎MSE、SAE、PTS、ARMS产品，为spring cloud微服务应用提供部署和测试能力，提供一个经典微服务应用上云的典型架构，实现微服务应用的快速落地。
基于MSE和SAE的微服务部署与压测最佳实践 业务架构 场景描述 通过云原生微服务引擎MSE、SAE、PTS、ARMS 产品，为SpringCloud微服务应用提供部署和测试 能力，提供一个经典微服务应用上云的典型架构，实 现微服务应用的快速落地。应用场景 微服务应用运行需要的支撑包括注册中心、运行时、应用监控、服务测试等典型能力。...
容器多云统一监控日志
多云、混合云成为常态，Forrester 报告中指出，未来 89% 的企业至少使用两个云，74% 的企业至少使用三个甚至更多公有云，在面对多云/混合云这样大的趋势下，Gartner报告指出，安全、运维复杂性、财务复杂性是多云架构的主要挑战，本方案给出了在多云/混合云场景下，构建基于容器环境下的统一管理、统一监控和统一日志方案，解决多云、混合云场景下，运维复杂性问题。 应用场景 客户在阿里云以外的其他云服务商（AWS、Azure、GCP、TencentCloud、HuaweiCloud等）或者IDC基于容器（Kubernetes）运行业务系统，希望构建容器场景下的统一监控日志系统，方便做不同大屏和问题分析定位。 解决问题 •构建容器多云统一监控和日志系统，在一个平台可以看到不同环境系统的运行情况。
日志服务SLS：是云原生观测与分析平台，为Log、Metric、Trace等数据提供 大规模、低成本、实时的平台化服务，日志服务一站式提供数据采集、加工、查 询与分析、可视化、告警、消费与投递等功能，全面提升您在研发、运维、运营、安全等场景的数字化能力。文档版本：20240322 2容器多云统一监控日志 最佳实践概述 应用...
- 产品推荐
- 这些文档可能帮助您