基于函数计算FC实现阿里云Kafka消息轻量级ETL处理
在大数据ETL场景，Kafka是数据的流转中心，Kafka中的数据一般是原始数据，可能存在多种数据混杂的情况，需要进一步做数据清洗后才能进行下一步的处理或者保存。利用函数计算FC，可以快速高效的搭建数据处理链路，用户只需要关注数据处理的逻辑，数据的触发，弹性伸缩，运维监控等阿里云函数计算都已经做了集成，函数计算FC也支持多种下游，OSS/数据库/消息队列/ES等都可以自定义的对接
（可以选择开启，然后可以设置批量推送的条数，批量推送 间隔，根据需求选择是否批量推送）推送格式：RawData（也可以选择标准的 CloudEvents格式，但函数中的代码需要 适配解析 CloudEvents格式的逻辑）重试策略：指数衰减重试。（也可以选择退避重试）容错策略：允许容错。（允许异常容错，当异常发生时不会阻塞执行，...
基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
在大数据ETL场景，将Kafka中的消息流转到其他下游服务是很常见的场景，除了常规的消息流转外，很多场景还需要基于消息体内容做判断，然后决定下游服务做何种操作。 该方案实现了通过Kafka中消息Key的内容来判断应该对MongoDB做增、删、改的哪种DML操作。 当Kafka收到消息后，会自动触发函数计算中的函数，接收到消息，对消息内容做判断，然后再操作MongoDB。用户可以对提供的默认函数代码做修改，来满足更复杂的逻辑。 整体方案通过CADT可以一键拉起依赖的产品，并完成了大多数的配置，用户只需要到函数计算和MongoDB控制台做少量配置即可。
l 云消息队列 Kafka 版：云消息队列 Kafka 版是阿里云提供的分布式、高吞吐、可扩展的消 息队列服务。云消息队列 Kafka 版广泛用于日志收集、监控数据聚合、流式数据处理、在 线和离线分析等大数据领域，已成为大数据生态中不可或缺的部分。l 云数据库 MongoDB 版（ApsaraDB for MongoDB）：完全兼容 MongoDB 协议，基于...
云数据库 Cassandra 版
Cassandra是连续9年DB-Engines排名第一的宽表数据库，支持类SQL语法CQL，开发体验类似MySQL，可扩展PB级存储。推出企业版Lindorm for Cassandra云原生多模数据库，采用存储计算分离架构，支持海量数据的低成本存储和按需付费，具备更高性价比和更为丰富的企业级功能。
广泛用于安全风控、用户信息、历史订单、实时大屏、人车轨迹、消息、日志、报表、商品详情、新闻推送等场景。示例：用户行为事件等端侧数据，实时上传至Kafka，存储在Cassandra中。结合Spark对数据做复杂分析，构建用户画像，提供毫秒级延迟的实时推荐业务.-具备优异的高并发写性能，线性扩展能力强。1节点起配，最大可扩展...
来自：
云产品
云消息队列 RocketMQ 版
云消息队列 RocketMQ 版是基于 Apache RocketMQ 构建的分布式消息中间件，广泛用于异步解耦、削峰填谷等场景。可支撑千万级并发、万亿级数据洪峰，更稳定，更安全。
通过消息实时推送的方式，让数据实时得以更新.实时数据更新.大量并发访问商品数据库，减少页面响应时间.降低页面响应时间.大促众多分会场，多缓存的架构设计，满足对商品变更的大量访问需求.满足大规模访问需求.云消息队列 MQ.推荐搭配使用.分布式模缓存同步.分布式模缓存同步.阿里巴巴双十一官方指定消息产品，支撑阿里...
来自：
云产品
云消息队列 Kafka 版
云消息队列 Kafka 版是阿里云基于Apache Kafka构建的大数据消息中间件，广泛用于日志收集和分析、数据处理等场景。可提供全托管服务，用户无需部署运维，更专业、更可靠、更安全。
骑士卡：基于 Kafka 搭建消息中心，上亿消息推送轻松完成.开源自建 Kafka 运维投入大，在大规模场景下稳定性无法保障，开源 bug 没有解决，同时 SLA 无法保障。而阿里云云消息队列 Kafka 对产品内核进行全方位优化，解决开源产品长期以来的痛点，免运维、低成本、更稳定、大数据领域优选数据通道.小麦助教：通过阿里云原生...
来自：
云产品
物联网平台设备数据上云
物联网平台设备数据上云方案为企业提供海量物联网设备的数据接入与处理。提供了多种类型设备的稳定接入、安全防护、实时监控，满足企业一站式管理设备、处理数据的需求。具有高可用、高并发、低成本的优势。
通过云服务器ECS模拟温湿度传感器，通过MQTT协议接入物联网平台并上报数据，物联网平台将数据转发到函数计算，函数计算将收到的数据推送到钉钉机器人。解决问题：海量数据下的连接不稳定在高并发情况下保证设备连接稳定性，支持多种协议、多环境下的设备接入，架构可水平扩展。解决问题：设备数据处理难线下设备数据割裂，...
来自：
解决方案
阿里邮箱协同办公解决方案
阿里邮箱源自于云计算技术，具有高稳定高可用性弹性扩展的容器化技术架构，实现安全，稳定，智能、高效的企业邮箱应用，方案具有公有云SaaS服务、本地独立部署，全栈国产化部署等多种构建方式，与钉钉无缝集成实现便捷、互通、高效的统一协同办公体验
邮件推送（DirectMail）是款简单高效的电子邮件群发服务，构建在阿里云基础之上，帮您快速、精准地实现事务邮件、通知邮件和批量邮件的发送.邮件推送 DM.库存共享\\u00A0.应用多节点容器化部署，计算资源弹性调度，可动态热扩展，实现服务高可用，采用分布式数据存储，实现多副本冗余、数据高安全.基于先进架构的云原生邮件...
来自：
解决方案
可观测监控 Prometheus 版
覆盖业务自定义监控/应用组件监控/云服务监控/容器监控/系统监控等场景。默认集成Grafana看板与智能告警，全面优化系统可用性与查询能力，用户无需关注系统可用性与Exporter集成。帮助企业快速搭建一站式指标可观测体系。
如数据库、消息队列、微服务、存储等云服务.云服务指标观测.如中间件、数据库、消息队列等自建应用组件.应用组件层（自建）指标观测.与 ARMS 应用监控/前端监控深度集成，并支持 OpenTelemetry 标准.应用性能指标观测.如成交率、下单率、用户打开率等自定义指标.业务自定义指标观测.一键接入各种监控大盘与告警.Grafana ...
来自：
云产品
基于Flink+ClickHouse构建实时游戏数据分析
在互联网、游戏行业中，常常需要对用户行为日志进行分析，通过数据挖掘，来更好地支持业务运营，比如用户轨迹，热力图，登录行为分析，实时业务大屏等。当业务数据量达到千亿规模时，常常导致分析不实时，平均响应时间长达10分钟，影响业务的正常运营和发展。 本实践介绍如何快速收集海量用户行为数据，实现秒级响应的实时用户行为分析，并通过实时流计算Flink/Blink、云数据库ClickHouse等技术进行深入挖掘和分析，得到用户特征和画像，实现个性化系统推荐服务。 通过云数据库ClickHouse替换原有Presto数仓，对比开源Presto性能提升20倍。 利用云数据库ClickHouse极致分析性能，千亿级数据分析从10分钟缩短到30秒。 云数据库ClickHouse批量写入效率高，支持业务高峰每小时230亿的用户数据写入。 云数据库ClickHouse开箱即用，免运维，全球多Region部署，快速支持新游戏开服。 Flink+ClickHouse+QuickBI
关键技术选型 1.1.ClickHouse vs Presto 面对海量的数据，我们如何进行数据库的选项，这里对比了开源的两种常见分析性数 据库。ClickHouse对数据采用有序存储的方式，其核心思想是充分利用了磁盘批量顺序读写 的性能要远远高于随机读写的特征，并且结合 LSM tree的设计进一步进行优化，使得 写性能达到最优（可达到 200MB/S...
移动测试
阿里云移动测试（Mobile Testing）是为广大企业客户和移动开发者提供真机测试服务的云平台，拥有大量热门机型，提供7x24全天候App测试服务，帮助客户发现APP中的各类隐患（应用崩溃、各类兼容性问题、功能性问题、性能问题等），减少用户流失，提高APP质量和市场竞争力。
提供给开发者的移动端消息推送服务，通过在App中集成推送功能，进行高效、精准、实时的消息推送，从而使业务及时触达用户，提高用户粘性.阿里巴巴Hotpatch技术，提供细粒度热修复能力，无需等待，实时修复应用线上问题.面向移动开发者推出的一款域名解析产品，具有域名防劫持、精准调度的特性.多维度自动采集线上App崩溃...
来自：
云产品
云监控
云监控（CloudMonitor）是阿里云提供的一款一站式、全链路、开箱即用的监控产品。涵盖云上云下统一的主机监控、百余款的云产品监控、覆盖全球的网络监控、面向应用和业务的日志监控和自定义监控，提供丰富的指标数据和强大开放的平台能力，帮助客户第一时间发现和定位问题构建完善的监控运维体系。
除了语音、短信、邮件、钉钉群外还可以推送到指定的WebHook、消息队列、函数计算、日志服务中.丰富的报警通知方式.函数计算 FC.日志服务 SLS.推荐搭配使用.云上基础设施监控与报警.快速构建完善的云上基础设施监控与报警体系.云监控提供常用云服务的系统事件、状态变更事件等信息（例如ECS 服务器的状态变化事件、磁盘性能...
来自：
云产品
应用实时监控服务ARMS
作为云原生可观测平台，应用实时监控服务 ARMS 包含前端监控、应用监控、云拨测等模块。覆盖浏览器、小程序、APP、分布式应用、容器等不同可观测环境与场景。帮助企业实现全栈性能监控与端到端追踪诊断。提高监控效率，压降运维工作量。
如数据库、消息队列、微服务、存储等云服务.应用性能指标观测.与 ARMS 应用监控/前端监控深度集成，并支持 OpenTelemetry 标准.业务自定义指标观测.如成交率、下单率、用户打开率等自定义指标.预置常见云服务、应用组件看板模板.提供各种云服务的数据源配置及预置大盘，实现各种可观测数据的统一展示.针对容器服务ACK等主流...
来自：
云产品
基于SLS实现统一告警最佳实践
告警对于企业的开发运维，安全运维，业务运维有着至关重要的作用。然而很多企业在告警运维方面存在着重复建设、监控质量差、告警风暴、触达不人性化、无法闭环等问题。 针对企业在告警管理方面存在的痛点问题，SLS告警提供了一站式云上告警管理方案，具有弹性易用、稳定可靠、功能持续升级、成本更低、噪音更少等优势。企业可以将现有的监控方案系统无缝接入到SLS告警平台，实现在SLS上一站式管理告警。
配置增加监控对象 为了能够体验到真实的告警数据通过 Prometheus推送到 SLS中，我们特定用一台 ECS去产生告警的数据，让 Prometheus捕获。步骤1 在 ECS管理控制台，打开通过 CADT创建的被监控 ECS（名称为：ecs-monitored）的控制台。步骤2 下载并安装 node_exporter服务，接入到 prometheus中。wget ...
实时计算Flink版
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，具备实时应用的作业开发、数据调试、运行与监控、自动调优、智能诊断等全生命周期能力。内核引擎100%兼容Apache Flink，2倍性能提升，拥有FlinkCDC、动态CEP等企业级增值功能，内置丰富上下游连接器，助力企业构建高效、稳定和强大的实时数据应用。
内置集成数十种连接器，覆盖数据库、消息队列、OLAP引擎等系统。自助编写SQL使用全托管服务对数据进行实时流转集成，帮助企业构建数据中台.从海量数据中实时识别刷单作弊、恶意爬虫等业务风险，避免企业出现巨大的经济损失，还可借助CEP（复杂事件处理）直接在流式处理作业中执行异常情况检测.实时计算Flink版高效的状态...
来自：
云产品
- 产品推荐
- 这些文档可能帮助您