基于函数计算FC实现阿里云Kafka消息轻量级ETL处理
在大数据ETL场景，Kafka是数据的流转中心，Kafka中的数据一般是原始数据，可能存在多种数据混杂的情况，需要进一步做数据清洗后才能进行下一步的处理或者保存。利用函数计算FC，可以快速高效的搭建数据处理链路，用户只需要关注数据处理的逻辑，数据的触发，弹性伸缩，运维监控等阿里云函数计算都已经做了集成，函数计算FC也支持多种下游，OSS/数据库/消息队列/ES等都可以自定义的对接
（这里有异步调用和同步调用两种方式，为了能快速消费消 息，这里选择异步调用，并且两种调用方式的正文负载大小不同，同步调用为 32MB，异步调用为 128KB）触发器启用状态：勾选 批量推送：默认关闭。（可以选择开启，然后可以设置批量推送的条数，批量推送 间隔，根据需求选择是否批量推送）推送格式：RawData（也可以...
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
应用场景 在大数据场景，企业的Kafka实例可能存在多种情况，比如使用阿里云Kafka服务，可能是自建开源Kafka，或者是其他云上的云Kafka。不同的业务使用不同类型的Kafka实例，在这个前提下Kafka实例之间可能会需要消息同步的情况： 同帐号容灾场景：比如Kafka实例都是阿里云Kafka，但是Kafka实例会有主备之分，需要将主Kafka实例的消息实时同步到备Kafka。 跨帐号或异地容灾：这类场景比如主Kafka是阿里云Kafka，备Kafka是IDC开源自建Kafka，或者是其他云上的Kafka。 不同业务之间消息同步：因为现在的业务通常不会是信息孤岛，都需要消息互通，所以可能是A业务的Kafka实例消息需要同步到B业务的Kafka实例，并且这两个Kafka实例归属不同的RAM角色，有自己独自的权限控制。 解决问题 解决使用开源组件做消息同步的高成本问题。 解决使用开源组件做消息同步的并发性能、稳定性问题。 解决使用开源组件做消息同步的可靠性问题（重试机制，容错机制，死信队列等）。 大幅提升构建消息同步架构的效率，降低构建复杂度问题。
（这里有异步调用和同步调用两种方式，为了能快速消费消 息，这里选择异步调用，并且两种调用方式的正文负载大小不同，同步调用为32MB，异步调用为128KB） 触发器启用状态：勾选 批量推送：默认关闭。（可以选择开启，然后可以设置批量推送的条数，批量推送 间隔，根据需求选择是否批量推送） 推送格式：RawData（也...
基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
在大数据ETL场景，将Kafka中的消息流转到其他下游服务是很常见的场景，除了常规的消息流转外，很多场景还需要基于消息体内容做判断，然后决定下游服务做何种操作。 该方案实现了通过Kafka中消息Key的内容来判断应该对MongoDB做增、删、改的哪种DML操作。 当Kafka收到消息后，会自动触发函数计算中的函数，接收到消息，对消息内容做判断，然后再操作MongoDB。用户可以对提供的默认函数代码做修改，来满足更复杂的逻辑。 整体方案通过CADT可以一键拉起依赖的产品，并完成了大多数的配置，用户只需要到函数计算和MongoDB控制台做少量配置即可。
l 云消息队列 Kafka 版：云消息队列 Kafka 版是阿里云提供的分布式、高吞吐、可扩展的消 息队列服务。云消息队列 Kafka 版广泛用于日志收集、监控数据聚合、流式数据处理、在 线和离线分析等大数据领域，已成为大数据生态中不可或缺的部分。l 云数据库 MongoDB 版（ApsaraDB for MongoDB）：完全兼容 MongoDB 协议，基于...
移动开发平台 mPaaS
阿里云移动开发平台 mPaaS提供App开发、测试、运营及运维等云到端的一站式解决方案，帮助企业快速构建高质量的移动应用，阿里云快速开发平台提升企业产品生态发展。
消息推送针对不同场景推出多种推送服务，提供个性化推送服务能力。集成了多家手机厂商的推送功能，方便快速集成移动端推送功能，提高 App 的用户留存和用户体验。移动分析MAS 通过统计和分析客户端流量、性能质量和用户行为等数据，用数据实现产品、运营、推广的决策；通过对闪退的分析，快速定位闪退原因，提高程序稳定性...
来自：
云产品
基于SpringCloud应用玩转MSE实践
随着业务不断创新，大型的单个应用和服务会被拆分为数个甚至数十个微服务，微服务架构已经被广泛应用。 微服务的好处在于快速迭代，如何在迭代过程中保障线上流量不受损。依赖开源产品缺少无运维工具，常常需要投入较大的运维人力和成本。 本实践提供基于云原生应用产品提供微服务注册配置中心、微服务治理和云原生网关等一系列高性能和高可用的企业级云服务能力。
熔断效果展示 推送开关后，程序的慢调用生效，就会触发熔断规则：观察mseconsumer应用的接口详情，在客户端看到具体熔断信息。路径：治理中心-应用治理-接 口详情。文档版本：20240229基于SpringCloud玩转MSE 9.一键释放云资源 场景已经完成，可以将验证通过的环境直接用于生产。如果不再使用该架构，也可以通过CADT释放...
云消息队列 MQTT 版
云消息队列 MQTT 版是专为移动互联网(MI)、物联网(IoT)领域设计的消息产品，覆盖直播互动、金融支付、智能餐饮、即时聊天、移动 Apps、智能设备、车联网等多种应用场景；通过对 MQTT、WebSocket 等协议的全面支持，连接端云之间的双向通信，实现 C2C、C2B、B2C 等业务场景之间的消息通信，可支撑千万级设备与消息并发。
可支撑千万级设备在线连接，百万级消息并发，万亿级消息流转，毫秒级消息推送；分布式理念进行设计，无单点瓶颈，各组件之间均可以无限水平扩展，确保容量可弹性伸缩，并对用户透明；支持设备级权限控制，支持临时 Token 服务以及 SSL/TLS 传输加密通信，确保用户数据安全可靠；可以支持消息队列 MQTT 和消息队列 RocketMQ ...
来自：
云产品
移动研发平台EMAS
阿里云移动研发平台EMAS是国内领先的云原生应用研发平台（移动App、H5应用、小程序、Web应用等），基于广泛的云原生技术，为企业、开发者提供一站式的应用研发管理服务，涵盖应用开发、测试、运维、运营等应用全生命周期。
提供给移动App开发者的移动端消息推送服务，通过在App中集成推送功能，进行高效、精准、实时的消息推送，从而使业务及时触达用户，提高用户粘性.可以快速发送文字、图片、语音进行意见反馈和报告Bug，增强互动，提高用户黏性.谢赟辉,靖鑫,也树.向用户精准推送针对性消息，包括活动通知、信息咨询、产品推荐、系统提示等，...
来自：
云产品
移动测试
阿里云移动测试（Mobile Testing）是为广大企业客户和移动开发者提供真机测试服务的云平台，拥有大量热门机型，提供7x24全天候App测试服务，帮助客户发现APP中的各类隐患（应用崩溃、各类兼容性问题、功能性问题、性能问题等），减少用户流失，提高APP质量和市场竞争力。
提供给开发者的移动端消息推送服务，通过在App中集成推送功能，进行高效、精准、实时的消息推送，从而使业务及时触达用户，提高用户粘性.阿里巴巴Hotpatch技术，提供细粒度热修复能力，无需等待，实时修复应用线上问题.面向移动开发者推出的一款域名解析产品，具有域名防劫持、精准调度的特性.多维度自动采集线上App崩溃...
来自：
云产品
媒体处理MPS
阿里云媒体处理（ApsaraVideo for Media Processing，原MTS）是一种多媒体数据处理服务。它以经济、弹性和高可扩展的转换方法，将多媒体数据转码成适合在全平台播放的格式。并基于海量数据深度学习，对媒体的内容、文字、语音、场景多模态分析，实现智能审核、内容理解、智能编辑。
将新闻节目以单条新闻为单元自动化分割，利于后期对单条新闻播放推送或加工处理.DRM和视频指纹技术，让视频安全固若金汤.China DRM协会和好莱坞认可的视频版权保护系统，构造安全的视频防线.视频版权管理DRM.提取视频中的声音、图像及时序特征，生成视频指纹，实现重复视频查找、视频片段查源等功能，适用于视频去重、侵权...
来自：
云产品
基于SLS实现统一告警最佳实践
告警对于企业的开发运维，安全运维，业务运维有着至关重要的作用。然而很多企业在告警运维方面存在着重复建设、监控质量差、告警风暴、触达不人性化、无法闭环等问题。 针对企业在告警管理方面存在的痛点问题，SLS告警提供了一站式云上告警管理方案，具有弹性易用、稳定可靠、功能持续升级、成本更低、噪音更少等优势。企业可以将现有的监控方案系统无缝接入到SLS告警平台，实现在SLS上一站式管理告警。
配置增加监控对象 为了能够体验到真实的告警数据通过 Prometheus推送到 SLS中，我们特定用一台 ECS去产生告警的数据，让 Prometheus捕获。步骤1 在 ECS管理控制台，打开通过 CADT创建的被监控 ECS（名称为：ecs-monitored）的控制台。步骤2 下载并安装 node_exporter服务，接入到 prometheus中。wget ...
通过RocketMQ事务消息实现分布式事务
在日益复杂的分布式系统中，确保数据一致性成为一大挑战。本方案利用RocketMQ强大事务消息能力，确保跨服务事务的高可靠与最终一致性，同时还实现了事务处理的高效执行，是构建高性能、高可用分布式系统的关键路径。
RocketMQ通过事务消息机制，确保消息的高可靠性和系统的高并发处理能力，此处使用两台ECS分别作为生产者和消费者，实现分布式业务场景的消息生产与消费，通过RocketMQ实现跨服务器的消息传递和处理。立即部署 35分钟 20元（方案过程中产生流量在10GB以内，且体验时长不超过12小时。如果您调整了资源规格、使用时长，或执行...
来自：
技术解决方案
高弹性，低成本，云消息队列 RabbitMQ实践
随着业务增长，企业对消息队列性能和稳定性的需求提高，运维成本也随之增加。云消息队列 RabbitMQ 版通过架构优化避免了消息积压导致的内存泄漏和服务器故障等稳定性问题，解决了分布式系统中的脑裂难题，并支持弹性伸缩和按量计费，有效降低资源和运维成本。
随着业务增长，企业对消息队列性能和稳定性的需求提高，运维成本也随之增加。云消息队列 RabbitMQ 版通过架构优化避免了消息积压导致的内存泄漏和服务器故障等稳定性问题，解决了分布式系统中的脑裂难题，并支持弹性伸缩和按量计费，有效降低资源和运维成本。高弹性，低成本，云消息队列 RabbitMQ实践 随着业务增长，企业对...
来自：
技术解决方案
云消息队列 Confluent 版
云消息队列 Confluent 版是阿里云与 Apache Kafka 项目创始团队所创立的 Confluent 公司合作，基于 Apache Kafka 核心能力提供的企业级全托管消息队列服务，旨在为企业提供集成消息流式处理与大数据系统的一站式解决方案。
云消息队列 Confluent 版.云消息队列 Confluent 版是阿里云与 Apache Kafka 项目创始团队所创立的 Confluent 公司合作，基于 Apache Kafka 核心能力提供的企业级全托管消息队列服务，旨在为企业提供集成消息流式处理与大数据系统的一站式解决方案.云消息队列 Confluent 版正式发布！云消息队列 Confluent 版正式发布！立即...
来自：
云产品
- 产品推荐
- 这些文档可能帮助您