基于函数计算FC实现阿里云Kafka消息轻量级ETL处理
在大数据ETL场景，Kafka是数据的流转中心，Kafka中的数据一般是原始数据，可能存在多种数据混杂的情况，需要进一步做数据清洗后才能进行下一步的处理或者保存。利用函数计算FC，可以快速高效的搭建数据处理链路，用户只需要关注数据处理的逻辑，数据的触发，弹性伸缩，运维监控等阿里云函数计算都已经做了集成，函数计算FC也支持多种下游，OSS/数据库/消息队列/ES等都可以自定义的对接
（这里有异步调用和同步调用两种方式，为了能快速消费消 息，这里选择异步调用，并且两种调用方式的正文负载大小不同，同步调用为 32MB，异步调用为 128KB）触发器启用状态：勾选 批量推送：默认关闭。（可以选择开启，然后可以设置批量推送的条数，批量推送 间隔，根据需求选择是否批量推送）推送格式：RawData（也可以...
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
应用场景 在大数据场景，企业的Kafka实例可能存在多种情况，比如使用阿里云Kafka服务，可能是自建开源Kafka，或者是其他云上的云Kafka。不同的业务使用不同类型的Kafka实例，在这个前提下Kafka实例之间可能会需要消息同步的情况： 同帐号容灾场景：比如Kafka实例都是阿里云Kafka，但是Kafka实例会有主备之分，需要将主Kafka实例的消息实时同步到备Kafka。 跨帐号或异地容灾：这类场景比如主Kafka是阿里云Kafka，备Kafka是IDC开源自建Kafka，或者是其他云上的Kafka。 不同业务之间消息同步：因为现在的业务通常不会是信息孤岛，都需要消息互通，所以可能是A业务的Kafka实例消息需要同步到B业务的Kafka实例，并且这两个Kafka实例归属不同的RAM角色，有自己独自的权限控制。 解决问题 解决使用开源组件做消息同步的高成本问题。 解决使用开源组件做消息同步的并发性能、稳定性问题。 解决使用开源组件做消息同步的可靠性问题（重试机制，容错机制，死信队列等）。 大幅提升构建消息同步架构的效率，降低构建复杂度问题。
（这里有异步调用和同步调用两种方式，为了能快速消费消 息，这里选择异步调用，并且两种调用方式的正文负载大小不同，同步调用为32MB，异步调用为128KB） 触发器启用状态：勾选 批量推送：默认关闭。（可以选择开启，然后可以设置批量推送的条数，批量推送 间隔，根据需求选择是否批量推送） 推送格式：RawData（也...
基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
在大数据ETL场景，将Kafka中的消息流转到其他下游服务是很常见的场景，除了常规的消息流转外，很多场景还需要基于消息体内容做判断，然后决定下游服务做何种操作。 该方案实现了通过Kafka中消息Key的内容来判断应该对MongoDB做增、删、改的哪种DML操作。 当Kafka收到消息后，会自动触发函数计算中的函数，接收到消息，对消息内容做判断，然后再操作MongoDB。用户可以对提供的默认函数代码做修改，来满足更复杂的逻辑。 整体方案通过CADT可以一键拉起依赖的产品，并完成了大多数的配置，用户只需要到函数计算和MongoDB控制台做少量配置即可。
l 云消息队列 Kafka 版：云消息队列 Kafka 版是阿里云提供的分布式、高吞吐、可扩展的消 息队列服务。云消息队列 Kafka 版广泛用于日志收集、监控数据聚合、流式数据处理、在 线和离线分析等大数据领域，已成为大数据生态中不可或缺的部分。l 云数据库 MongoDB 版（ApsaraDB for MongoDB）：完全兼容 MongoDB 协议，基于...
基于SpringCloud应用玩转MSE实践
随着业务不断创新，大型的单个应用和服务会被拆分为数个甚至数十个微服务，微服务架构已经被广泛应用。 微服务的好处在于快速迭代，如何在迭代过程中保障线上流量不受损。依赖开源产品缺少无运维工具，常常需要投入较大的运维人力和成本。 本实践提供基于云原生应用产品提供微服务注册配置中心、微服务治理和云原生网关等一系列高性能和高可用的企业级云服务能力。
但实际情况是如下图所示：请求到达第一跳应用后（mseconsumer或mseconsumer-gray），第一跳的应 用会随机通过restapi调用下游应用，mseprovider或mseprovider-gray发送的消息也会随机投递到 mseconsumer或mseconsumer-gray，无法实现预期中的流量隔离的效果。原因是在没有开使用微服务治 理的情况下，单纯依赖网关的流量...
容器场景下的应用性能监控、调用链拓扑、内存剖析
场景描述 随着云原生及微服务技术的普及，越来越多的系统已经通过云原生和微服务技术实现企业的降本增效，同时因微服务及云原生的复杂性给系统运维带来非常大的挑战，云原生应用监控arms通过全链路应用监控，从端到端及代码级别的链路下钻能力、CPU、内存持续剖析及诊断能力，帮助客户降低系统故障定位难度，此demo，您将体验arms的链路监控、内存剖析等能力 应用场景 微服务+容器场景下链路调用拓扑，调用链可以显示出服务之间的调用顺序和层次关系，帮助开发人员理解和追踪代码的执行流程 在分布式系统中，一个请求往往需要通过多个服务来完成。当出现问题时，如请求超时、错误或异常，很难快速定位问题所在。 解决问题 调用链可以帮助运维人员解决以下问题： · 故障排查：当请求失败或出现错误时，调用链可以显示整个请求的路径和每个服务的执行情况，从而帮助运维人员快速定位问题所在。 · 性能优化：通过调用链，运维人员可以了解请求在系统中的执行时间和瓶颈所在，从而进行优化。 · 系统监测：调用链可以提供实时的系统监测和分析，帮助运维人员了解系统的健康状况和资源利用情况。
请阅读计费模式后，点击立即开通 文档版本：20240329 25容器场景下的应用性能监控、调用链拓扑、内存剖析 场景验证 点 击 应 用 列 表，切 换 到 新 版 控 制 台 当 看 到 应 用 名 称 后 出 现每秒请求等信息，表明部署成功。以下截图为新版本ARMS控制台 文档版本：20240329 26容器场景下的应用性能监控、调用链拓扑、内存...
SLS数据入湖Kafka最佳实践
应用和数据分散在多云或混合云，在面对多云/混合云这样大的趋势下，数据无法进行统一的聚合、分析处理和导出等，本方案给出了在多云/混合云场景下，构建通过标准的Kafka协议和托管服务，SLS可以连接Kafka数据入湖导入，然后进行统一的海量数据的集中存储、智能转储、聚合分析查询等。
应用场景 客户在阿里云不同region、阿里云以外的其他 云服务商（AWS、Azure、GCP、TencentCloud、HuaweiCloud等）、或者IDC 等业务数据或应 用系统产品的日志数据等，汇总处理后，通过 标准的通用的协议Kafka，数据入湖到阿里云 SLS日志中心，进行统一分析和处理。解决问题 将多云、IDC分散的数据，通过标准协议，汇 产品...
云消息队列 Confluent 版
云消息队列 Confluent 版是阿里云与 Apache Kafka 项目创始团队所创立的 Confluent 公司合作，基于 Apache Kafka 核心能力提供的企业级全托管消息队列服务，旨在为企业提供集成消息流式处理与大数据系统的一站式解决方案。
云消息队列 Confluent 版.云消息队列 Confluent 版是阿里云与 Apache Kafka 项目创始团队所创立的 Confluent 公司合作，基于 Apache Kafka 核心能力提供的企业级全托管消息队列服务，旨在为企业提供集成消息流式处理与大数据系统的一站式解决方案.云消息队列 Confluent 版正式发布！云消息队列 Confluent 版正式发布！立即...
来自：
云产品
SAE-ACK应用双跑最佳实践
场景描述 实现ACK、SAE中部署的应用在东西向和南北向互通，实现SAE-ACK应用双跑。 应用场景 该最佳实践应用于两类场景： l 因为SAE支持更丰富自动扩缩指标（比如QPS，RT，TCP连接数等），所以将相对稳态的应用部署在ACK中，将相对弹性波动大的应用部署在SAE，借助SAE更强大的自动扩缩应对流量洪峰。 l 将K8s架构迁移到Serverless架构时，需要平滑过渡，所以该最佳实践中的双跑架构可以有效帮用户平滑的完成迁移。
容器服务 Kubernetes 版 ACK（ContainerServiceforKubernetes）：全球首批通过 Kubernetes一致性认证的容器服务平台，提供高性能的容器应用管理服务，支持企业级 Kubernetes容器化应用的生命周期管理，让您轻松高效地在云端运行Kubernetes容器化应 用。 微服务引擎MSE（MicroservicesEngine）：一个面向业界主流开源...
RocketMQ性能压测快速方案
在客户对产品性能存疑或者给客户进行POC验证时可以用本实践来快速完成性能测试。
应用场景 在客户对产品性能存疑或者给客户进行POC验 证时可以用本实践来快速完成性能测试。解决问题•RocketMQ性能压测的时候快速构建环境和执 行压测方案。产品列表 最佳实践频道 专有网络VPC http://bp.aliyun.com 云虚拟机ECS 阿里云最佳实践分享群 钉钉搜索钉群号31852400入群 弹性公网IP 消息队列RocketMQ...
MSE云原生网关解析body内容进行路由转发
MSE云原生网关中通过自定义插件transformer解析body内容，并用以路由转发规则判断
MSE云原生网关解析 body内容进行路由转发 业务架构 场景描述 MSE云原生网关中通过自定义插件 transformer 解析body内容，并用以路由转发规则判断 应用场景 一些场景下，请求 header头中没有可用来做路 由转发的业务信息，或者请求 header头中的信 息是加密的，这时需要网关能够对 body内容进 行解析处理。解决问题 解决应用...
基于SAE的一站式Web服务托管方案
通过SAE提供的内置CICD能力，代码提交后可以触发自动构建，并部署应用到SAE，部署完成后，应用自动产生访问域名，外部请求通过域名可以直接访问应用。SAE提供了内置的可观测，灰度，回滚能力，通过控制台可以白屏化完成整个操作。SAE适合应用容器化快速上云，客户只需要提供代码仓库，后续的CICD，应用访问，弹性管理，运维监控，SAE都提供了内置的集成能力
基于SAE 2.0的一站式 Web服务托管方案 业务架构 场景描述 Web服务在互联网架构中有广泛的应用，通过 SAE提供的一站式方案，可以快速完成 CICD整 个流程，并且通过 SAE的内置能力，可以快速完 成灰度发布，应用观测，异常回滚等能力。应用场景 通过 SAE提供的内置 CICD能力，代码提交后可 以触发自动构建，并部署应用到 SAE...
轻量消息队列（原 MNS）
轻量消息队列（原 MNS）是一款易集成、高并发、可弹性扩展的轻量消息队列服务。轻量队列模型、按量后付费的计费模式、自动适应高并发的弹性可扩展能力，让开发者低成本快速构建分布式、松耦合系统，高效地传递数据和通知消息。
消息推送通知是运营方法中使用频率较高的一种。它可以在某个时间节点提醒用户进行某项操作，比如上新活动推送、有趣新闻内容提醒、或派送优惠券通知等，增强用户黏性.表单注册等系统同步转异步，实现异步通知.用户注册成功后，需要发送注册成功邮件、新用户积分、优惠券等，加入MNS，可以提升主流程用户注册流程的响应速度...
来自：
云产品
容器多云统一监控日志
多云、混合云成为常态，Forrester 报告中指出，未来 89% 的企业至少使用两个云，74% 的企业至少使用三个甚至更多公有云，在面对多云/混合云这样大的趋势下，Gartner报告指出，安全、运维复杂性、财务复杂性是多云架构的主要挑战，本方案给出了在多云/混合云场景下，构建基于容器环境下的统一管理、统一监控和统一日志方案，解决多云、混合云场景下，运维复杂性问题。 应用场景 客户在阿里云以外的其他云服务商（AWS、Azure、GCP、TencentCloud、HuaweiCloud等）或者IDC基于容器（Kubernetes）运行业务系统，希望构建容器场景下的统一监控日志系统，方便做不同大屏和问题分析定位。 解决问题 •构建容器多云统一监控和日志系统，在一个平台可以看到不同环境系统的运行情况。
文档版本：20240322 2容器多云统一监控日志 最佳实践概述 应用实时监控ARMS：是一款阿里云应用性能管理（APM）类监控产品，基于前 端、应用、业务自定义等维度，迅速便捷地为企业构建秒级响应的应用监控能力。 可观测监控Prometheus版：全面兼容和对接开源Prometheus生态，支持类型 丰富的组件监控，提供多种开箱即用...
Kafka性能压测快速方案
产品性能基线测试场景需要对产品进行性能测试得到详细的压测数据，本方案可以快速构建测试的客户端（kafka官方的压测客户端）和不同的Kafka服务端（ SSD云盘版、高效云盘、Serverless版三种实例），方便客户进行POC完成性能验证。
应用场景 有需要通过PoC得到Kafka产品性能实测数据 时可以用本实践来快速完成环境搭建及性能测 试。解决问题 Kafka压测环境的快速构建 产品列表 Kafka官方压测客户端完成性能压测 专有网络VPC 云虚拟机ECS 弹性公网IP 消息队列Kafka版 消息队列KafkaSeverless版 云速搭CADT 最佳实践频道 ...
云消息队列 RocketMQ 版
云消息队列 RocketMQ 版是基于 Apache RocketMQ 构建的分布式消息中间件，广泛用于异步解耦、削峰填谷等场景。可支撑千万级并发、万亿级数据洪峰，更稳定，更安全。
消息在集群内广播，确保每条消息推送给集群内所有订阅者，确保消息被集群内的每个订阅者消费.通过动态路由规则配置，解决消息的跨地域、远距离、毫秒级实时同步难题，确保地域之间的数据一致性与完整性.高速通道百万级 TPS 传输能力，多维度消息路由规则，毫秒级实时同步.支持断点续传，任意节点故障，同步链路仍可秒级恢复...
来自：
云产品
云消息队列 ApsaraMQ
云消息队列 ApsaraMQ 是阿里云自主研发的消息队列服务系列产品的总称，旨在为开发者和企业的不同业务场景提供强大、可靠、低成本、高弹性且易于管理的消息服务。云消息队列 ApsaraMQ 全系列产品提供 Serverless 化的消息服务，按实际使用量付费，自适应弹性，跨可用区容灾，帮助客户降低使用和维护成本，专注业务创新。
采用 HTTP RESTful 标准，方便易用，快速接入，跨网络能力强，轻松实现消息的推送与事件通知；查看消息队列的产品简介.如何快速使用消息队列 MQ.详细介绍 MQ 的开发者使用指南.MQ 常见问题处理与分享.消息队列（Message Queue，简称 MQ）是构建分布式互联网应用的基础设施，通过 MQ 实现的松耦合架构设计可以提高系统可用性...
来自：
云产品
云消息队列 Kafka 版
云消息队列 Kafka 版是阿里云基于Apache Kafka构建的大数据消息中间件，广泛用于日志收集和分析、数据处理等场景。可提供全托管服务，用户无需部署运维，更专业、更可靠、更安全。
【Kafka 生态】在 Knative 上实现 Kafka 消息推送.【最佳实践】从开源 Kafka 迁移到消息队列 Kafka 最佳实践.100%兼容开源社区 Apache Kafka（0.10.0.0 及以上版本），业务代码无需任何改造，快速上云.提供全托管服务，用户只需专注于业务开发，无需部署运维，更专业、更弹性、更可靠.专业团队保障更高可用性，优化开源 ...
来自：
云产品
- 产品推荐
- 这些文档可能帮助您