基于SpringCloud应用玩转MSE实践
随着业务不断创新，大型的单个应用和服务会被拆分为数个甚至数十个微服务，微服务架构已经被广泛应用。 微服务的好处在于快速迭代，如何在迭代过程中保障线上流量不受损。依赖开源产品缺少无运维工具，常常需要投入较大的运维人力和成本。 本实践提供基于云原生应用产品提供微服务注册配置中心、微服务治理和云原生网关等一系列高性能和高可用的企业级云服务能力。
熔断效果展示 推送开关后，程序的慢调用生效，就会触发熔断规则：观察mseconsumer应用的接口详情，在客户端看到具体熔断信息。路径：治理中心-应用治理-接 口详情。文档版本：20240229基于SpringCloud玩转MSE 9.一键释放云资源 场景已经完成，可以将验证通过的环境直接用于生产。如果不再使用该架构，也可以通过CADT释放...
云消息队列 MQTT 版
云消息队列 MQTT 版是专为移动互联网(MI)、物联网(IoT)领域设计的消息产品，覆盖直播互动、金融支付、智能餐饮、即时聊天、移动 Apps、智能设备、车联网等多种应用场景；通过对 MQTT、WebSocket 等协议的全面支持，连接端云之间的双向通信，实现 C2C、C2B、B2C 等业务场景之间的消息通信，可支撑千万级设备与消息并发。
可支撑千万级设备在线连接，百万级消息并发，万亿级消息流转，毫秒级消息推送；分布式理念进行设计，无单点瓶颈，各组件之间均可以无限水平扩展，确保容量可弹性伸缩，并对用户透明；支持设备级权限控制，支持临时 Token 服务以及 SSL/TLS 传输加密通信，确保用户数据安全可靠；可以支持消息队列 MQTT 和消息队列 RocketMQ ...
来自：
云产品
轻量消息队列（原 MNS）
轻量消息队列（原 MNS）是一款易集成、高并发、可弹性扩展的轻量消息队列服务。轻量队列模型、按量后付费的计费模式、自动适应高并发的弹性可扩展能力，让开发者低成本快速构建分布式、松耦合系统，高效地传递数据和通知消息。
消息推送通知是运营方法中使用频率较高的一种。它可以在某个时间节点提醒用户进行某项操作，比如上新活动推送、有趣新闻内容提醒、或派送优惠券通知等，增强用户黏性.表单注册等系统同步转异步，实现异步通知.用户注册成功后，需要发送注册成功邮件、新用户积分、优惠券等，加入MNS，可以提升主流程用户注册流程的响应速度...
来自：
云产品
实时计算Flink版
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，具备实时应用的作业开发、数据调试、运行与监控、自动调优、智能诊断等全生命周期能力。内核引擎100%兼容Apache Flink，2倍性能提升，拥有FlinkCDC、动态CEP等企业级增值功能，内置丰富上下游连接器，助力企业构建高效、稳定和强大的实时数据应用。
主要业务场景包括实时反欺诈、实时大屏、实时精准推送等.唐家哲,靖鑫,也树.钱大妈风控业务架构，主要由事件接入，风险应对，风险感知，风险回溯四个部分构成，阿里云实时计算Flink版产品在线ETL加工实时用户画像标签和销售事实指标，为钱大妈实时规则引擎的事件接入提供了重要的数据源支持。该风控技术方案已应用于钱大妈...
来自：
云产品
可观测监控 Prometheus 版
覆盖业务自定义监控/应用组件监控/云服务监控/容器监控/系统监控等场景。默认集成Grafana看板与智能告警，全面优化系统可用性与查询能力，用户无需关注系统可用性与Exporter集成。帮助企业快速搭建一站式指标可观测体系。
如何使用 Pushgateway 推送监控数据.「包年包月」须先行开通按量付费创建实例.标题-copy-copy.营销2.0商品卡片（适用鸿蒙1.0）.营销2.0商品卡片.相较于 Prometheus 开源版本性能提升 20 倍，有效降低运维成本 90%以上.通用icon文字列表.数据采集性能较开源版本提升 20 倍 支持长时间区间数据秒级查询.全托管式服务，运维...
来自：
云产品
SLS多云日志采集、处理及分析
场景描述 从第三方云平台或线下IDC服务器上采集 日志写入到阿里云日志服务，通过日志服务 进行数据分析，帮助提升运维、运营效率， 建立DT 时代海量日志处理能力。 针对未使用其他日志采集服务的用户，推荐 在他云或线下服务器安装logtail采集并使用 Https安全传输；针对已使用其他日志采集 工具并且已有日志服务需要继续服务的情 况，可以通过Log producer SDK写入日志 服务。 解决问题 1.第三方云平台或线下IDC客户需要使用 阿里云日志服务生态的用户。 2.第三方云平台或线下IDC服务器已有完 整日志采集、处理及分析的用户。 产品列表 E-MapReduce 专有网络VPC 云服务器ECS 日志服务LOG DCDN
步骤10 通过 Log producer提交日志推送，把采集的日志发送到日志服务（这里把日志的相 关字段通过 logItem进行包装）。文档版本：20211203 62 SLS多云日志采集、处理及分析 编写 Spark作业源码解读及问题排查 步骤11 参考 pom.xml文件添加相关的 maven依赖及相关配置。Spark作业源码编译及问题排查 步骤1 进入源码所在的主...
基于Flink+ClickHouse构建实时游戏数据分析
在互联网、游戏行业中，常常需要对用户行为日志进行分析，通过数据挖掘，来更好地支持业务运营，比如用户轨迹，热力图，登录行为分析，实时业务大屏等。当业务数据量达到千亿规模时，常常导致分析不实时，平均响应时间长达10分钟，影响业务的正常运营和发展。 本实践介绍如何快速收集海量用户行为数据，实现秒级响应的实时用户行为分析，并通过实时流计算Flink/Blink、云数据库ClickHouse等技术进行深入挖掘和分析，得到用户特征和画像，实现个性化系统推荐服务。 通过云数据库ClickHouse替换原有Presto数仓，对比开源Presto性能提升20倍。 利用云数据库ClickHouse极致分析性能，千亿级数据分析从10分钟缩短到30秒。 云数据库ClickHouse批量写入效率高，支持业务高峰每小时230亿的用户数据写入。 云数据库ClickHouse开箱即用，免运维，全球多Region部署，快速支持新游戏开服。 Flink+ClickHouse+QuickBI
步骤6 确认消息被推送到消息队列 Kafka（实际消息条数大于 100，因为有系统启动的日志 也被收集到 kafka，这部分日志会在 Flink流处理时，进行 ETL过滤）。步骤7（可选）查看消息队列 Kafka中的 filebeat的消息格式。文档版本：20201224 44 基于 Flink+ClickHouse构建实时游戏数据分析 日志采集 日志模拟方式二：通过调用 ...
Spark on ECI大数据分析
场景描述 方案优势 1.计算引擎弹性扩缩容，兼顾资源弹性与计 算资源成本优化。 2.计算与存储分离架构，结合阿里云原生云 存储产品，海量数据湖优势。 3.Kubernetes原生的调度性能优势，提升在 大规模分析作业时的分析性能优势分。 4.集群资源隔离和按需分配。 解决问题 1.计算资源弹性能力不足，计算资源成本管 控能力欠缺. 2.集群资源调度能力和隔离能力不足。 3.计算与存储无法分离，大数据量分析时出 现数据存储资源瓶颈。 4.Spark submit方式提交分析作业参数支持 有限等缺点。 产品列表 容器服务Kubernetes版(ACK) 弹性容器实例(ECI) 文件存储HDFS 对象存储OSS 专有网络VPC 容器镜像服务ACR
2.在容器镜像服务 ACR控制台上可以看到镜像已经推送到了私像仓库。2.4.准备 Spark应用镜像 步骤1 编写示例 WordCount函数并打包。本地开发环境使用 IntelliJ IDEA，创建 Maven工程，创建的 Maven工程结构如下图 所示，并将修改后的 core-site.xml文件放入应用项目的 resources目录，这里以编写 一个常见的 WordCount函数...
通过RocketMQ事务消息实现分布式事务
在日益复杂的分布式系统中，确保数据一致性成为一大挑战。本方案利用RocketMQ强大事务消息能力，确保跨服务事务的高可靠与最终一致性，同时还实现了事务处理的高效执行，是构建高性能、高可用分布式系统的关键路径。
RocketMQ通过事务消息机制，确保消息的高可靠性和系统的高并发处理能力，此处使用两台ECS分别作为生产者和消费者，实现分布式业务场景的消息生产与消费，通过RocketMQ实现跨服务器的消息传递和处理。立即部署 35分钟 20元（方案过程中产生流量在10GB以内，且体验时长不超过12小时。如果您调整了资源规格、使用时长，或执行...
来自：
技术解决方案
消息推送
移动网关服务，源于阿里云移动开发平台。消息推送 MPS，针对不同的场景推出多种推送类型，满足个性化推送需求。集成了多家手机厂商的推送功能，方便快速集成移动终端推送功能，与 App 用户保持互动，从而有效地提高用户留存率，提升用户体验。
消息推送 MPS，针对不同的场景推出多种推送类型，满足个性化推送需求。集成了多家手机厂商的推送功能，方便快速集成移动终端推送功能，与 App 用户保持互动，从而有效地提高用户留存率，提升用户体验.全线降价，mPaaS 助力打造超级 App！点击查看.mPaaS 全线降价！点击查看.查看推送流程，了解更多.频道页banner.产品详情页...
来自：
云产品
高弹性，低成本，云消息队列 RabbitMQ实践
随着业务增长，企业对消息队列性能和稳定性的需求提高，运维成本也随之增加。云消息队列 RabbitMQ 版通过架构优化避免了消息积压导致的内存泄漏和服务器故障等稳定性问题，解决了分布式系统中的脑裂难题，并支持弹性伸缩和按量计费，有效降低资源和运维成本。
随着业务增长，企业对消息队列性能和稳定性的需求提高，运维成本也随之增加。云消息队列 RabbitMQ 版通过架构优化避免了消息积压导致的内存泄漏和服务器故障等稳定性问题，解决了分布式系统中的脑裂难题，并支持弹性伸缩和按量计费，有效降低资源和运维成本。高弹性，低成本，云消息队列 RabbitMQ实践 随着业务增长，企业对...
来自：
技术解决方案
基于函数计算FC实现阿里云Kafka消息轻量级ETL处理
在大数据ETL场景，Kafka是数据的流转中心，Kafka中的数据一般是原始数据，可能存在多种数据混杂的情况，需要进一步做数据清洗后才能进行下一步的处理或者保存。利用函数计算FC，可以快速高效的搭建数据处理链路，用户只需要关注数据处理的逻辑，数据的触发，弹性伸缩，运维监控等阿里云函数计算都已经做了集成，函数计算FC也支持多种下游，OSS/数据库/消息队列/ES等都可以自定义的对接
（这里有异步调用和同步调用两种方式，为了能快速消费消 息，这里选择异步调用，并且两种调用方式的正文负载大小不同，同步调用为 32MB，异步调用为 128KB）触发器启用状态：勾选 批量推送：默认关闭。（可以选择开启，然后可以设置批量推送的条数，批量推送 间隔，根据需求选择是否批量推送）推送格式：RawData（也可以...
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
应用场景 在大数据场景，企业的Kafka实例可能存在多种情况，比如使用阿里云Kafka服务，可能是自建开源Kafka，或者是其他云上的云Kafka。不同的业务使用不同类型的Kafka实例，在这个前提下Kafka实例之间可能会需要消息同步的情况： 同帐号容灾场景：比如Kafka实例都是阿里云Kafka，但是Kafka实例会有主备之分，需要将主Kafka实例的消息实时同步到备Kafka。 跨帐号或异地容灾：这类场景比如主Kafka是阿里云Kafka，备Kafka是IDC开源自建Kafka，或者是其他云上的Kafka。 不同业务之间消息同步：因为现在的业务通常不会是信息孤岛，都需要消息互通，所以可能是A业务的Kafka实例消息需要同步到B业务的Kafka实例，并且这两个Kafka实例归属不同的RAM角色，有自己独自的权限控制。 解决问题 解决使用开源组件做消息同步的高成本问题。 解决使用开源组件做消息同步的并发性能、稳定性问题。 解决使用开源组件做消息同步的可靠性问题（重试机制，容错机制，死信队列等）。 大幅提升构建消息同步架构的效率，降低构建复杂度问题。
（这里有异步调用和同步调用两种方式，为了能快速消费消 息，这里选择异步调用，并且两种调用方式的正文负载大小不同，同步调用为32MB，异步调用为128KB） 触发器启用状态：勾选 批量推送：默认关闭。（可以选择开启，然后可以设置批量推送的条数，批量推送 间隔，根据需求选择是否批量推送） 推送格式：RawData（也...
基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
在大数据ETL场景，将Kafka中的消息流转到其他下游服务是很常见的场景，除了常规的消息流转外，很多场景还需要基于消息体内容做判断，然后决定下游服务做何种操作。 该方案实现了通过Kafka中消息Key的内容来判断应该对MongoDB做增、删、改的哪种DML操作。 当Kafka收到消息后，会自动触发函数计算中的函数，接收到消息，对消息内容做判断，然后再操作MongoDB。用户可以对提供的默认函数代码做修改，来满足更复杂的逻辑。 整体方案通过CADT可以一键拉起依赖的产品，并完成了大多数的配置，用户只需要到函数计算和MongoDB控制台做少量配置即可。
l 云消息队列 Kafka 版：云消息队列 Kafka 版是阿里云提供的分布式、高吞吐、可扩展的消 息队列服务。云消息队列 Kafka 版广泛用于日志收集、监控数据聚合、流式数据处理、在 线和离线分析等大数据领域，已成为大数据生态中不可或缺的部分。l 云数据库 MongoDB 版（ApsaraDB for MongoDB）：完全兼容 MongoDB 协议，基于...
- 产品推荐
- 这些文档可能帮助您