SLS多云日志采集、处理及分析
场景描述 从第三方云平台或线下IDC服务器上采集 日志写入到阿里云日志服务，通过日志服务 进行数据分析，帮助提升运维、运营效率， 建立DT 时代海量日志处理能力。 针对未使用其他日志采集服务的用户，推荐 在他云或线下服务器安装logtail采集并使用 Https安全传输；针对已使用其他日志采集 工具并且已有日志服务需要继续服务的情 况，可以通过Log producer SDK写入日志 服务。 解决问题 1.第三方云平台或线下IDC客户需要使用 阿里云日志服务生态的用户。 2.第三方云平台或线下IDC服务器已有完 整日志采集、处理及分析的用户。 产品列表 E-MapReduce 专有网络VPC 云服务器ECS 日志服务LOG DCDN
步骤10 通过 Log producer提交日志推送，把采集的日志发送到日志服务（这里把日志的相 关字段通过 logItem进行包装）。文档版本：20211203 62 SLS多云日志采集、处理及分析 编写 Spark作业源码解读及问题排查 步骤11 参考 pom.xml文件添加相关的 maven依赖及相关配置。Spark作业源码编译及问题排查 步骤1 进入源码所在的主...
移动开发秘籍：云上高效构建App
本方案使用移动研发平台EMAS和研发协同平台云效来提供一站式App的开发、测试、运维、运营等应用全生命周期的管理能力，提升开发效率，降低运维成本。
在线部署 适用客户 希望快速构建和发布跨平台App 需要简化运维管理的项目 寻求云上自动化测试与发布方案 方案优势 通过EMAS快速开发App App开发上线的核心步骤包括服务端和移动端的代码管理、构建、测试、部署发布，以及功能版本更新后的推送。本方案通过云效、移动研发平台EMAS实现了核心步骤的全覆盖，一站式高效完成App...
来自：
技术解决方案
通过RocketMQ事务消息实现分布式事务
在日益复杂的分布式系统中，确保数据一致性成为一大挑战。本方案利用RocketMQ强大事务消息能力，确保跨服务事务的高可靠与最终一致性，同时还实现了事务处理的高效执行，是构建高性能、高可用分布式系统的关键路径。
传统XA事务 云消息队列RocketMQ版分布式事务消息 性能不足 传统XA事务往往需要在多个数据库或服务之间协调，事务提交和回滚的开销较大，导致性能瓶颈，尤其在高并发场景下表现不佳。性能 性能卓越 RocketMQ通过高效的消息传输和处理机制，能够在高并发场景下保持低延迟和高吞吐，确保系统的性能卓越。成本高 传统XA事务架构...
来自：
技术解决方案
高弹性，低成本，云消息队列 RabbitMQ实践
随着业务增长，企业对消息队列性能和稳定性的需求提高，运维成本也随之增加。云消息队列 RabbitMQ 版通过架构优化避免了消息积压导致的内存泄漏和服务器故障等稳定性问题，解决了分布式系统中的脑裂难题，并支持弹性伸缩和按量计费，有效降低资源和运维成本。
开源 RabbitMQ 云消息队列 RabbitMQ 版 不稳定、维护难 消息堆积能力差，服务可用性和数据可靠性通过镜像队列或仲裁队列实现，容易出现脑裂问题。Erlang 小众语言实现且服务端日志简单，出现问题时难定位问题根因。稳定性 稳定、服务高可用 采用多可用区高可用架构和存算分离架构，故障计算节点可快速摘除隔离；请求并发度...
来自：
技术解决方案
消息推送
移动网关服务，源于阿里云移动开发平台。消息推送 MPS，针对不同的场景推出多种推送类型，满足个性化推送需求。集成了多家手机厂商的推送功能，方便快速集成移动终端推送功能，与 App 用户保持互动，从而有效地提高用户留存率，提升用户体验。
消息推送 MPS 将小米、华为、Oppo、Vivo 等三方渠道整合，覆盖国内近 90%安卓机型用户.App 保活状态下 100ms 到达；集成三方安卓渠道下非保活 App 300ms 到达.通用icon文字列表.蔡伟杰,靖鑫,也树.无视终端机型，准确触达用户.1.专业的移动消息推送方案，针对不同的场景推出多种推送类型，满足个性化推送需求。2.支持国内外...
来自：
云产品
基于函数计算FC实现阿里云Kafka消息轻量级ETL处理
在大数据ETL场景，Kafka是数据的流转中心，Kafka中的数据一般是原始数据，可能存在多种数据混杂的情况，需要进一步做数据清洗后才能进行下一步的处理或者保存。利用函数计算FC，可以快速高效的搭建数据处理链路，用户只需要关注数据处理的逻辑，数据的触发，弹性伸缩，运维监控等阿里云函数计算都已经做了集成，函数计算FC也支持多种下游，OSS/数据库/消息队列/ES等都可以自定义的对接
（这里有异步调用和同步调用两种方式，为了能快速消费消 息，这里选择异步调用，并且两种调用方式的正文负载大小不同，同步调用为 32MB，异步调用为 128KB）触发器启用状态：勾选 批量推送：默认关闭。（可以选择开启，然后可以设置批量推送的条数，批量推送 间隔，根据需求选择是否批量推送）推送格式：RawData（也可以...
基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
在大数据ETL场景，将Kafka中的消息流转到其他下游服务是很常见的场景，除了常规的消息流转外，很多场景还需要基于消息体内容做判断，然后决定下游服务做何种操作。 该方案实现了通过Kafka中消息Key的内容来判断应该对MongoDB做增、删、改的哪种DML操作。 当Kafka收到消息后，会自动触发函数计算中的函数，接收到消息，对消息内容做判断，然后再操作MongoDB。用户可以对提供的默认函数代码做修改，来满足更复杂的逻辑。 整体方案通过CADT可以一键拉起依赖的产品，并完成了大多数的配置，用户只需要到函数计算和MongoDB控制台做少量配置即可。
l 云消息队列 Kafka 版：云消息队列 Kafka 版是阿里云提供的分布式、高吞吐、可扩展的消 息队列服务。云消息队列 Kafka 版广泛用于日志收集、监控数据聚合、流式数据处理、在 线和离线分析等大数据领域，已成为大数据生态中不可或缺的部分。l 云数据库 MongoDB 版（ApsaraDB for MongoDB）：完全兼容 MongoDB 协议，基于...
SLS数据入湖Kafka最佳实践
应用和数据分散在多云或混合云，在面对多云/混合云这样大的趋势下，数据无法进行统一的聚合、分析处理和导出等，本方案给出了在多云/混合云场景下，构建通过标准的Kafka协议和托管服务，SLS可以连接Kafka数据入湖导入，然后进行统一的海量数据的集中存储、智能转储、聚合分析查询等。
云消息队列Kafka版：是阿里云基于ApacheKafka构建的高吞吐量、高可扩 展性的分布式消息队列服务，广泛用于日志收集、监控数据聚合、流式数据处 理、在线和离线分析等场景，是大数据生态中不可或缺的产品之一，阿里云提 供全托管服务，用户无需部署运维，更专业、更可靠、更安全. Serverless应用引擎SAE...
云消息队列 Confluent 版
云消息队列 Confluent 版是阿里云与 Apache Kafka 项目创始团队所创立的 Confluent 公司合作，基于 Apache Kafka 核心能力提供的企业级全托管消息队列服务，旨在为企业提供集成消息流式处理与大数据系统的一站式解决方案。
云消息队列 Kafka 版.Apache Kafka 全托管消息服务，大数据生态中不可或缺的消息产品，具备开箱即用、无缝迁移、安全可靠、免运维等特点.云消息队列 RocketMQ 版.阿里巴巴官方指定消息产品，成熟、稳定、先进的技术体系打造金融级消息服务，感受双十一产品的完美体验.即 RocketMQ 轻量版，提供轻量模型、轻量 HTTP RESTful ...
来自：
云产品
RocketMQ性能压测快速方案
在客户对产品性能存疑或者给客户进行POC验证时可以用本实践来快速完成性能测试。
一键释放资源.29 文档版本：20240506 IIIRocketMQ性能压测快速方案 最佳实践概述 最佳实践概述 方案概述 消息队列RocketMQ5.0版提供多种消息收发实例规格，在创建实例时按照消息读写 TPS总和选择满足业务的规格大小，本实验进行性能压测，来验证实例的消息读写 TPS能力是否符合规格定义的TPS峰值大小。应用场景 借助CADT...
Kafka性能压测快速方案
产品性能基线测试场景需要对产品进行性能测试得到详细的压测数据，本方案可以快速构建测试的客户端（kafka官方的压测客户端）和不同的Kafka服务端（ SSD云盘版、高效云盘、Serverless版三种实例），方便客户进行POC完成性能验证。
3个kafka实例 实例名称 kafka-ssd kafka-HighEfficiency kafka-serverless 规格 alikafka.hr.12xlarge alikafka.hr.12xlarge serverless实例 发送能力预留90MB 订阅能力预留120MB 磁盘类型 SSD 高效云盘 不涉及 预期写峰 60MB 60MB 60MB 值 预期读峰 240MB 240MB 240MB 文档版本：20240229 5Kafka性能压测快速方案 最佳实践...
云消息队列 Kafka 版
云消息队列 Kafka 版是阿里云基于Apache Kafka构建的大数据消息中间件，广泛用于日志收集和分析、数据处理等场景。可提供全托管服务，用户无需部署运维，更专业、更可靠、更安全。
【Kafka 生态】在 Knative 上实现 Kafka 消息推送.【最佳实践】从开源 Kafka 迁移到消息队列 Kafka 最佳实践.100%兼容开源社区 Apache Kafka（0.10.0.0 及以上版本），业务代码无需任何改造，快速上云.提供全托管服务，用户只需专注于业务开发，无需部署运维，更专业、更弹性、更可靠.专业团队保障更高可用性，优化开源 ...
来自：
云产品
轻量消息队列（原 MNS）
轻量消息队列（原 MNS）是一款易集成、高并发、可弹性扩展的轻量消息队列服务。轻量队列模型、按量后付费的计费模式、自动适应高并发的弹性可扩展能力，让开发者低成本快速构建分布式、松耦合系统，高效地传递数据和通知消息。
消息推送通知是运营方法中使用频率较高的一种。它可以在某个时间节点提醒用户进行某项操作，比如上新活动推送、有趣新闻内容提醒、或派送优惠券通知等，增强用户黏性.表单注册等系统同步转异步，实现异步通知.用户注册成功后，需要发送注册成功邮件、新用户积分、优惠券等，加入MNS，可以提升主流程用户注册流程的响应速度...
来自：
云产品
云消息队列 RabbitMQ 版
云消息队列 RabbitMQ 版是阿里云打造的云消息服务，广泛用于海量队列分发、分布式定时任务等场景。支持 AMQP 协议，开箱即用，轻松实现快速上云，更专业、更可靠、更安全。
云消息队列 RabbitMQ 版具有海量消息堆积能力，高性能不受消息对接的影响，彻底解决了开源 RabbitMQ 因堆积引发内存问题导致宕机的痛点.完全兼容开源SDK的流控使用方式.云消息队列 RabbitMQ 版完全兼容开源 SDK 和协议，支持开发者常用的流控实现方式，例如设置 channel 的并发度，设置拉取消息的条数 prefetch_count 等.云...
来自：
云产品
中小企业基于SAG APP实现云上移动办公
1. 客户端一键接入上云，配置自动化 2. 城域内 Internet 就近接入，快速高效 3. 数据加密传输，满足安全性要求 4. 阿里云控制台统一配置管理
中小企业基于 SAG APP实现云上移动办公 最佳实践 业务架构 场景描述 公司已在阿里云上部署了应用服务，如 OA系统、办公管理后台等，公司员工日常通过办公网络访 问云上资源。随着公司的不断发展，移动办公的场 景越来越多，如出差、在家办公等。公司运维人员 也要求在任何时间和任何地方都能安全访问云资 源。解决问题 1....
- 产品推荐
- 这些文档可能帮助您