基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
在大数据ETL场景，将Kafka中的消息流转到其他下游服务是很常见的场景，除了常规的消息流转外，很多场景还需要基于消息体内容做判断，然后决定下游服务做何种操作。 该方案实现了通过Kafka中消息Key的内容来判断应该对MongoDB做增、删、改的哪种DML操作。 当Kafka收到消息后，会自动触发函数计算中的函数，接收到消息，对消息内容做判断，然后再操作MongoDB。用户可以对提供的默认函数代码做修改，来满足更复杂的逻辑。 整体方案通过CADT可以一键拉起依赖的产品，并完成了大多数的配置，用户只需要到函数计算和MongoDB控制台做少量配置即可。
函数计算具有完善的日志系统、容错机制。可 l 阿里云云消息队列 Kafka 版 以清晰的看到对每条消息的处理日志，如果逻辑 执行失败，也有重试机制和函数失败补偿机制，l 云速搭 CADT 保证业务数据的完整性和一致性。最佳实践频道 http://bp.aliyun.com 阿里云最佳实践分享群 钉钉搜索钉群号 31852400入群 函数计算 FC用户交流...
Kafka性能压测快速方案
产品性能基线测试场景需要对产品进行性能测试得到详细的压测数据，本方案可以快速构建测试的客户端（kafka官方的压测客户端）和不同的Kafka服务端（ SSD云盘版、高效云盘、Serverless版三种实例），方便客户进行POC完成性能验证。
mkdir/root/kafka-perf 文档版本：20240229 4Kafka性能压测快速方案 部署基础环境#sleep10s sleep10#生成本地执行文件 cat>/root/kafka-perf/install_env.sh/root/kafka-perf/kafka-perf.sh/root/kafka-perf/kafka-perf.log2>&1&可用 tail-f/root/kafka-perf/kafka-perf.log查看系统启动部署kafka压测软件日志。echo"压测...
基于MSE和SAE的微服务部署与压测
通过云原生微服务引擎MSE、SAE、PTS、ARMS产品，为spring cloud微服务应用提供部署和测试能力，提供一个经典微服务应用上云的典型架构，实现微服务应用的快速落地。
基于MSE和SAE的微服务部署与压测最佳实践 业务架构 场景描述 通过云原生微服务引擎MSE、SAE、PTS、ARMS 产品，为SpringCloud微服务应用提供部署和测试 能力，提供一个经典微服务应用上云的典型架构，实 现微服务应用的快速落地。应用场景 微服务应用运行需要的支撑包括注册中心、运行时、应用监控、服务测试等典型能力。...
云速搭部署SLS实现日志采集处理分析
通过云速搭部署ECS+SLS，在ECS上安装logtail收集Nginx应用日志写入SLS。通过日志生成器模拟Nginx日志生成，并通过SLS进行日志分析。
文档版本：20211203 30 云速搭部署 SLS实现日志采集处理分析 Logtail日志采集处理分析 注意：查询分析设置的修改操作只会对新写入的数据生效，如果您需要提前对查询分 析设置的某些字段分析统计生效，请使用指定字段查询的自定义方式在日志写入到日 志库之前进行开启统计查询。步骤4 再次启动日志发生器和停止日志发生器。...
基于SpringCloud应用玩转MSE实践
随着业务不断创新，大型的单个应用和服务会被拆分为数个甚至数十个微服务，微服务架构已经被广泛应用。 微服务的好处在于快速迭代，如何在迭代过程中保障线上流量不受损。依赖开源产品缺少无运维工具，常常需要投入较大的运维人力和成本。 本实践提供基于云原生应用产品提供微服务注册配置中心、微服务治理和云原生网关等一系列高性能和高可用的企业级云服务能力。
应用计价成功后，CADT会实时生成一个应用架构成本分析报告，可以单击查看报告。文档版本：20240229基于SpringCloud应用玩转MSE 如果确认价格符合预期，可以单击下一步：确认订单。步骤8 确认订单阶段会列出架构中所有的产品及其价格，需要用户确认无误后勾选接受《云 速搭服务条款》，此时下一步：支付并创建才会高亮，可以...
基于日志服务构建业务可观测性系统
现在已知的各种监控数据的工具，以及对应的监控系统有非常多的选择，比如ZABBIX，Prometheus，Skywalking等。但是这些系统都存在同样的一个问题，只覆盖了可观察性的一部分，举个简单的类比，大家在日常开车的过程中，会用到很多的辅助设备，仪表盘，行车记录仪，导航，倒车影像等等，这些设备都各自承载了一部分的功能，但是都存在着如下的问题： l 数据覆盖不完整 l 存在数据孤岛（无法关联协同） l 使用门槛高，不够人性化 核心价值 l 全覆盖，统一协议，支持各类平台。 l 数据关联，统一Schema，关联Metrics/Logs。 l 云原生，SaaS服务，拥抱云原生。 l 简单易用，自动化埋点，数十项易用功能。 智能化，异常诊断，根因分析。
能够提供异常诊断和根因分 文档版本：20210616 5 基于日志服务构建业务可观察性系统 架构设计 析等智能算法能力的核心优势。全覆盖，统一协议，支持各类平台。数据关联，统一 Schema，关联 Metrics/Logs。云原生，SaaS服务，拥抱云原生。简单易用，自动化埋点，数十项易用功能。智能化，异常诊断，根因分析。文档版本：...
实时同步RDS与Redis构建缓存一致性
通过DTS数据订阅能力，用户可以实时订阅RDS日志数据变更，并将其写入Redis以实现缓存数据的更新，可以实现MySQL与Redis之间的缓存同步一致性。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台实时同步RDS与Redis构建缓存一致性方案介绍方案优势应用场景方案部署方案权益实时同步RDS与Redis构建缓存一致性通过DTS数据订阅能力，用户可以实时订阅RDS日志数据变更，并将其写入Redis以实现缓存数据的更新。这样的配置可以实现MySQL与...
来自：
解决方案
实时数仓Hologres
Hologres（原交互式分析）是一站式实时数据仓库引擎，支持海量数据实时写入、实时更新、实时分析，支持标准SQL（兼容PostgreSQL协议），支持PB级数据多维分析（OLAP）与自助分析（Ad Hoc），支持高并发低延迟的在线数据服务（Serving），与MaxCompute、Flink、DataWorks深度融合，提供离在线一体化全栈数仓解决方案。
实时数仓20讲.15000CU时计算包原价5313元，限时新购仅需59元.15000CU时计算包原价5313元，限时新购仅需59元.<查看全部产品.Hologres是一站式实时数据仓库引擎，支持海量数据实时写入、实时更新、实时分析，支持标准SQL（兼容PostgreSQL协议），支持PB级数据多维分析（OLAP）与即席分析（Ad Hoc），支持高并发低延迟的在线...
来自：
云产品
日志服务sls
日志服务（Log Service，简称Log）是针对实时数据一站式服务，在阿里集团经历大量大数据场景锤炼而成。无需开发就能快捷完成数据采集、消费、投递以及查询分析等功能，帮助提升运维、运营效率，建立DT时代海量日志处理能力。
日志服务（Simple Log Service，简称 SLS）是云原生观测分析平台，为 Log/Metric/Trace 等数据提供大规模、低成本、实时平台化服务。一站式提供数据采集、加工、分析、告警可视化与投递功能，全面提升研发、运维、运营和安全等场景数字化能力.按写入量计费优惠购买.按使用功能计费优惠购买.日志服务 SLS.Log/Metric/Trace...
来自：
云产品
实时计算Flink版
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，具备实时应用的作业开发、数据调试、运行与监控、自动调优、智能诊断等全生命周期能力。内核引擎100%兼容Apache Flink，2倍性能提升，拥有FlinkCDC、动态CEP等企业级增值功能，内置丰富上下游连接器，助力企业构建高效、稳定和强大的实时数据应用。
通过实时计算Flink版进行实时内容热点分析，实时用户行为分析，用户增长和活跃度实时监控分析，文章视频实时推荐，实时广告投放，实时流量运营等.互联网娱乐类企业.通过使用阿里云实时计算Flink版，可以有效解决续报、复课、直播课视频质量监控等在线教育关键场景下面临的计算实时性/准确性问题。通过产品提供的完整流式SQL...
来自：
云产品
基于Flink的资讯场景实时数仓
场景描述 本实践针对资讯聚合类业务场景，Step by Step介绍 如何搭建实时数仓。 解决问题 1.如何搭建实时数仓。 2.通过实时计算Flink实现实时ETL和数据流。 3.通过实时计算Flink实现实时数据分析。 4.通过实时计算Flink实现事件触发。 产品列表 实时计算 专有网络VPC 云数据库RDSMySQL版 分析型数据库MySQL版 消息队列Kafka 对象存储OSS NAT网关 DataV数据可视化
另一部分需要将数据写入 OLAP系统，经过多维分 析给业务方使用。5.数据挖掘：从历史中预测未来一直是人类的梦想，对公司来说，能对未来趋势作出 正确的判断才能基业长青。机器学习就是通过历史数据对未来进行预测的一种手 段，可以使数据发挥最大的作用。6.业务系统：经过处理的数据，可直接服务于相关业务方，如运营、决策...
跨阿里云账号采集日志
跨阿里云账号采集日志可以实现多个账号间的日志共享和集中管理，降低了管理成本和风险，提高了日志数据的安全性和可靠性。同时，跨账号日志采集还可以满足多租户场景下的日志管理需求，提高了系统的可扩展性。
加入购物车立即购买解决方案推荐视频网站的存储与媒体处理方案视频存储与处理服务解决方案是基于阿里云服务提供高可靠存储和实时自动化服务的一种视频存储和处理解决方案。根据企业业务需求，支持视频存储、水印、转码、点播等能力。帮助您优化和增强视频网站能力，为客户提供高质量的视频服务。查看详情应用日志数据归档...
来自：
解决方案
云上日志集中审计
场景描述 云上的各类云产品和客户部署的业务系统会产生各类 日志，企业合规及安全运营等都需要在一个地方能 集中的查看和分析日志；目前各云产品日志大部分 都进了sls，但都是产品独立的project，不方便集中 审计；客户的业务系统日志各种形态都有；多云和混 合云的场景，日志也需要能集中审计。 解决问题 1.所有日志集中到SLS一个中心project下。 2.满足等保合规和内部合规需求。 3.满足运维和安全运营需求。 产品列表 日志服务SLS 专有网络VPC 弹性公网IPEIP 负载均衡SLB 云服务器ECS 云数据库RDS 云防火墙CFW
文档版本：20200630（发布日期）34 云上日志集中审计 集中云安全产品日志 步骤3 根据需要，选择配置参数，本实践示例配置：配置项 说明 当前版本 企业版 资产数 50台 带宽（互联网防火墙吞吐量）50Mbps 日志分析 是 日志存储容量 4000GB 购买时长 1个月 文档版本：20200630（发布日期）35 云上日志集中审计 集中云安全产品...
自建ELK迁移阿里云日志服务
场景描述 ELK Stack（Elastic/Logstash/Kibana） 通常 被用于日志实时分析， 在开源社区中有大量 的内容和使用案例。 本文介绍如何将自建的 ELK 系统迁移到阿里云 SLS 日志服务。 解决问题 1. 自建 ELK 如何迁移到阿里云日志服务。 2. 如何使用 Logtail 采集日志。 3. 如何使用阿里云日志服务对日志进行查 询、 分析。 产品列表 阿里云日志服务（SLS） VPN 网关 IPSec VPN 云服务器
自建 ELK迁移阿里云日志服务 SLS最佳实践 业务架构 场景描述 ELKStack（Elastic/Logstash/Kibana）通常被用于日 志实时分析场景，在开源社区中有大量的内容和使用 案例。通常自建的ELK系统在弹性、功能、成本、优化、稳定性等方面客户会遇到较多问题，本文介绍 如何将自建的ELK系统迁移到阿里云SLS日志服 务。应用场景 1.自...
- 产品推荐
- 这些文档可能帮助您