SLS数据入湖Kafka最佳实践
应用和数据分散在多云或混合云，在面对多云/混合云这样大的趋势下，数据无法进行统一的聚合、分析处理和导出等，本方案给出了在多云/混合云场景下，构建通过标准的Kafka协议和托管服务，SLS可以连接Kafka数据入湖导入，然后进行统一的海量数据的集中存储、智能转储、聚合分析查询等。
云消息队列Kafka版：是阿里云基于ApacheKafka构建的高吞吐量、高可扩 展性的分布式消息队列服务，广泛用于日志收集、监控数据聚合、流式数据处 理、在线和离线分析等场景，是大数据生态中不可或缺的产品之一，阿里云提 供全托管服务，用户无需部署运维，更专业、更可靠、更安全. Serverless应用引擎SAE...
基于函数计算FC实现阿里云Kafka消息轻量级ETL处理
在大数据ETL场景，Kafka是数据的流转中心，Kafka中的数据一般是原始数据，可能存在多种数据混杂的情况，需要进一步做数据清洗后才能进行下一步的处理或者保存。利用函数计算FC，可以快速高效的搭建数据处理链路，用户只需要关注数据处理的逻辑，数据的触发，弹性伸缩，运维监控等阿里云函数计算都已经做了集成，函数计算FC也支持多种下游，OSS/数据库/消息队列/ES等都可以自定义的对接
云消息队列 Kafka 版：云消息队列 Kafka 版是阿里云提供的分布式、高吞吐、可扩展的 消息队列服务。云消息队列 Kafka 版广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域，已成为大数据生态中不可或缺的部分。对象存储 OSS：对象存储 OSS 是一款具有行业领先的安全、稳定、高性价比、高性能的 云...
基于函数计算实现直播流录制-存储-通知
在互娱、教育、电商等行业都会有直播相关的业务，大部分场合都需要对直播相关的业务做安全审核，或者对直播的课程进行录制和转码。该方案实现了一种完全按需拉起、按量弹性、按实际使用付费的录制方案。基于本方案还可以扩展实现直播流截帧、自动化安全审核等能力
基于函数计算实现直播流录制-存储-通知最佳实践 业务架构 场景描述 基于阿里云函数计算实现对直播流的实时录制，录制结束后会把录制的结果写入 OSS 存储桶，并把录制的结果写到消息队列，下游服务可以通 过订阅的方式来消费消息 应用场景 在互娱、教育、电商等行业都会有直播相关的业 务，大部分场合都需要对直播相关的业务...
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
应用场景 在大数据场景，企业的Kafka实例可能存在多种情况，比如使用阿里云Kafka服务，可能是自建开源Kafka，或者是其他云上的云Kafka。不同的业务使用不同类型的Kafka实例，在这个前提下Kafka实例之间可能会需要消息同步的情况： 同帐号容灾场景：比如Kafka实例都是阿里云Kafka，但是Kafka实例会有主备之分，需要将主Kafka实例的消息实时同步到备Kafka。 跨帐号或异地容灾：这类场景比如主Kafka是阿里云Kafka，备Kafka是IDC开源自建Kafka，或者是其他云上的Kafka。 不同业务之间消息同步：因为现在的业务通常不会是信息孤岛，都需要消息互通，所以可能是A业务的Kafka实例消息需要同步到B业务的Kafka实例，并且这两个Kafka实例归属不同的RAM角色，有自己独自的权限控制。 解决问题 解决使用开源组件做消息同步的高成本问题。 解决使用开源组件做消息同步的并发性能、稳定性问题。 解决使用开源组件做消息同步的可靠性问题（重试机制，容错机制，死信队列等）。 大幅提升构建消息同步架构的效率，降低构建复杂度问题。
云消息队列Kafka 版：云消息队列Kafka 版是阿里云提供的分布式、高吞吐、可扩展的 消息队列服务。云消息队列Kafka版广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域，已成为大数据生态中不可或缺的部分。 云服务器ECS（ElasticComputeService）：是阿里云提供的性能卓越、稳定可靠、弹性扩...
基于OSS Object FC实现非结构化文件实时处理最佳实践
现在绝大多数客户都有很多非结构化的数据存在OSS中，以图片，视频，音频居多。举一个图片处理的场景，现在各种终端种类繁多，不同的终端对图片的格式、分辨率要求也不同，所以一张图片往往会有很多张衍生图，那如果所有的衍生图都存在OSS中，那存储的成本会增加，所以就可以通过OSS Object FC的方案，在不同的终端请求时，对OSS中的原图基于终端的要求做实时处理，然后响应返回，这样OSS中只需要存储原图即可。音视频也有类似的场景。
云速搭CADT（CloudArchitectDesignTools）：是一款为上云应用提供自助式云架构管理 的产品，显著地降低应用云上管理的难度和时间成本。本产品提供丰富的预制应用架构模 板，同时也支持自助拖拽方式定义应用云上架构；支持较多阿里云服务的配置和管理。用 户可以方便的对云上架构方案的成本、部署、运维、回收进行全生命...
基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
在大数据ETL场景，将Kafka中的消息流转到其他下游服务是很常见的场景，除了常规的消息流转外，很多场景还需要基于消息体内容做判断，然后决定下游服务做何种操作。 该方案实现了通过Kafka中消息Key的内容来判断应该对MongoDB做增、删、改的哪种DML操作。 当Kafka收到消息后，会自动触发函数计算中的函数，接收到消息，对消息内容做判断，然后再操作MongoDB。用户可以对提供的默认函数代码做修改，来满足更复杂的逻辑。 整体方案通过CADT可以一键拉起依赖的产品，并完成了大多数的配置，用户只需要到函数计算和MongoDB控制台做少量配置即可。
7 文档版本：20240304 基于函数计算 FC 实现阿里云 Kafka 消息内容控制 MongoDB DML 操作 部署基础环境 因为 CADT 是可以一站式的帮用户创建实例、部署实例、创建 Topic/Group，所以这里 可以一气呵成的将这些配置信息全部设置好，相较在产品控制台上多个步骤，跳转多个 页面做开通部署配置的传统方式，CADT 这种模式可以极...
基于MSE和SAE的微服务部署与压测
通过云原生微服务引擎MSE、SAE、PTS、ARMS产品，为spring cloud微服务应用提供部署和测试能力，提供一个经典微服务应用上云的典型架构，实现微服务应用的快速落地。
微服务引擎MSE：微服务引擎 MSE 面向业界主流开源微服务项目，提供注 册配置中心和分布式协调（原生支持 Nacos/ZooKeeper/Eureka）、云原生网 关（原生支持Higress/Nginx/Envoy，遵循Ingress 标准）、微服务治理和分布 式任务调度能力（兼容开源XXL-JOB/ElasticJob/K8sJob/SpringSchedule）。 Serverless应用引擎 SAE...
大模型RAG对话系统部署
大模型RAG对话系统最佳实践，旨在指引AI开发人员如何有效地结合LLM大语言模型的推理能力和外部知识库检索增强技术，从而显著提升对话系统的性能，使其能更加灵活地返回用户查询的内容。适用于问答、摘要生成和其他依赖外部知识的自然语言处理任务。通过该实践，您可以掌握构建一个大模型RAG对话系统的完整开发链路。
文档版本：20240131 4 大模型RAG对话系统部署最佳实践 最佳实践概述 人工智能平台 PAI（Platform of Artificial Intelligence）：是面向企业客户及开发者，提供轻量化、高性价比的云原生人工智能，涵盖 DSW交互式建模、Designer拖 拽式可视化建模、DLC分布式训练到 EAS模型在线部署的全流程。检索分析服务 Elasticsearch版...
基于云速搭CADT快速构建药物筛选批量计算环境-serverless版
本方案基于云速搭 CADT提供一个快速构建云上Serverless版HPC批量计算环境的模板，针对生物制药领域的药物筛选场景，提供开箱即用的整套解决方案工具包，整个云上环境仅需1个小时即可完成自动化部署搭建。
文件存储 NAS：阿里云文件存储 NAS是一个可共享访问，弹性扩展，高可靠，高性 能的分布式文件系统。它基于 POSIX 文件接口，天然适配原生操作系统，提供共 享访问，同时保证数据一致性和锁互斥。文件存储 NAS中的数据自动地在可用区 内以多副本冗余方式存储，避免数据的单点故障风险，提供高达 99.999999999%的 数据可靠性...
数据迁移上云
随着越来越多的企业选择将业务系统上云，各种类型的数据如何便捷、平滑的迁移上 云，成了用户上云较为关注的点；业务上云后，因为业务或者其他方面调整等因素， 也存在如跨区域，跨账号等数据迁移的场景。针对以上需求，阿里云上提供了较为丰 富的工具（如ossimport）、服务(在线迁移服务)，旨在能够帮助客户便捷进行数据迁 移。 本文通过云架构设计工具CADT来快速创建云上基础资源，并以杭州区域来模拟线 下IDC（或友商），深圳区域模拟阿里云云上资源。通过云上的工具命令、服务来提 供常见数据迁移场景的最佳实践。
conf/job.cfg：分布式模式下任务的配置文件模板，数据迁移前请按照实际参数修 改；conf/sys.properties：系统运行参数配置文件，如工作目录、Worker运行参数等请 在该文件中配置；conf/workers：worker列表 注意：请在提交任务前确认 sys.properties和 job.cfg中的参数，任务提交后参数无法再 修改。Worker 列表 workers请...
基于云拨测的网站用户体验监测最佳实践
网站作为电商行业开展业务的核心场景，不同区域、不同运营商、不同的终端用户，给网站体验带来了巨大的一致性挑战。打开卡顿、缓慢，甚至无响应，都会影响到运营效果、甚至出现负面影响。阿里云基于多年业务经验，为云上客户提供完整的电商网站运营期间的用户体验监测方案。
基于阿里云分布式文 件系统和 SSD盘高性能存储，RDS支持 MySQL、SQL Server、PostgreSQL、PPAS（高度兼容 Oracle）和 MariaDB引擎，并且提供了容灾、备份、恢复、监 控、迁移等方面的全套解决方案，彻底解决数据库运维的烦恼。更多信息，请参考：https://www.aliyun.com/product/rds/mysql CADT：是一款为上云应用提供自助...
Spring Cloud Netflix应用迁移EDAS
场景描述 Spring Cloud Netflix微服务应用迁移到EDAS 服务（SpringCloud Alibaba云版本）的方法， 迁移后充分利用阿里云监控、调用链、限流降级 等能力，优化应用生命周期管理。 解决问题 1.帮助自建SpringCloudNetflix微服务应用 通过简单修改迁移到阿里云企业级分布式 应用服务（EDAS）平台。 2.迁移到EDAS后，简化应用的运维，提升监 控、调用链探测、限流降级等管理能力，提 高对应用的全生命周期管理。 产品列表 企业级分布式应用服务（EDAS） 负载均衡（SLB） 专有网络（VPC） 云服务器（ECS）
文档版本：20200106 17 Spring Cloud Netflix应用迁移 EDAS 搭建线下微服务应用环境 步骤11 创建任务提交成功后，单击管理控制台返回实例列表页面查看详情。待实例状态为运行中后，表示服务器实例已启动完成。文档版本：20200106 18 Spring Cloud Netflix应用迁移 EDAS 搭建线下微服务应用环境 步骤12 修改 ECS实例的名字...
基于Flink+ClickHouse构建实时游戏数据分析
在互联网、游戏行业中，常常需要对用户行为日志进行分析，通过数据挖掘，来更好地支持业务运营，比如用户轨迹，热力图，登录行为分析，实时业务大屏等。当业务数据量达到千亿规模时，常常导致分析不实时，平均响应时间长达10分钟，影响业务的正常运营和发展。 本实践介绍如何快速收集海量用户行为数据，实现秒级响应的实时用户行为分析，并通过实时流计算Flink/Blink、云数据库ClickHouse等技术进行深入挖掘和分析，得到用户特征和画像，实现个性化系统推荐服务。 通过云数据库ClickHouse替换原有Presto数仓，对比开源Presto性能提升20倍。 利用云数据库ClickHouse极致分析性能，千亿级数据分析从10分钟缩短到30秒。 云数据库ClickHouse批量写入效率高，支持业务高峰每小时230亿的用户数据写入。 云数据库ClickHouse开箱即用，免运维，全球多Region部署，快速支持新游戏开服。 Flink+ClickHouse+QuickBI
表结构说明：步骤2 创建分布式表，分布式表本身并不存储数据，它基于本地表里面的数据，提供一个分 布式访问数据的框架，比如这里的分布式表 d_user_behavior_uv，它基于本地表 user_behavior_uv_local，选择 Distrubted表引擎，它后面的参数，依次是集群名、库 名、表名、数据分配方式。说明：创建分布式表的 SQL语句，...
- 产品推荐
- 这些文档可能帮助您