SLS数据入湖Kafka最佳实践
应用和数据分散在多云或混合云，在面对多云/混合云这样大的趋势下，数据无法进行统一的聚合、分析处理和导出等，本方案给出了在多云/混合云场景下，构建通过标准的Kafka协议和托管服务，SLS可以连接Kafka数据入湖导入，然后进行统一的海量数据的集中存储、智能转储、聚合分析查询等。
云消息队列Kafka版：是阿里云基于ApacheKafka构建的高吞吐量、高可扩 展性的分布式消息队列服务，广泛用于日志收集、监控数据聚合、流式数据处 理、在线和离线分析等场景，是大数据生态中不可或缺的产品之一，阿里云提 供全托管服务，用户无需部署运维，更专业、更可靠、更安全. Serverless应用引擎SAE...
可观测链路 OpenTelemetry版结合日志服务SLS关联分析最佳实践
可观测链路 OpenTelemetry 版为分布式应用的开发者提供了完整的调用链路还原、调用请求量统计、链路拓扑、应用依赖分析等工具，可以帮助开发者快速分析和诊断分布式应用架构下的性能瓶颈，当应用出现业务异常问题时，您可以在可观测链路 OpenTelemetry 版控制台关联查看日志进行分析，精准定位业务异常。
应用场景 分布式调用链查询和诊断：追踪分布式架构中的 所有微服务用户请求，并将它们汇总成分布式调 用链。应用性能实时汇总：通过追踪整个应用程序的用 户请求，来实时汇总组成应用程序的单个服务和 资源。多语言开发程序接入：基于 OpenTracing标准，兼容开源社区，例如 Jaeger、Zipkin等。产品列表 可观测关联分析场景...
基于MSE云原生网关实现全链路灰度
在微服务场景中，应用间的调用是随机的。当您部署的Spring Cloud应用或Dubbo应用存在升级版本时，可能会导致无法将具有一定特征的流量路由到应用的目标版本。通过MSE提供的全链路灰度能力，您无需修改业务代码，就可以实现端到端的全链路流量控制。泳道可以将应用的相关版本隔离成一个独立的运行环境。通过设置泳道规则，可以将满足规则的请求流量路由到目标版本的应用。
微服务引擎MSE 面向业界主流开源 微服务项目，提供注册配置中心和分布式协调（原生支持 Nacos/ZooKeeper/Eureka）、云原生网关（原生支持Higress/Nginx/Envoy，遵循Ingress 标准）、微服务治理和分布式任务调度能力（兼容开源 XXL-JOB/ElasticJob/K8sJob/SpringSchedule）。文档版本：20240429 6基于MSE云原生网关实现全...
基于函数计算FC实现阿里云Kafka消息轻量级ETL处理
在大数据ETL场景，Kafka是数据的流转中心，Kafka中的数据一般是原始数据，可能存在多种数据混杂的情况，需要进一步做数据清洗后才能进行下一步的处理或者保存。利用函数计算FC，可以快速高效的搭建数据处理链路，用户只需要关注数据处理的逻辑，数据的触发，弹性伸缩，运维监控等阿里云函数计算都已经做了集成，函数计算FC也支持多种下游，OSS/数据库/消息队列/ES等都可以自定义的对接
云消息队列 Kafka 版：云消息队列 Kafka 版是阿里云提供的分布式、高吞吐、可扩展的 消息队列服务。云消息队列 Kafka 版广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域，已成为大数据生态中不可或缺的部分。对象存储 OSS：对象存储 OSS 是一款具有行业领先的安全、稳定、高性价比、高性能的 云...
容器场景下的应用性能监控、调用链拓扑、内存剖析
场景描述 随着云原生及微服务技术的普及，越来越多的系统已经通过云原生和微服务技术实现企业的降本增效，同时因微服务及云原生的复杂性给系统运维带来非常大的挑战，云原生应用监控arms通过全链路应用监控，从端到端及代码级别的链路下钻能力、CPU、内存持续剖析及诊断能力，帮助客户降低系统故障定位难度，此demo，您将体验arms的链路监控、内存剖析等能力 应用场景 微服务+容器场景下链路调用拓扑，调用链可以显示出服务之间的调用顺序和层次关系，帮助开发人员理解和追踪代码的执行流程 在分布式系统中，一个请求往往需要通过多个服务来完成。当出现问题时，如请求超时、错误或异常，很难快速定位问题所在。 解决问题 调用链可以帮助运维人员解决以下问题： · 故障排查：当请求失败或出现错误时，调用链可以显示整个请求的路径和每个服务的执行情况，从而帮助运维人员快速定位问题所在。 · 性能优化：通过调用链，运维人员可以了解请求在系统中的执行时间和瓶颈所在，从而进行优化。 · 系统监测：调用链可以提供实时的系统监测和分析，帮助运维人员了解系统的健康状况和资源利用情况。
产品介绍 MSE微服务引擎：微服务引擎MSE 面向业界主流开源微服务项目，提供注册配置中心 和分布式协调（原生支持 Nacos/ZooKeeper/Eureka）、云原生网关（原生支持 Higress/Nginx/Envoy，遵循 Ingress 标准）、微服务治理和分布式任务调度能力（兼容开 源XXL-JOB/ElasticJob/K8sJob/SpringSchedule）。 专有网络VPC...
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
应用场景 在大数据场景，企业的Kafka实例可能存在多种情况，比如使用阿里云Kafka服务，可能是自建开源Kafka，或者是其他云上的云Kafka。不同的业务使用不同类型的Kafka实例，在这个前提下Kafka实例之间可能会需要消息同步的情况： 同帐号容灾场景：比如Kafka实例都是阿里云Kafka，但是Kafka实例会有主备之分，需要将主Kafka实例的消息实时同步到备Kafka。 跨帐号或异地容灾：这类场景比如主Kafka是阿里云Kafka，备Kafka是IDC开源自建Kafka，或者是其他云上的Kafka。 不同业务之间消息同步：因为现在的业务通常不会是信息孤岛，都需要消息互通，所以可能是A业务的Kafka实例消息需要同步到B业务的Kafka实例，并且这两个Kafka实例归属不同的RAM角色，有自己独自的权限控制。 解决问题 解决使用开源组件做消息同步的高成本问题。 解决使用开源组件做消息同步的并发性能、稳定性问题。 解决使用开源组件做消息同步的可靠性问题（重试机制，容错机制，死信队列等）。 大幅提升构建消息同步架构的效率，降低构建复杂度问题。
进入角色菜单，搜 索AliyunFcDefaultRole。文档版本：20240330 35基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步 场景验证 步骤2 点击AliyunFcDefaultRole进入详情页面，点击新增权限按钮。步骤3 授权范围选择整个云帐号，选择系统策略，依次搜索 AliyunOSSFullAccess AliyunFCFullAccess AliyunVPCFullAccess ...
容器多云统一监控日志
多云、混合云成为常态，Forrester 报告中指出，未来 89% 的企业至少使用两个云，74% 的企业至少使用三个甚至更多公有云，在面对多云/混合云这样大的趋势下，Gartner报告指出，安全、运维复杂性、财务复杂性是多云架构的主要挑战，本方案给出了在多云/混合云场景下，构建基于容器环境下的统一管理、统一监控和统一日志方案，解决多云、混合云场景下，运维复杂性问题。 应用场景 客户在阿里云以外的其他云服务商（AWS、Azure、GCP、TencentCloud、HuaweiCloud等）或者IDC基于容器（Kubernetes）运行业务系统，希望构建容器场景下的统一监控日志系统，方便做不同大屏和问题分析定位。 解决问题 •构建容器多云统一监控和日志系统，在一个平台可以看到不同环境系统的运行情况。
云虚拟机ECS 微服务引擎MSE（云原生网关）解决问题 日志服务SLS•构建容器多云统一监控和日志系统，在一个平 容器服务ACK 分布式云容器平台ACKOne 台可以看到不同环境系统的运行情况。 应用实时监控ARMS 可观测监控Prometheus版 可观测可视化Grafana版 最佳实践频道 云速搭CADT ...
基于SpringCloud应用玩转MSE实践
随着业务不断创新，大型的单个应用和服务会被拆分为数个甚至数十个微服务，微服务架构已经被广泛应用。 微服务的好处在于快速迭代，如何在迭代过程中保障线上流量不受损。依赖开源产品缺少无运维工具，常常需要投入较大的运维人力和成本。 本实践提供基于云原生应用产品提供微服务注册配置中心、微服务治理和云原生网关等一系列高性能和高可用的企业级云服务能力。
方案优势 本实践通过云速搭CADT，一键完成基础环境的搭建和部 署，提供可视化部署方案和stepbystep实操指导：1、高可靠：支持多可用区容灾，具备完善的流量防护、健 康检测、自动恢复等能力，优化大量可用性痛点，保证引 擎持久稳定运行。2、低成本：节省用户自建网关、注册配置中心、微服务治 理体系的人力成本，高性能及...
基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
在大数据ETL场景，将Kafka中的消息流转到其他下游服务是很常见的场景，除了常规的消息流转外，很多场景还需要基于消息体内容做判断，然后决定下游服务做何种操作。 该方案实现了通过Kafka中消息Key的内容来判断应该对MongoDB做增、删、改的哪种DML操作。 当Kafka收到消息后，会自动触发函数计算中的函数，接收到消息，对消息内容做判断，然后再操作MongoDB。用户可以对提供的默认函数代码做修改，来满足更复杂的逻辑。 整体方案通过CADT可以一键拉起依赖的产品，并完成了大多数的配置，用户只需要到函数计算和MongoDB控制台做少量配置即可。
l 云数据库 MongoDB 版（ApsaraDB for MongoDB）：完全兼容 MongoDB 协议，基于飞天 分布式系统和高可靠存储引擎，提供多节点高可用架构、弹性扩容、容灾、备份恢复、性能 优化等功能。l 云速搭 CADT（Cloud Architect Design Tools）：是一款为上云应用提供自助式云架构管理 的产品，显著地降低应用云上管理的难度和时间...
基于MSE和SAE的微服务部署与压测
通过云原生微服务引擎MSE、SAE、PTS、ARMS产品，为spring cloud微服务应用提供部署和测试能力，提供一个经典微服务应用上云的典型架构，实现微服务应用的快速落地。
微服务引擎MSE：微服务引擎 MSE 面向业界主流开源微服务项目，提供注 册配置中心和分布式协调（原生支持 Nacos/ZooKeeper/Eureka）、云原生网 关（原生支持Higress/Nginx/Envoy，遵循Ingress 标准）、微服务治理和分布 式任务调度能力（兼容开源XXL-JOB/ElasticJob/K8sJob/SpringSchedule）。 Serverless应用引擎 SAE...
基于MSE云原生网关同城多活
借助云原生微服务MSE网关，MSE配置注册中心的同城容灾多活微服务应用。构建一个经典的微服务场景，实现同城容灾的步骤，体现云原生相关产品在用户上云，高可用同城容灾多活场景下的能力。
微服务引擎 MSE：微服务引擎 MSE 面向业界主流开源微服务项目，提供注册 配置中心和分布式协调（原生支持 Nacos/ZooKeeper/Eureka）、云原生网关（原 生支持 Higress/Nginx/Envoy，遵循 Ingress 标准）、微服务治理和分布式任务调 度能力（兼容开源 XXL-JOB/ElasticJob/K8s Job/Spring Schedule）。云速搭 CADT（Cloud ...
大模型RAG对话系统部署
大模型RAG对话系统最佳实践，旨在指引AI开发人员如何有效地结合LLM大语言模型的推理能力和外部知识库检索增强技术，从而显著提升对话系统的性能，使其能更加灵活地返回用户查询的内容。适用于问答、摘要生成和其他依赖外部知识的自然语言处理任务。通过该实践，您可以掌握构建一个大模型RAG对话系统的完整开发链路。
文档版本：20240131 4 大模型RAG对话系统部署最佳实践 最佳实践概述 人工智能平台 PAI（Platform of Artificial Intelligence）：是面向企业客户及开发者，提供轻量化、高性价比的云原生人工智能，涵盖 DSW交互式建模、Designer拖 拽式可视化建模、DLC分布式训练到 EAS模型在线部署的全流程。检索分析服务 Elasticsearch版...
向量检索服务
向量检索服务基于阿里云自研的向量引擎 Proxima 内核，提供具备水平拓展、全托管、云原生的高效向量检索服务。向量检索服务将强大的向量管理、查询等能力，通过简洁易用的 SDK/API 接口透出，方便在大模型知识库搭建、多模态AI搜索等多种应用场景上集成。
图像搜索以深度学习和机器视觉为核心，提取图片内容特征、建立图像搜索引擎。用户通过输入图片，用以图搜图的方式可快速在图片库中检索到与输入图片相似的图片集合。可广泛应用于拍照购物、商品推荐、版权保护等场景.创建 API-KEY.通过控制台管理 API-KEY.创建试用 Cluster.通过控制台创建 Clsuter.创建 Collection.在 ...
来自：
云产品
数据库异地灾备
场景描述 适用于不满足于单地域，对数据可靠性 （RPO）和服务可用性（RTO）要求更高 的，希望防范断电、断网等机房故障，抵 御地震、台风等自然灾害，具备异地容灾 备份恢复能力的客户业务场景。 解决问题 1.实时备份，RPO达到秒级 2.表级恢复，故障恢复时间大大缩短 3.长期归档，自动管理备份生命周期 4.异地灾备，构建数据库灾备中心 产品列表 专有网络VPC 云服务器ECS 弹性公网IP（EIP） 负载均衡SLB 云数据库RDSMySQL 数据库备份服务DBS 对象存储服务OSS 数据湖分析服务DLA 数据管理服务DMS 数据传输服务DTS
基于阿里云分布式文件系统和 SSD盘高性 能存储，RDS支持 MySQL、SQL Server、PostgreSQL、PPAS和 MariaDB引 擎，提供了容灾、备份、恢复、监控、迁移等方面的全套解决方案，彻底解决数据 库运维的烦恼。MySQL 是全球最受欢迎的开源数据库之一，作为开源软件组合 LAMP（Linux+Apache+MySQL+Perl/PHP/Python）中的重要一环，...
基于Flink+ClickHouse构建实时游戏数据分析
在互联网、游戏行业中，常常需要对用户行为日志进行分析，通过数据挖掘，来更好地支持业务运营，比如用户轨迹，热力图，登录行为分析，实时业务大屏等。当业务数据量达到千亿规模时，常常导致分析不实时，平均响应时间长达10分钟，影响业务的正常运营和发展。 本实践介绍如何快速收集海量用户行为数据，实现秒级响应的实时用户行为分析，并通过实时流计算Flink/Blink、云数据库ClickHouse等技术进行深入挖掘和分析，得到用户特征和画像，实现个性化系统推荐服务。 通过云数据库ClickHouse替换原有Presto数仓，对比开源Presto性能提升20倍。 利用云数据库ClickHouse极致分析性能，千亿级数据分析从10分钟缩短到30秒。 云数据库ClickHouse批量写入效率高，支持业务高峰每小时230亿的用户数据写入。 云数据库ClickHouse开箱即用，免运维，全球多Region部署，快速支持新游戏开服。 Flink+ClickHouse+QuickBI
表结构说明：步骤2 创建分布式表，分布式表本身并不存储数据，它基于本地表里面的数据，提供一个分 布式访问数据的框架，比如这里的分布式表 d_user_behavior_uv，它基于本地表 user_behavior_uv_local，选择 Distrubted表引擎，它后面的参数，依次是集群名、库 名、表名、数据分配方式。说明：创建分布式表的 SQL语句，...
CDH迁移升级CDP最佳实践
当前 CDH 免费版停止下载，终止服务，针对需要企业版服务能力并且CDH 升级过程对业务影响较小的客户，通过安装新的 CDP 集群，将现有数据拷贝至新集群，然后将新集群切换为生产集群，升级过程没有数据丢失风险，停机时间较短，适合大部分互联网客户升级使用。
已解决：在 Cloudera Runtime 7.1.6 中引入了新的基于 JSON 的放置规则格式和新 的放置规则评估引擎。它们解决了许多以前的放置规则迁移限制。基于阿里云部署的 CDP版本已解决该问题。3.3.4.3.动态队列的容量值是固定的 在 Fair Scheduler 中，每次创建新队列时都会重新计算公平份额。相比之下，Capacity Scheduler 为动态...
- 产品推荐
- 这些文档可能帮助您