SLS数据入湖Kafka最佳实践
应用和数据分散在多云或混合云，在面对多云/混合云这样大的趋势下，数据无法进行统一的聚合、分析处理和导出等，本方案给出了在多云/混合云场景下，构建通过标准的Kafka协议和托管服务，SLS可以连接Kafka数据入湖导入，然后进行统一的海量数据的集中存储、智能转储、聚合分析查询等。
专有网络VPC 日志服务SLS 云消息队列KAFKA 最佳实践频道 Serverless应用引擎SAE http://bp.aliyun.com 云虚拟机ECS 阿里云最佳实践分享群 云速搭CADT 钉钉搜索钉群号31852400入群 ARMS免费试用群 钉钉搜索钉群号3360022492入群 可观测可视化Grafana版用户群 钉钉搜索钉群号34785590入群 Kubernetes监控...
基于MSE云原生网关实现全链路灰度
在微服务场景中，应用间的调用是随机的。当您部署的Spring Cloud应用或Dubbo应用存在升级版本时，可能会导致无法将具有一定特征的流量路由到应用的目标版本。通过MSE提供的全链路灰度能力，您无需修改业务代码，就可以实现端到端的全链路流量控制。泳道可以将应用的相关版本隔离成一个独立的运行环境。通过设置泳道规则，可以将满足规则的请求流量路由到目标版本的应用。
步骤2 双击MSE微服务引擎图标，单击前往控制台，可以看到Nacos引擎已经完成创建。并 记录内网连接地址，后续使用。文档版本：20240429 15基于MSE云原生网关实现全链路灰度最佳实践 2.2.搭建业务基线环境 2.2.1.创建ACK命名空间“mse-gray-demo”，用于部署应用 2.2.2.ACK应用接入MSE治理中心 步骤1访问微服务引擎MSE，查看...
通过ES兼容接口方式使用Kibana访问SLS数据
自建ELK日志系统的客户迁移到阿里云日志服务SLS后，对SLS查询分析语法不太熟悉的客户，可以继续沿用原有的查询分析习惯，在不改变使用方式习惯的情况下，通过Elasticsearch兼容接口的方式使用Kibana访问SLS。
部署ES兼容所需组件 步骤1 双击CADT架构图中的es兼容ECS图标，点击远程登录 步骤2 输入如下命令在ECS上部署Docker并检查版本 sudoyuminstall-ydocker 文档版本：20240418 33基于MSE云原生网关同城多活最佳实践 释放环境 podman-version 注意：在AlibabaCloudLinux服务器上安装docker后，无法直接使用docker命令，后续都需要...
基于函数计算FC实现阿里云Kafka消息轻量级ETL处理
在大数据ETL场景，Kafka是数据的流转中心，Kafka中的数据一般是原始数据，可能存在多种数据混杂的情况，需要进一步做数据清洗后才能进行下一步的处理或者保存。利用函数计算FC，可以快速高效的搭建数据处理链路，用户只需要关注数据处理的逻辑，数据的触发，弹性伸缩，运维监控等阿里云函数计算都已经做了集成，函数计算FC也支持多种下游，OSS/数据库/消息队列/ES等都可以自定义的对接
存储引擎：阿里云 Kafka架构，有云存储和 Local存储。（详细对比参见文档：https://help.aliyun.com/zh/apsaramq-for-kafka/cloud-message-queue-for- kafka/product-overview/comparison-between-storage-engines ）◆消息类型：普通消息。创建Group：◆Group名称：根据实际业务自行填写。Group描述：根据实际业务自行填写...
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
应用场景 在大数据场景，企业的Kafka实例可能存在多种情况，比如使用阿里云Kafka服务，可能是自建开源Kafka，或者是其他云上的云Kafka。不同的业务使用不同类型的Kafka实例，在这个前提下Kafka实例之间可能会需要消息同步的情况： 同帐号容灾场景：比如Kafka实例都是阿里云Kafka，但是Kafka实例会有主备之分，需要将主Kafka实例的消息实时同步到备Kafka。 跨帐号或异地容灾：这类场景比如主Kafka是阿里云Kafka，备Kafka是IDC开源自建Kafka，或者是其他云上的Kafka。 不同业务之间消息同步：因为现在的业务通常不会是信息孤岛，都需要消息互通，所以可能是A业务的Kafka实例消息需要同步到B业务的Kafka实例，并且这两个Kafka实例归属不同的RAM角色，有自己独自的权限控制。 解决问题 解决使用开源组件做消息同步的高成本问题。 解决使用开源组件做消息同步的并发性能、稳定性问题。 解决使用开源组件做消息同步的可靠性问题（重试机制，容错机制，死信队列等）。 大幅提升构建消息同步架构的效率，降低构建复杂度问题。
进入角色菜单，搜 索AliyunFcDefaultRole。文档版本：20240330 35基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步 场景验证 步骤2 点击AliyunFcDefaultRole进入详情页面，点击新增权限按钮。步骤3 授权范围选择整个云帐号，选择系统策略，依次搜索 AliyunOSSFullAccess AliyunFCFullAccess AliyunVPCFullAccess ...
容器场景下的应用性能监控、调用链拓扑、内存剖析
场景描述 随着云原生及微服务技术的普及，越来越多的系统已经通过云原生和微服务技术实现企业的降本增效，同时因微服务及云原生的复杂性给系统运维带来非常大的挑战，云原生应用监控arms通过全链路应用监控，从端到端及代码级别的链路下钻能力、CPU、内存持续剖析及诊断能力，帮助客户降低系统故障定位难度，此demo，您将体验arms的链路监控、内存剖析等能力 应用场景 微服务+容器场景下链路调用拓扑，调用链可以显示出服务之间的调用顺序和层次关系，帮助开发人员理解和追踪代码的执行流程 在分布式系统中，一个请求往往需要通过多个服务来完成。当出现问题时，如请求超时、错误或异常，很难快速定位问题所在。 解决问题 调用链可以帮助运维人员解决以下问题： · 故障排查：当请求失败或出现错误时，调用链可以显示整个请求的路径和每个服务的执行情况，从而帮助运维人员快速定位问题所在。 · 性能优化：通过调用链，运维人员可以了解请求在系统中的执行时间和瓶颈所在，从而进行优化。 · 系统监测：调用链可以提供实时的系统监测和分析，帮助运维人员了解系统的健康状况和资源利用情况。
容器服务(ACK)解决问题 应用实时监控服务ARMS 调用链可以帮助运维人员解决以下问题： 阿里云NAT网关（NATGateway） 故障排查：当请求失败或出现错误时，调用链 微服务引擎MSE 可以显示整个请求的路径和每个服务的执行情 弹性公网IP 况，从而帮助运维人员快速定位问题所在。 云速搭CADT 性能优化：通过...
容器多云统一监控日志
多云、混合云成为常态，Forrester 报告中指出，未来 89% 的企业至少使用两个云，74% 的企业至少使用三个甚至更多公有云，在面对多云/混合云这样大的趋势下，Gartner报告指出，安全、运维复杂性、财务复杂性是多云架构的主要挑战，本方案给出了在多云/混合云场景下，构建基于容器环境下的统一管理、统一监控和统一日志方案，解决多云、混合云场景下，运维复杂性问题。 应用场景 客户在阿里云以外的其他云服务商（AWS、Azure、GCP、TencentCloud、HuaweiCloud等）或者IDC基于容器（Kubernetes）运行业务系统，希望构建容器场景下的统一监控日志系统，方便做不同大屏和问题分析定位。 解决问题 •构建容器多云统一监控和日志系统，在一个平台可以看到不同环境系统的运行情况。
云虚拟机ECS 微服务引擎MSE（云原生网关）解决问题 日志服务SLS•构建容器多云统一监控和日志系统，在一个平 容器服务ACK 分布式云容器平台ACKOne 台可以看到不同环境系统的运行情况。 应用实时监控ARMS 可观测监控Prometheus版 可观测可视化Grafana版 最佳实践频道 云速搭CADT ...
SAE-ACK应用双跑最佳实践
场景描述 实现ACK、SAE中部署的应用在东西向和南北向互通，实现SAE-ACK应用双跑。 应用场景 该最佳实践应用于两类场景： l 因为SAE支持更丰富自动扩缩指标（比如QPS，RT，TCP连接数等），所以将相对稳态的应用部署在ACK中，将相对弹性波动大的应用部署在SAE，借助SAE更强大的自动扩缩应对流量洪峰。 l 将K8s架构迁移到Serverless架构时，需要平滑过渡，所以该最佳实践中的双跑架构可以有效帮用户平滑的完成迁移。
获取MSENacos连接地址 步骤1 在CADT架构图中双击MSE图标，前往MSE控制台。步骤2 在基础信息中找到内网地址，记录该地址。3.4.修改示例代码 步骤1 打开Consumer工程文件中的resource/application.yml文件，将2.3中记录的MSENacos 地址加在server-addr属性后，如下图所示。文档版本：20240311 24SAE-ACK应用双跑 场景验证 ...
基于MSE和SAE的微服务部署与压测
通过云原生微服务引擎MSE、SAE、PTS、ARMS产品，为spring cloud微服务应用提供部署和测试能力，提供一个经典微服务应用上云的典型架构，实现微服务应用的快速落地。
基于MSE和SAE的微服务部署与压测最佳实践 业务架构 场景描述 通过云原生微服务引擎MSE、SAE、PTS、ARMS 产品，为SpringCloud微服务应用提供部署和测试 能力，提供一个经典微服务应用上云的典型架构，实 现微服务应用的快速落地。应用场景 微服务应用运行需要的支撑包括注册中心、运行时、应用监控、服务测试等典型能力。...
基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
在大数据ETL场景，将Kafka中的消息流转到其他下游服务是很常见的场景，除了常规的消息流转外，很多场景还需要基于消息体内容做判断，然后决定下游服务做何种操作。 该方案实现了通过Kafka中消息Key的内容来判断应该对MongoDB做增、删、改的哪种DML操作。 当Kafka收到消息后，会自动触发函数计算中的函数，接收到消息，对消息内容做判断，然后再操作MongoDB。用户可以对提供的默认函数代码做修改，来满足更复杂的逻辑。 整体方案通过CADT可以一键拉起依赖的产品，并完成了大多数的配置，用户只需要到函数计算和MongoDB控制台做少量配置即可。
步骤1 双击 CADT 架构图中 mongodb 图标，点击前往控制台，进入阿里云 MongoDB 控制台 步骤2 可以看到刚才通过 CADT 创建好的 MongoDB 实例，进入数据安全性/白名单设置菜单。修改 default 分组允许访问的 IP 名单，为方便演示，可以暂时设置为 0.0.0.0/0，后续强 烈建议修改为和业务相关的 IP 名单，增加安全性。23 文档...
基于MSE云原生网关同城多活
借助云原生微服务MSE网关，MSE配置注册中心的同城容灾多活微服务应用。构建一个经典的微服务场景，实现同城容灾的步骤，体现云原生相关产品在用户上云，高可用同城容灾多活场景下的能力。
微服务引擎 MSE注册配置中心 云速搭 CADT NAT网关 弹性公网 IP 最佳实践频道 http://bp.aliyun.com 阿里云最佳实践分享群 钉钉搜索钉群号 31852400入群 微服务引擎MSE用户交流群 钉钉搜索钉群号 43525005207入群 基于 MSE云原生网关同城多活 最佳实践 文档版本：20240405（发布日期）基于MSE云原生网关同城多活最佳实践 ...
基于SpringCloud应用玩转MSE实践
随着业务不断创新，大型的单个应用和服务会被拆分为数个甚至数十个微服务，微服务架构已经被广泛应用。 微服务的好处在于快速迭代，如何在迭代过程中保障线上流量不受损。依赖开源产品缺少无运维工具，常常需要投入较大的运维人力和成本。 本实践提供基于云原生应用产品提供微服务注册配置中心、微服务治理和云原生网关等一系列高性能和高可用的企业级云服务能力。
方案优势 本实践通过云速搭CADT，一键完成基础环境的搭建和部 署，提供可视化部署方案和stepbystep实操指导：1、高可靠：支持多可用区容灾，具备完善的流量防护、健 康检测、自动恢复等能力，优化大量可用性痛点，保证引 擎持久稳定运行。2、低成本：节省用户自建网关、注册配置中心、微服务治 理体系的人力成本，高性能及...
IPv4网关实现流量统一出入口
对公网流量出入有严格的限制，禁止ECS直接通过挂载公网IP访问互联网带来安全隐患
最佳实践频道 http://bp.aliyun.com 阿里云最佳实践分享群 产品列表 钉钉搜索钉群号31852400入群 专有网络 VPC 微服务引擎MSE用户交流群 钉钉搜索钉群号 43525005207入群 云速搭 CADT IPv4网关 负载均衡 NLB 云服务器 ECS IPv4网关实现流量统一出入口 最佳实践 文档版本：20240204（发布日期）大模型RAG对话系统部署最佳...
大模型RAG对话系统部署
大模型RAG对话系统最佳实践，旨在指引AI开发人员如何有效地结合LLM大语言模型的推理能力和外部知识库检索增强技术，从而显著提升对话系统的性能，使其能更加灵活地返回用户查询的内容。适用于问答、摘要生成和其他依赖外部知识的自然语言处理任务。通过该实践，您可以掌握构建一个大模型RAG对话系统的完整开发链路。
大模型 RAG对话系统部署 最佳实践 业务架构 场景描述 大语言模型（LLM）在生成...文档版本：20240131 42 大模型 RAG对话系统部署最佳实践 一键释放资源 步骤4 释放执行耗时依赖云产品自身释放时长及架构图中资源量多少，请耐心等待。文档版本：20240131 43 大模型 RAG对话系统部署最佳实践 一键释放资源 文档版本：20240131 44
OA云资源申请流程自动化
在企业级客户场景中，对云资源的使用通常需要经过内部OA流程审批通过后再进行部署。本最佳实践致力于提供一个通用解决方案，以解决OA云资源申请流程中的自动化问题，提高运维效率，以更好地支撑业务创新。
文档版本：20240130 24 OA云资源申请流程自动化 CADT自动化集成配置 步骤5 在流程引擎中新建表单。文档版本：20240130 25 OA云资源申请流程自动化 CADT自动化集成配置 添加表字段。其中，云产品模板选择步骤 3创建的数据展现集成。对字段进行分组。文档版本：20240130 26 OA云资源申请流程自动化 CADT自动化集成配置 步骤6 ...
电商网站业务安全
场景描述 业务运营活动是电商行业开展业务必不可少的 手段，但大流量带来的系统可用性、优惠券带来 的“薅羊毛”等问题屡见不鲜，都会影响到运营 效果、甚至出现负面影响。阿里云基于集团电商 业务多年的运营经验，为云上客户提供完整的电 商网站运营期间的防护方案。 解决问题 1.保障业务运维活动系统稳定运行 2.防止“薅羊毛” 3.运营优惠给到真实的客户 产品列表 爬虫风险管理 风险识别 DDoS防护包
如果有特殊需要（比如不想让百度爬虫），可以单独针对搜索引擎来关闭爬 虫。操作步骤 步骤1 点击精细化配置，找到合法爬虫，并将状态按钮打开，然后点击前去配置 步骤2 根据需要，设置右边的启用状态。文档版本：20210806 48 企业上云实践 电商网站业务安全最佳实践|开通爬虫风险管理 2.8.阻断来自威胁情报地址的请求 威胁...
数据库异地灾备
场景描述 适用于不满足于单地域，对数据可靠性 （RPO）和服务可用性（RTO）要求更高 的，希望防范断电、断网等机房故障，抵 御地震、台风等自然灾害，具备异地容灾 备份恢复能力的客户业务场景。 解决问题 1.实时备份，RPO达到秒级 2.表级恢复，故障恢复时间大大缩短 3.长期归档，自动管理备份生命周期 4.异地灾备，构建数据库灾备中心 产品列表 专有网络VPC 云服务器ECS 弹性公网IP（EIP） 负载均衡SLB 云数据库RDSMySQL 数据库备份服务DBS 对象存储服务OSS 数据湖分析服务DLA 数据管理服务DMS 数据传输服务DTS
基于阿里云分布式文件系统和 SSD盘高性 能存储，RDS支持 MySQL、SQL Server、PostgreSQL、PPAS和 MariaDB引 擎，提供了容灾、备份、恢复、监控、迁移等方面的全套解决方案，彻底解决数据 库运维的烦恼。MySQL 是全球最受欢迎的开源数据库之一，作为开源软件组合 LAMP（Linux+Apache+MySQL+Perl/PHP/Python）中的重要一环，...
MRACC加速倚天ECS实例Flink集群性能
希望了解Flink集群on倚天的部署架构。 通过神龙大数据加速引擎 Mracc 提升Flink集群性能。 希望实测了解倚天ECS实例运行Flink集群的性能 架构设计：利用阿里云官方架构设计模版，在此基础上二次定制（调整规格、资源数量、配置调整）。 快速完成PoC和生产环境的设计和部署
N/A N/A 操作系统 Alibaba Cloud Linux 3.2104 LTS 64位 ARM版 Linux内 5.10.134-14.al8.aarch64 核 方案优势 快速标准化 PoC，10分钟内可以完成整个 PoC的环境搭建及集群部署 整体掌握压测架构及方案成本 产品介绍 神龙大数据加速引擎 MRACC：神龙大数据加速引擎 MRACC 是基于阿里云 IaaS资源推出的大数据加速引擎，用于...
企业上云workshop
本文模拟了如下场景: 1. 线下 IDC 环境中部署了一个业务系统，业务是利用 wordpress 系统提供网站服务。 2. 本文详细介绍了如何将以上线下系统搬迁到云上， 包括如何在云上构建以上业务系统，如何迁移线下 系统到云上，如何割接。 3. 最后介绍了迁移上云后，如何部署安全系统。 解决问题 IDC 业务系统搬迁上云 云上构建业务系统 部署安全系统
企业上云 workshop-IDC业务迁移上云 部署架构图 场景描述 本文模拟了如下场景：1.线下 IDC环境中部署了一个业务系统，业务是利用 wordpress系统提供网站服务。2.本文详细介绍了如何将以上线下系统搬迁到云上，包括如何在云上构建以上业务系统，如何迁移线下 系统到云上，如何割接。3.最后介绍了迁移上云后，如何部署安全...
来自：
最佳实践
相关产品：专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,负载均衡 SLB,弹性公网IP,文件存储NAS,云数据库PolarDB,Web应用防火墙,云防火墙,SSL证书,云速搭
基于湖仓一体架构使用MaxCompute对OSS湖数据分析预测
本篇最佳实践先创建EMR集群作为数据湖对象，Hive元数据存储在DLF，外表数据存储在OSS。然后使用阿里云数据仓库MaxCompute以创建外部项目的方式与存储在DLF的元数据库映射打通，实现元数据统一。最后通过一个毒蘑菇的训练和预测demo，演示云数仓MaxCompute如何对于存储在EMR数据湖的数据进行加工处理以达到业务预期。
双击OSS图标，在详情更新基于湖仓一体架构使用MaxCompute对OSS湖数据分析预测 步骤5 修改EMR集群的存储根路径地址 双击EMR图标，在详情更新“集群存储根路径”bucket-name替换上一步自定义的bucket名称。步骤6 单击右上角的部署应用。部署前，参考资源环境规划清单，核对每个产品的参数细节，包括网络网段、EMR 规格、密码...
- 产品推荐
- 这些文档可能帮助您