SLS数据入湖Kafka最佳实践
应用和数据分散在多云或混合云，在面对多云/混合云这样大的趋势下，数据无法进行统一的聚合、分析处理和导出等，本方案给出了在多云/混合云场景下，构建通过标准的Kafka协议和托管服务，SLS可以连接Kafka数据入湖导入，然后进行统一的海量数据的集中存储、智能转储、聚合分析查询等。
文档版本：20240428 11SLS数据入湖Kafka最佳实践 部署基础环境 应用计价成功后，CADT实时生成一个应用架构成本分析报告，可以单击查看报告。步骤13 如果确认价格符合预期，可以单击下一步：确认订单。确认订单阶段会列出架构中所有的产品及其价格，需要用户确认无误后勾选接受《云 速搭服务条款》，此时下一步：支付并创建...
可观测链路 OpenTelemetry版结合日志服务SLS关联分析最佳实践
可观测链路 OpenTelemetry 版为分布式应用的开发者提供了完整的调用链路还原、调用请求量统计、链路拓扑、应用依赖分析等工具，可以帮助开发者快速分析和诊断分布式应用架构下的性能瓶颈，当应用出现业务异常问题时，您可以在可观测链路 OpenTelemetry 版控制台关联查看日志进行分析，精准定位业务异常。
最佳实践频道 http://bp.aliyun.com 阿里云最佳实践分享群 钉钉搜索钉群号 31852400入群 微服务引擎MSE用户交流群 钉钉搜索钉群号 43525005207入群 可观测链路 OpenTelemetry 版结合日志服务 SLS关联分析 最佳实践 文档版本：20240428（发布日期）可观测链路 OpenTelemetry 版结合日志服务 SLS最佳实践 文档版本信息 文档...
基于MSE云原生网关实现全链路灰度
在微服务场景中，应用间的调用是随机的。当您部署的Spring Cloud应用或Dubbo应用存在升级版本时，可能会导致无法将具有一定特征的流量路由到应用的目标版本。通过MSE提供的全链路灰度能力，您无需修改业务代码，就可以实现端到端的全链路流量控制。泳道可以将应用的相关版本隔离成一个独立的运行环境。通过设置泳道规则，可以将满足规则的请求流量路由到目标版本的应用。
云速搭CADT 专有网络VPC 微服务引擎MSE-注册配置中心 微服务引擎MSE-云原生网关 微服务引擎MSE-微服务治理 负载均衡SLB 容器服务ACK基于MSE云原生网关实现全链路 灰度最佳实践 文档版本：20240429基于MSE云原生网关实现全链路灰度最佳实践 文档版本信息 文档版本信息 文档信息 属性 内容 文档名称 ...
通过ES兼容接口方式使用Kibana访问SLS数据
自建ELK日志系统的客户迁移到阿里云日志服务SLS后，对SLS查询分析语法不太熟悉的客户，可以继续沿用原有的查询分析习惯，在不改变使用方式习惯的情况下，通过Elasticsearch兼容接口的方式使用Kibana访问SLS。
文档版本：20240418 11通过ES兼容接口方式使用Kibana访问SLS数据最佳实践 部署基础环境 应用计价成功后，CADT会实时生成一个应用架构成本分析报告，可以单击查看报告。步骤13如果确认价格符合预期，可以单击下一步：确认订单。确认订单阶段会列出架构中所有的产品及其价格，需要用户确认无误后勾选接受《云 速搭服务条款》...
基于SAE的一站式Web服务托管方案
通过SAE提供的内置CICD能力，代码提交后可以触发自动构建，并部署应用到SAE，部署完成后，应用自动产生访问域名，外部请求通过域名可以直接访问应用。SAE提供了内置的可观测，灰度，回滚能力，通过控制台可以白屏化完成整个操作。SAE适合应用容器化快速上云，客户只需要提供代码仓库，后续的CICD，应用访问，弹性管理，运维监控，SAE都提供了内置的集成能力
应用计价成功后，CADT 会实时生成一个应用架构成本分析报告，可以单击查看报告。文档版本：20240430 8 基于SAE 2.0的一站式 Web服务托管方案 场景验证 如果确认价格符合预期，可以单击下一步：确认订单。确认订单阶段会列出架构中所有的产品及其当天价格，需要用户确认无误后勾选接受《云速搭服务条款》，此时下一步：支付...
基于函数计算FC实现阿里云Kafka消息轻量级ETL处理
在大数据ETL场景，Kafka是数据的流转中心，Kafka中的数据一般是原始数据，可能存在多种数据混杂的情况，需要进一步做数据清洗后才能进行下一步的处理或者保存。利用函数计算FC，可以快速高效的搭建数据处理链路，用户只需要关注数据处理的逻辑，数据的触发，弹性伸缩，运维监控等阿里云函数计算都已经做了集成，函数计算FC也支持多种下游，OSS/数据库/消息队列/ES等都可以自定义的对接
存储引擎：阿里云 Kafka架构，有云存储和 Local存储。（详细对比参见文档：https://help.aliyun.com/zh/apsaramq-for-kafka/cloud-message-queue-for- kafka/product-overview/comparison-between-storage-engines ）◆消息类型：普通消息。创建Group：◆Group名称：根据实际业务自行填写。Group描述：根据实际业务自行填写...
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
应用场景 在大数据场景，企业的Kafka实例可能存在多种情况，比如使用阿里云Kafka服务，可能是自建开源Kafka，或者是其他云上的云Kafka。不同的业务使用不同类型的Kafka实例，在这个前提下Kafka实例之间可能会需要消息同步的情况： 同帐号容灾场景：比如Kafka实例都是阿里云Kafka，但是Kafka实例会有主备之分，需要将主Kafka实例的消息实时同步到备Kafka。 跨帐号或异地容灾：这类场景比如主Kafka是阿里云Kafka，备Kafka是IDC开源自建Kafka，或者是其他云上的Kafka。 不同业务之间消息同步：因为现在的业务通常不会是信息孤岛，都需要消息互通，所以可能是A业务的Kafka实例消息需要同步到B业务的Kafka实例，并且这两个Kafka实例归属不同的RAM角色，有自己独自的权限控制。 解决问题 解决使用开源组件做消息同步的高成本问题。 解决使用开源组件做消息同步的并发性能、稳定性问题。 解决使用开源组件做消息同步的可靠性问题（重试机制，容错机制，死信队列等）。 大幅提升构建消息同步架构的效率，降低构建复杂度问题。
进入角色菜单，搜 索AliyunFcDefaultRole。文档版本：20240330 35基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步 场景验证 步骤2 点击AliyunFcDefaultRole进入详情页面，点击新增权限按钮。步骤3 授权范围选择整个云帐号，选择系统策略，依次搜索 AliyunOSSFullAccess AliyunFCFullAccess AliyunVPCFullAccess ...
容器场景下的应用性能监控、调用链拓扑、内存剖析
场景描述 随着云原生及微服务技术的普及，越来越多的系统已经通过云原生和微服务技术实现企业的降本增效，同时因微服务及云原生的复杂性给系统运维带来非常大的挑战，云原生应用监控arms通过全链路应用监控，从端到端及代码级别的链路下钻能力、CPU、内存持续剖析及诊断能力，帮助客户降低系统故障定位难度，此demo，您将体验arms的链路监控、内存剖析等能力 应用场景 微服务+容器场景下链路调用拓扑，调用链可以显示出服务之间的调用顺序和层次关系，帮助开发人员理解和追踪代码的执行流程 在分布式系统中，一个请求往往需要通过多个服务来完成。当出现问题时，如请求超时、错误或异常，很难快速定位问题所在。 解决问题 调用链可以帮助运维人员解决以下问题： · 故障排查：当请求失败或出现错误时，调用链可以显示整个请求的路径和每个服务的执行情况，从而帮助运维人员快速定位问题所在。 · 性能优化：通过调用链，运维人员可以了解请求在系统中的执行时间和瓶颈所在，从而进行优化。 · 系统监测：调用链可以提供实时的系统监测和分析，帮助运维人员了解系统的健康状况和资源利用情况。
容器服务(ACK)解决问题 应用实时监控服务ARMS 调用链可以帮助运维人员解决以下问题： 阿里云NAT网关（NATGateway） 故障排查：当请求失败或出现错误时，调用链 微服务引擎MSE 可以显示整个请求的路径和每个服务的执行情 弹性公网IP 况，从而帮助运维人员快速定位问题所在。 云速搭CADT 性能优化：通过...
容器多云统一监控日志
多云、混合云成为常态，Forrester 报告中指出，未来 89% 的企业至少使用两个云，74% 的企业至少使用三个甚至更多公有云，在面对多云/混合云这样大的趋势下，Gartner报告指出，安全、运维复杂性、财务复杂性是多云架构的主要挑战，本方案给出了在多云/混合云场景下，构建基于容器环境下的统一管理、统一监控和统一日志方案，解决多云、混合云场景下，运维复杂性问题。 应用场景 客户在阿里云以外的其他云服务商（AWS、Azure、GCP、TencentCloud、HuaweiCloud等）或者IDC基于容器（Kubernetes）运行业务系统，希望构建容器场景下的统一监控日志系统，方便做不同大屏和问题分析定位。 解决问题 •构建容器多云统一监控和日志系统，在一个平台可以看到不同环境系统的运行情况。
容器多云统一监控日志 最佳实践 业务架构 场景描述 多云、混合云成为常态，Forrester报告中指出，未来89%的企业至少使用两个云，74%的企业 至少使用三个甚至更多公有云，在面对多云/混 合云这样大的趋势下，Gartner报告指出，安全、运维复杂性、财务复杂性是多云架构的主要挑 战，本方案给出了在多云/混合云场景下，构建 ...
SAE-ACK应用双跑最佳实践
场景描述 实现ACK、SAE中部署的应用在东西向和南北向互通，实现SAE-ACK应用双跑。 应用场景 该最佳实践应用于两类场景： l 因为SAE支持更丰富自动扩缩指标（比如QPS，RT，TCP连接数等），所以将相对稳态的应用部署在ACK中，将相对弹性波动大的应用部署在SAE，借助SAE更强大的自动扩缩应对流量洪峰。 l 将K8s架构迁移到Serverless架构时，需要平滑过渡，所以该最佳实践中的双跑架构可以有效帮用户平滑的完成迁移。
最佳实践频道 http://bp.aliyun.com 阿里云最佳实践分享群 钉钉搜索钉群号31852400入群 Serverless应用引擎（SAE）用户交流群 钉钉搜索钉群号23156632入群 钉钉搜索钉群号23198618入群 钉钉搜索钉群号32874633入群SAE-ACK应用双跑 最佳实践 文档版本：20240311（发布日期）SAE-ACK应用双跑最佳实践 文档版本信息 文档版本...
基于SpringCloud应用玩转MSE实践
随着业务不断创新，大型的单个应用和服务会被拆分为数个甚至数十个微服务，微服务架构已经被广泛应用。 微服务的好处在于快速迭代，如何在迭代过程中保障线上流量不受损。依赖开源产品缺少无运维工具，常常需要投入较大的运维人力和成本。 本实践提供基于云原生应用产品提供微服务注册配置中心、微服务治理和云原生网关等一系列高性能和高可用的企业级云服务能力。
方案优势 本实践通过云速搭CADT，一键完成基础环境的搭建和部 署，提供可视化部署方案和stepbystep实操指导：1、高可靠：支持多可用区容灾，具备完善的流量防护、健 康检测、自动恢复等能力，优化大量可用性痛点，保证引 擎持久稳定运行。2、低成本：节省用户自建网关、注册配置中心、微服务治 理体系的人力成本，高性能及...
基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
在大数据ETL场景，将Kafka中的消息流转到其他下游服务是很常见的场景，除了常规的消息流转外，很多场景还需要基于消息体内容做判断，然后决定下游服务做何种操作。 该方案实现了通过Kafka中消息Key的内容来判断应该对MongoDB做增、删、改的哪种DML操作。 当Kafka收到消息后，会自动触发函数计算中的函数，接收到消息，对消息内容做判断，然后再操作MongoDB。用户可以对提供的默认函数代码做修改，来满足更复杂的逻辑。 整体方案通过CADT可以一键拉起依赖的产品，并完成了大多数的配置，用户只需要到函数计算和MongoDB控制台做少量配置即可。
18 文档版本：20240304 基于函数计算 FC 实现阿里云 Kafka 消息内容控制 MongoDB DML 操作 部署基础环境 应用计价成功后，CADT 会实时生成一个应用架构成本分析报告，可以单击查看报告。如果确认价格符合预期，可以单击下一步：确认订单。确认订单阶段会列出架构中所有的产品及其当天价格，需要用户确认无误后勾选接受...
基于MSE和SAE的微服务部署与压测
通过云原生微服务引擎MSE、SAE、PTS、ARMS产品，为spring cloud微服务应用提供部署和测试能力，提供一个经典微服务应用上云的典型架构，实现微服务应用的快速落地。
基于MSE和SAE的微服务部署与压测最佳实践 业务架构 场景描述 通过云原生微服务引擎MSE、SAE、PTS、ARMS 产品，为SpringCloud微服务应用提供部署和测试 能力，提供一个经典微服务应用上云的典型架构，实 现微服务应用的快速落地。应用场景 微服务应用运行需要的支撑包括注册中心、运行时、应用监控、服务测试等典型能力。...
基于MSE云原生网关同城多活
借助云原生微服务MSE网关，MSE配置注册中心的同城容灾多活微服务应用。构建一个经典的微服务场景，实现同城容灾的步骤，体现云原生相关产品在用户上云，高可用同城容灾多活场景下的能力。
微服务引擎 MSE注册配置中心 云速搭 CADT NAT网关 弹性公网 IP 最佳实践频道 http://bp.aliyun.com 阿里云最佳实践分享群 钉钉搜索钉群号 31852400入群 微服务引擎MSE用户交流群 钉钉搜索钉群号 43525005207入群 基于 MSE云原生网关同城多活 最佳实践 文档版本：20240405（发布日期）基于MSE云原生网关同城多活最佳实践 ...
IPv4网关实现流量统一出入口
对公网流量出入有严格的限制，禁止ECS直接通过挂载公网IP访问互联网带来安全隐患
最佳实践频道 http://bp.aliyun.com 阿里云最佳实践分享群 产品列表 钉钉搜索钉群号31852400入群 专有网络 VPC 微服务引擎MSE用户交流群 钉钉搜索钉群号 43525005207入群 云速搭 CADT IPv4网关 负载均衡 NLB 云服务器 ECS IPv4网关实现流量统一出入口 最佳实践 文档版本：20240204（发布日期）大模型RAG对话系统部署最佳...
大模型RAG对话系统部署
大模型RAG对话系统最佳实践，旨在指引AI开发人员如何有效地结合LLM大语言模型的推理能力和外部知识库检索增强技术，从而显著提升对话系统的性能，使其能更加灵活地返回用户查询的内容。适用于问答、摘要生成和其他依赖外部知识的自然语言处理任务。通过该实践，您可以掌握构建一个大模型RAG对话系统的完整开发链路。
应用计价成功后，CADT会实时生成一个应用架构成本分析报告，可以单击查看报告。步骤9 如果确认价格符合预期，可以单击下一步：确认订单。确认订单阶段会列出架构中所有的产品及其价格，需要用户确认无误后勾选接受《云 速搭服务条款》，此时下一步：支付并创建才会高亮，可以单击进行实际的资源购买和 部署。文档版本：...
MRACC加速倚天ECS实例Flink集群性能
希望了解Flink集群on倚天的部署架构。 通过神龙大数据加速引擎 Mracc 提升Flink集群性能。 希望实测了解倚天ECS实例运行Flink集群的性能 架构设计：利用阿里云官方架构设计模版，在此基础上二次定制（调整规格、资源数量、配置调整）。 快速完成PoC和生产环境的设计和部署
应用计价成功后，CADT实时生成一个应用架构成本分析报告，可以单击查看报 告。文档版本：20230801 14 倚天ECS实例加速Flink运行 CADT部署压测环境 步骤5 如果确认价格符合预期，可以单击下一步：确认订单。确认订单阶段会列出架构中所有的产品及其价格，需要用户确认无误后勾选接受《云速搭服务条款》，此时下一步：支付并...
企业上云workshop
本文模拟了如下场景: 1. 线下 IDC 环境中部署了一个业务系统，业务是利用 wordpress 系统提供网站服务。 2. 本文详细介绍了如何将以上线下系统搬迁到云上， 包括如何在云上构建以上业务系统，如何迁移线下 系统到云上，如何割接。 3. 最后介绍了迁移上云后，如何部署安全系统。 解决问题 IDC 业务系统搬迁上云 云上构建业务系统 部署安全系统
部署完成后，还可以下载云架构设计工具 CADT输出的部署报告，包含以下内容以备 查阅：类别 部署报告 部署方案架构图 成本测算 – 预付费资源成本详情和占比 – 后付费资源成本详情和占比 资源部署实例清单、CADT也支持已部署资源的快速释放。打开相应应用的编辑界面后，可在应用菜单内 找到释放资源按钮。文档版本：...
来自：
最佳实践
相关产品：专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,负载均衡 SLB,弹性公网IP,文件存储NAS,云数据库PolarDB,Web应用防火墙,云防火墙,SSL证书,云速搭
自建Hive数仓迁移到阿里云EMR
场景描述 客户在IDC或者公有云环境自建Hadoop集群构 建数据仓库和分析系统，购买阿里云EMR集群之 后，涉及到将数据仓库和Hive元数据的数据库迁 移上云。目前主流Hive数据仓库迁移场景为1.x 版本迁移到阿里云EMR(Hive2.x版本），涉及到 数据订正更新步骤。 解决的问题 Hive数据仓库的数据迁移方案 Hive元数据库的迁移方案 Hive跨版本迁移后的数据订正 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
基于阿里云分布式文件系统和 SSD盘高性能 存储，RDS支持 MySQL、SQL Server、PostgreSQL、PPAS（高度兼容 Oracle）和 MariaDB引擎，并且提供了容灾、备份、恢复、监控、迁移等方面的全套解决 方案。文档版本：20210721 IV 自建Hive数据仓库跨版本迁移到阿里云 EMR 目录 目录 文档版本信息.I 法律声明.II 前言.III 目录.V ...
- 产品推荐
- 这些文档可能帮助您