SLS数据入湖Kafka最佳实践
应用和数据分散在多云或混合云，在面对多云/混合云这样大的趋势下，数据无法进行统一的聚合、分析处理和导出等，本方案给出了在多云/混合云场景下，构建通过标准的Kafka协议和托管服务，SLS可以连接Kafka数据入湖导入，然后进行统一的海量数据的集中存储、智能转储、聚合分析查询等。
这里会将应用中的云资源按照免费、按量付费和包年包月进行分类显示，如果产品享 受折扣这里会自动将账号对应的优惠显示出来，价格清单中的价格信息为当时的实时 价格，具体产品价格信息请以页面显示为准。文档版本：20240428 11SLS数据入湖Kafka最佳实践 部署基础环境 应用计价成功后，CADT实时生成一个应用架构成本分析...
基于函数计算FC实现物联网音视频处理
在物联网场景中，智能设备会产生大量的非结构化数据，并且采集量和频率都很高。比如各类摄像头（家用摄像头、车载摄像头、工业监控摄像头等）采集的数据。企业需要对这些非结构化数据做快速的分析和处理，然后应用到下游业务中，所以需要一套高并发、低成本、自动化的方案。该最佳实践就适用于这类场景。
stop_push_stream_url：停止推流接口，填写stop_push_streamming_func函数的公 网URL。 打开stop_push_streamming_func控制台，进入触发器管理（URL）页签，可 以看到公网访问地址。 rtmp_url：RTMP服务端地址，填写rtmp:/{ip}/live。 ip地址获取方式参见3.5章节步骤一。输入完毕后，点击创建按钮。步骤3 进入函数...
阿里云日志服务SLS多云统一日志方案之腾讯云日志采集最佳实践
使用日志服务SLS统一采集、存储、查询和分析阿里云、腾讯云等不同云厂商上的业务日志、系统日志和云产品日志，实现在一个平台上管理多云架构下的所有日志。
操作审计 Actiontrail 访问控制 RAM 解决问题 IDC、不同云厂商的 IT系统无法统一监控，出现故障要进入不同系统中排查，效率低 查日志需要登陆服务器，费时费力；无法按应用和用途管理日志的保存时间；服务器经常被日志打满，造成宕机；日志平台数据量大，查询慢，日志平台维护难度 高，工作量大；阿里云日志服务 SLS 多云统...
容器多云统一监控日志
多云、混合云成为常态，Forrester 报告中指出，未来 89% 的企业至少使用两个云，74% 的企业至少使用三个甚至更多公有云，在面对多云/混合云这样大的趋势下，Gartner报告指出，安全、运维复杂性、财务复杂性是多云架构的主要挑战，本方案给出了在多云/混合云场景下，构建基于容器环境下的统一管理、统一监控和统一日志方案，解决多云、混合云场景下，运维复杂性问题。 应用场景 客户在阿里云以外的其他云服务商（AWS、Azure、GCP、TencentCloud、HuaweiCloud等）或者IDC基于容器（Kubernetes）运行业务系统，希望构建容器场景下的统一监控日志系统，方便做不同大屏和问题分析定位。 解决问题 •构建容器多云统一监控和日志系统，在一个平台可以看到不同环境系统的运行情况。
容器多云统一监控日志 最佳实践 业务架构 场景描述 多云、混合云成为常态，Forrester报告中指出，未来89%的企业至少使用两个云，74%的企业 至少使用三个甚至更多公有云，在面对多云/混 合云这样大的趋势下，Gartner报告指出，安全、运维复杂性、财务复杂性是多云架构的主要挑 战，本方案给出了在多云/混合云场景下，构建 ...
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
应用场景 在大数据场景，企业的Kafka实例可能存在多种情况，比如使用阿里云Kafka服务，可能是自建开源Kafka，或者是其他云上的云Kafka。不同的业务使用不同类型的Kafka实例，在这个前提下Kafka实例之间可能会需要消息同步的情况： 同帐号容灾场景：比如Kafka实例都是阿里云Kafka，但是Kafka实例会有主备之分，需要将主Kafka实例的消息实时同步到备Kafka。 跨帐号或异地容灾：这类场景比如主Kafka是阿里云Kafka，备Kafka是IDC开源自建Kafka，或者是其他云上的Kafka。 不同业务之间消息同步：因为现在的业务通常不会是信息孤岛，都需要消息互通，所以可能是A业务的Kafka实例消息需要同步到B业务的Kafka实例，并且这两个Kafka实例归属不同的RAM角色，有自己独自的权限控制。 解决问题 解决使用开源组件做消息同步的高成本问题。 解决使用开源组件做消息同步的并发性能、稳定性问题。 解决使用开源组件做消息同步的可靠性问题（重试机制，容错机制，死信队列等）。 大幅提升构建消息同步架构的效率，降低构建复杂度问题。
公网IP：勾选分配公网IPv4地址 带宽计费模式：按流量计费 带宽（峰）值：5MB。 登录凭证：选择自定义密码 登录名：root 登录密码：根据实际需求填写，该最佳实践模板中的ECS登录密码为Pass4ecs 输入已采用Base64编码：勾选 实例自定义数据：这串Base64编码实现ECS实例第一次启动后自动部署并运行开 ...
基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
在大数据ETL场景，将Kafka中的消息流转到其他下游服务是很常见的场景，除了常规的消息流转外，很多场景还需要基于消息体内容做判断，然后决定下游服务做何种操作。 该方案实现了通过Kafka中消息Key的内容来判断应该对MongoDB做增、删、改的哪种DML操作。 当Kafka收到消息后，会自动触发函数计算中的函数，接收到消息，对消息内容做判断，然后再操作MongoDB。用户可以对提供的默认函数代码做修改，来满足更复杂的逻辑。 整体方案通过CADT可以一键拉起依赖的产品，并完成了大多数的配置，用户只需要到函数计算和MongoDB控制台做少量配置即可。
修改 default 分组允许访问的 IP 名单，为方便演示，可以暂时设置为 0.0.0.0/0，后续强 烈建议修改为和业务相关的 IP 名单，增加安全性。23 文档版本：20240304 基于函数计算 FC 实现阿里云 Kafka 消息内容控制 MongoDB DML 操作 场景验证 2.2.记录 MongoDB连接地址 步骤1 进入数据库链接页面，可以看到 ...
基于SpringCloud应用玩转MSE实践
随着业务不断创新，大型的单个应用和服务会被拆分为数个甚至数十个微服务，微服务架构已经被广泛应用。 微服务的好处在于快速迭代，如何在迭代过程中保障线上流量不受损。依赖开源产品缺少无运维工具，常常需要投入较大的运维人力和成本。 本实践提供基于云原生应用产品提供微服务注册配置中心、微服务治理和云原生网关等一系列高性能和高可用的企业级云服务能力。
弹性公网IP：是独立的公网IP资源，可与阿里云专有网络VPC类型的云服务器ECS、NAT网关、ENI 网卡、私网负载均衡SLB绑定，并可以动态解绑满足灵活管理的要求。弹性公网IP可为您在云上部署 的网站提供Internet访问服务。 NAT网关（NATGateway）提供公网NAT和私网NAT两种功能。公网NAT网关通过自定义SNAT、文档版本：...
云上公网架构设计和安全管理
云上公网的设计可以帮助企业更加统一、安全地管理自己的云上互联网出入口，同时可以实现统一监控运维和公网的成本优化。
相关产品负载均衡 SLBNAT 网关转发路由器 TR云企业网 CEN共享带宽弹性公网 IPDDoS 防护Web应用防火墙 WAF云防火墙在线咨询方案优势 高可靠提供多层次的容灾策略与跨可用区级高可用体验，保障业务连续性。高性能云原生的网络产品具备大流量处理能力和超强弹性，轻松应对业务突峰。高安全多层防护保障业务核心数据安全，降低...
来自：
解决方案
机场视频监控
场景描述 该最佳实践适用于国内机场的视频监控行业，将线下视频文件通过混合云阵列缓存后，通过专线上传到阿里云OSS上。 也适用于其他混合云场景中，利用阵列缓存文件，并通过网络传输到阿里云OSS上的场景。 解决问题 1.通过混合云阵列+专线将线下文件传到阿 里云OSS上 2.通过阿里云OSS跨区域复制功能实现异 地文件备份 3.通过OSS的自动生命周期管理功能实现 文件生命周期管理 产品列表 OSS对象存储 混合云阵列 高速通道（专线）
机场视频监控最佳实践 部署架构图 场景描述 该最佳实践适用于国内机场的视频监控行业，将 线下视频文件通过混合云阵列缓存后，通过专线 上传到阿里云OSS上。也适用于其他混合云场景中，利用阵列缓存文 件，并通过网络传输到阿里云OSS上的场景。解决问题 1.通过混合云阵列+专线将线下文件传到阿 里云OSS上 2.通过阿里...
SLS多云日志采集、处理及分析
场景描述 从第三方云平台或线下IDC服务器上采集 日志写入到阿里云日志服务，通过日志服务 进行数据分析，帮助提升运维、运营效率， 建立DT 时代海量日志处理能力。 针对未使用其他日志采集服务的用户，推荐 在他云或线下服务器安装logtail采集并使用 Https安全传输；针对已使用其他日志采集 工具并且已有日志服务需要继续服务的情 况，可以通过Log producer SDK写入日志 服务。 解决问题 1.第三方云平台或线下IDC客户需要使用 阿里云日志服务生态的用户。 2.第三方云平台或线下IDC服务器已有完 整日志采集、处理及分析的用户。 产品列表 E-MapReduce 专有网络VPC 云服务器ECS 日志服务LOG DCDN
首 先要知道为什么要使用 filebeat呢？因为 logstash是 jvm跑的，资源消耗比较大，启 动一个 logstash就需要消耗 500M左右的内存，而 filebeat只需要 10来 M内存资源。工作原理：Filebeat由两个主要组件组成：prospector 和 harvester。这些组件一起工作来读取文 件（tail file）并将事件数据发送到您指定的输出。启动 ...
阿里云最佳实践容器workshop
通过本篇最佳实践，可以熟悉容器及k8s的基本操作。基于eci的高弹性架构，能有效的应对业务流量洪峰，同时提升资源使用效率。
步骤7 通过底部的部署清单可以查看各个资源详情，记录 EIP的地址，就是登录 ECS的公 网地址。注意：等做完所有实践，再单击释放资源。文档版本：20220301（发布日期）6 阿里云ACK容器服务workshop 使用 CADT创建云资源 1.3.基于 CADT创建容器集群 本章节创建一个托管版的 ACK集群，即 master节点运维由阿里云管控且对用户不...
游戏业务分区合服
概述 为了提高游戏玩家的体验,并提高留存率,增强付费率.除了游戏本身的内容趣味性外, 改善用户访问加速体验,并对游戏数据分区合服是很常见的业务运营场景. 本方案适用于: 1游戏业务运营,对多个分区数据库进行合并,增加付费用户积极性的需求. 2游戏业务加速,中心化部署的网络加速需求. 方案优势 1便捷数据迁移. 2内网安全传输 3加速远端用户访问质量体验 4快速应对上层业务运营的技术实现操作. 产品列表 网络产品:VPCSLBNAT网关CEN共享带宽包EIP全球加速GA 计算产品:ECS 数据库产品:RDSDTS 存储产品:OSS 云解析
跨地域加速效果验证（可选）全局域名是 global.bossbox.top 在北方非电信运营商的用户，访问这个域名会优先解析到阿里云北京的 SLB对外公 网 IP上。在南方的电信用户，访问这个域名会优先解析到阿里云深圳全球加速对外公网 IP上。本例没有两地不同运营商的用户环境，不做具体测试。说明:有少量北方电信用户，如果被解析到了...
云上高并发系统改造
场景描述 随着业务的发展，系统并发压力越来越大，如何 进行系统改造以满足高并发场景的业务需求成 为了一个技术难题。本实践抽象于客户的实际场 景，提供高并发下系统改造的理论指导和部分实 操演示。主要适用于以下场景： 1.系统并发压力大，需要进行系统应用改造。 2.数据层并发压力大，需进行分库分表改造。 3.数据库数据量巨大，亟待分库分表解决查询 和写入瓶颈的场景。 方案优势/解决问题 1.在水平扩展阶段，我们除了通过SLB做负载 均衡外，我们可以通过SLB下挂nginx的方 式，增加负载均衡侧的可扩展性 2.在数据库拆分阶段，在做好数据规划后，我 们借助DTS进行数据迁移，通过DRDS将 RDS MySQL的数据拆分到多个分库和分 表中。 产品列表 专用网络VPC 负载均衡SLB 云服务器ECS 数据库RDSMySQL 数据传输服务DTS PrivateZone 分布式关系型数据库DRDS
您可以通过配置安全组规则，允许或禁止安全组内的 ECS实 例 对 公 网 或 私 网 的 访 问。更 多 信 息，请 参 见：https://help.aliyun.com/document_detail/25387.html 应用型负载均衡 ALB（Application Load Balancer）：是阿里云推出的专门面 向 HTTP、HTTPS和 QUIC等应用层负载场景的负载均衡服务，具备超强弹 性及大...
云上成本优化workshop
某金融科技公司，它主要提供信贷，理财，电商等 服务，目前已经拥有千万级注册用户。该公司在将 在线业务系统和大数据业务从自建 IDC 机房迁移 到阿里云后，今年大数据集群经历过多次因为资 源不足导致弹性扩容失败的故障，运维负责人非 常苦恼。由于该公司从事互联网金融的借贷业务， 白天的催收非常依赖晚上大数据计算的结果，若 因为资源不足导致计算结果失败则意味着白天催 收业务员无事可做，会对公司业务造成严重影响。 后来，通过阿里云解决方案架构师建议的方案，将 大数据集群迁移到资源较充足的可用区以及配置 弹性伸缩多规格 ECS 选型增加交付成功率等方 法，目前已阶段性的解决因资源不足导致弹性扩 容失败的问题，但该方案在 Spot 计算资源不足 时，启用大量按量收费算力，带来了较高的成本， 并且抢占式实例和按量付费实例都不保证资源 100%交付，还是存在交付失败的可能性，特别是 在双 11 期间由于其他客户的资源需求上升带来 的资源挤兑客观上存在，就进一步增加了弹性扩 容失败的风险，从而影响业务正常运行。
支持停机不收费的 ECS资源包括：ￚ 计算资源（vCPU和内存）ￚ 固定公网 IP地址和带宽 不支持停机不收费的 ECS资源包括但不限于：ￚ 系统盘 ￚ 实例上挂载的数据盘 ￚ 弹性公网 IP（EIP）和带宽 ￚ 镜像 ￚ 快照 步骤1 以大数据 EMR集群为例，我们进入 ECS控制台，通过停机不收费的方式，关掉 Task 实例组的按量付费实例...
来自：
最佳实践
相关产品：云服务器ECS,负载均衡 SLB,弹性公网IP,容器服务 ACK,日志服务（SLS）,NAT网关,函数计算,E-MapReduce,云数据库PolarDB,弹性容器实例 ECI,存储容量单位包,预留实例券,Hologres
云上持续审计合规最佳实践
本方案是面向云上资源的操作审计和配置审 计，提供的最佳实践。适用于企业型客户。通过最佳实践帮助客户在本场景下更好的使用 阿里云，涉及到配置审计、操作审计、函数计算、SLS、OSS 等服务的实践操作。 解决问题 企业会面临外部对企业云上信息系统的合规要求，如等保2.0法规要求。 同时当云上资源达到一定规模时，在内部会制定合规管控的基线，满足自身管理效率和安全合规的需 求。 包括记录云上资源管理的操作日志、资源配置变更日志，还需依赖云平台提供的持续监控和自动告警能力，实现合规性的自主监管。
这也是为什么所有 IT安全相关的法规标准都反复强调企业 必须持续记录足够时间的审计事件。审计事件让云上运维可见。配置审计是从资源角度进行的审计合规，侧重在资源配置结果。不管经过多少人 多少次的操作变更，只看最终资源在云上的配置是否符合安全预期。比如 OSS Bucket必须开启服务端加密，这是直接对运维结果的要求和...
CDH迁移升级CDP最佳实践
当前 CDH 免费版停止下载，终止服务，针对需要企业版服务能力并且CDH 升级过程对业务影响较小的客户，通过安装新的 CDP 集群，将现有数据拷贝至新集群，然后将新集群切换为生产集群，升级过程没有数据丢失风险，停机时间较短，适合大部分互联网客户升级使用。
1.收集 3个节点的私网 IP地址和对应的主机名，如下所示（请根据您环境的实际 IP 地址进行修改）：192.168.10.205 master 192.168.10.207 slave1 文档版本：20211029 9 CDH迁移升级 CDP最佳实践 基础环境搭建 192.168.10.208 slave2 192.168.10.206 slave3 2.通过 SSH远程登录 master节点所在的 ECS实例，通过 vim编辑器将...
基于弹性供应组构建大数据分析集群
场景描述 基于弹性供应组（APG）搭建spark计算集 群，提供一键开启跨售卖方式、跨可用区、 跨实例规格的计算集群交付模式的实践。 方案优势 1.超低成本：跨售卖方式提供计算实 例，按秒计费，可全部使用spot实例 交付，最高可省90%成本。 2.稳定可靠：跨可用域、跨实例规格， 降低spot被集体释放的风险；自动托 管，分钟级巡检，动态保证集群的算 力。 3.快速交付：单次可在5分钟内交付 2000个实例。 4.多策略组合：可分别指定spot和按量 实例的交付策略，以及差额补足的策 略，包括成本最低、打散和折中。 解决问题 1.大规模计算集群成本高。 2.创建ECS实例方式单一，无法跨计费 方式、可用区及规格等核心参数。 3.当可用区资源紧张，无法自动保证基于 spot类型的稳定算力。 产品列表 专有网络VPC 云服务器ECS
规格 小型 EIP 新购 EIP 弹性公网 IP开通 带宽峰值 根据实际需求选择，本实践设置为 1 Mbps。带宽计费方式 按使用流量计费 名称 自定义 购买数量 1 文档版本：20200619 12 基于弹性供应组构建大数据集群分析 创建并配置 NAT网关 文档版本：20200619 13 基于弹性供应组构建大数据集群分析 创建并配置 NAT网关 步骤5 在确认...
云上日志集中审计
场景描述 云上的各类云产品和客户部署的业务系统会产生各类 日志，企业合规及安全运营等都需要在一个地方能 集中的查看和分析日志；目前各云产品日志大部分 都进了sls，但都是产品独立的project，不方便集中 审计；客户的业务系统日志各种形态都有；多云和混 合云的场景，日志也需要能集中审计。 解决问题 1.所有日志集中到SLS一个中心project下。 2.满足等保合规和内部合规需求。 3.满足运维和安全运营需求。 产品列表 日志服务SLS 专有网络VPC 弹性公网IPEIP 负载均衡SLB 云服务器ECS 云数据库RDS 云防火墙CFW
产品列表 日志服务 SLS 最佳实践频道 阿里云最佳实践分享群 专有网络 VPC 弹性公网 IP EIP 负载均衡 SLB 云服务器 ECS 云数据库 RDS 云防火墙 CFW 云服务器 ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云 企业上云实践 云上日志集中审计 最佳实践 文档版本：20200630（发布日期）文档版本：20150122（发布日期...
多账号下企业分账
场景描述 财务分账，是根据企业的成本中心，将云上资源的成本划分到给各个项目组/业务部门；助力企业快速梳理云上成本结构，搭建复杂组织架构下的成本关系，便捷地进行财务和云上成本的管理。 大型企业或集团公司，由于组织架构复杂，业务复杂等原因，通常拥有多个阿里云账号来管理规模庞大的云上资源。针对云上资源，如何建立有效的分账方案，是财务关注的重要问题。 解决问题 解决CIO/CTO最关心的云上IT治理，IT成本核算等问题。 弄清楚企业内各部门成本及云上IT成本结构。 让CIO/CTO准确地掌握云上资源成本情况，清楚业务与成本的关系。 让采购/运维轻松搞定每月的IT成本汇报。
基 于阿里云分布式文件系统和 SSD盘高性能存储，RDS支持 MySQL、SQL Server、PostgreSQL、PPAS（Postgre Plus Advanced Server，高度兼容 Oracle数据库）和 MariaDB TX引擎，并且提供了容灾、备份、恢复、监控、迁移等方面的全套解 决方案。详见：https://www.aliyun.com/product/rds/mysql 负载均衡 SLB：阿里云提供全托管...
Oracle数据库与应用迁移PolarDB
场景描述 本最佳实践适用于Oracle数据库及应用迁 移到阿里云PolarDB数据库（Oracle兼容 版）。通过ADAM将Oracle数据库迁移到 PolarDB数据库，可以降低应用升级、运 维成本，同时提升系统弹性，实现数据库 及应用全栈上云。 解决问题 1.解决Oracle及其应用迁移上阿里云， 通过ADAM评估迁移工具，降低迁移 风险，提高迁移效率。 2.使用PolarDB（Oracle兼容版）数据 库，提升数据库并发读能力，降低运维 成本。 产品列表 数据库和应用迁移（ADAM） PolarDB（Oracle兼容版） 云服务器（ECS） 专有网络（VPC）
每个 ECS都配置了公网 IP地址，为了实验过程的快速访问，真实环境不需要。“adam-app”安装使用 Oracle数据库的应用，模拟待迁移的应用。“polar-app”安装改造完成后的数据库应用，连接的是 PolarDB数据库。数据库网关 DG 部署网关服务，用于 ADAM和 oracle11g之间通过私有网络进行 访问，无需通过公网。IDC和友商云商的 ...
- 产品推荐
- 这些文档可能帮助您