SLS数据入湖Kafka最佳实践
应用和数据分散在多云或混合云，在面对多云/混合云这样大的趋势下，数据无法进行统一的聚合、分析处理和导出等，本方案给出了在多云/混合云场景下，构建通过标准的Kafka协议和托管服务，SLS可以连接Kafka数据入湖导入，然后进行统一的海量数据的集中存储、智能转储、聚合分析查询等。
步骤5在kafka-数据导入页面，填入必要的消息，其中：*服务地址：见下面步骤6*Topic列表：topic-sls（已经在CADT中kafka配置中创建）高级配置：点击，见下面步骤7 文档版本：20240428 23SLS数据入湖Kafka最佳实践 场景验证 3.2.SLS中配置 Kafka入湖的高级配置（公网访问）步骤6*服务地址，在浏览器新的窗口，通过CADT画布...
基于函数计算FC实现物联网音视频处理
在物联网场景中，智能设备会产生大量的非结构化数据，并且采集量和频率都很高。比如各类摄像头（家用摄像头、车载摄像头、工业监控摄像头等）采集的数据。企业需要对这些非结构化数据做快速的分析和处理，然后应用到下游业务中，所以需要一套高并发、低成本、自动化的方案。该最佳实践就适用于这类场景。
在CADT画布中双击名为rtmp-server的ECS的图标，在资源清单中找到 PublicIpAddress，记录IP地址。替换rtmp_server值ip为上图获取的IP地址 文档版本：20240502 44基于函数计算FC实现物联网音视频处理最佳实践 场景验证 步骤2 点击函数代码页签。在 WEBIDE 中删除 index.py 中的默认代码。打开章节 2.1 中下载的 video-push-...
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
应用场景 在大数据场景，企业的Kafka实例可能存在多种情况，比如使用阿里云Kafka服务，可能是自建开源Kafka，或者是其他云上的云Kafka。不同的业务使用不同类型的Kafka实例，在这个前提下Kafka实例之间可能会需要消息同步的情况： 同帐号容灾场景：比如Kafka实例都是阿里云Kafka，但是Kafka实例会有主备之分，需要将主Kafka实例的消息实时同步到备Kafka。 跨帐号或异地容灾：这类场景比如主Kafka是阿里云Kafka，备Kafka是IDC开源自建Kafka，或者是其他云上的Kafka。 不同业务之间消息同步：因为现在的业务通常不会是信息孤岛，都需要消息互通，所以可能是A业务的Kafka实例消息需要同步到B业务的Kafka实例，并且这两个Kafka实例归属不同的RAM角色，有自己独自的权限控制。 解决问题 解决使用开源组件做消息同步的高成本问题。 解决使用开源组件做消息同步的并发性能、稳定性问题。 解决使用开源组件做消息同步的可靠性问题（重试机制，容错机制，死信队列等）。 大幅提升构建消息同步架构的效率，降低构建复杂度问题。
因为kafka-sync-func-ram-a函数负责从阿里云上的业务系统Kafka实例向模拟线下自 建开源Kafka集群同步消息，所以目标Kafka的连接地址是部署在ECS上的开源Kafka 集群，因为北京Region和上海Region网络在架构图中通过VPC对等连接进行了打通，所以使用该ECS的内网IP地址即可。步骤3 找到层，点击编辑。添加层，选择添加自定义层...
SAE-ACK应用双跑最佳实践
场景描述 实现ACK、SAE中部署的应用在东西向和南北向互通，实现SAE-ACK应用双跑。 应用场景 该最佳实践应用于两类场景： l 因为SAE支持更丰富自动扩缩指标（比如QPS，RT，TCP连接数等），所以将相对稳态的应用部署在ACK中，将相对弹性波动大的应用部署在SAE，借助SAE更强大的自动扩缩应对流量洪峰。 l 将K8s架构迁移到Serverless架构时，需要平滑过渡，所以该最佳实践中的双跑架构可以有效帮用户平滑的完成迁移。
浏览器访问接口发送请求 步骤1 在ACK控制台，进入网络->路由，可以看到上述5.6中创建的Nginx的端点信息（IP）。步骤2 在浏览器中多次访问http://39.107.211.10/callProvider，可以看到3.1章节中说明的四 条请求路径。文档版本：20240311 45SAE-ACK应用双跑 场景验证 文档版本：20240311 46SAE-ACK应用双跑 场景验证 7.一键...
基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
在大数据ETL场景，将Kafka中的消息流转到其他下游服务是很常见的场景，除了常规的消息流转外，很多场景还需要基于消息体内容做判断，然后决定下游服务做何种操作。 该方案实现了通过Kafka中消息Key的内容来判断应该对MongoDB做增、删、改的哪种DML操作。 当Kafka收到消息后，会自动触发函数计算中的函数，接收到消息，对消息内容做判断，然后再操作MongoDB。用户可以对提供的默认函数代码做修改，来满足更复杂的逻辑。 整体方案通过CADT可以一键拉起依赖的产品，并完成了大多数的配置，用户只需要到函数计算和MongoDB控制台做少量配置即可。
修改 default 分组允许访问的 IP 名单，为方便演示，可以暂时设置为 0.0.0.0/0，后续强 烈建议修改为和业务相关的 IP 名单，增加安全性。23 文档版本：20240304 基于函数计算 FC 实现阿里云 Kafka 消息内容控制 MongoDB DML 操作 场景验证 2.2.记录 MongoDB连接地址 步骤1 进入数据库链接页面，可以看到 ...
基于SpringCloud应用玩转MSE实践
随着业务不断创新，大型的单个应用和服务会被拆分为数个甚至数十个微服务，微服务架构已经被广泛应用。 微服务的好处在于快速迭代，如何在迭代过程中保障线上流量不受损。依赖开源产品缺少无运维工具，常常需要投入较大的运维人力和成本。 本实践提供基于云原生应用产品提供微服务注册配置中心、微服务治理和云原生网关等一系列高性能和高可用的企业级云服务能力。
test RocketMQ RocketMQ5.0 规格：rmq.s2.2xlarge group：xl-test-group、xl-test-group_gray Project 名称需要修 Project名称需要全局 日志服务SLS a-project-ack-sls-*改 唯一 名称：nat-eip 弹性公网EIP NAT出口关联的EIP 流量：按使用流量计费 VPC全通模式 名称：project-nat NAT网关 VPC统一网络出口 创建后VPC网段...
Oracle RAC 12C云上部署
Oracle RAC架构迁移上云，提供高并发，高吞吐，高安全等特性，适用于金融，电力，电信，制造业等传统客户的核心交易系统。
转发路由器TR（TransitRouter）：提供连接网络实例、自定义路由表、添加路由 条目、添加路由策略等丰富的网络互通和路由管理功能。文档版本：20240206 IVOracleRAC12C云上部署 目录 目录 文档版本信息.I 法律声明.II 前言.III 目录.V 最佳实践概述.1 前置条件.3 1.安装环境规划.4 1.1.相关概念介绍.4 1.2.OracleRAC环境...
云速搭-ECS结合网络相关优化方案
本实践设计了不同的ECS结合网络部署方案，并使用云速搭CADT做预算，可以快速对比出不同方案根据当前账户的折扣的价格差，根据需要部署系统的需求和享有的折扣，可以灵活配置ECS和网络产品，节约成本。
云速搭-ECS结合网络相关优化方案 文档版本信息 云速搭 ECS结合网络相关优化方案 最佳实践 文档版本：20211103（发布日期）云速搭-ECS结合网络相关优化方案 文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 云速搭-ECS结合网络相关优化方案 文档编号 259 文档版本 V1.0 版本日期 2021-11-03 文档状态 对外发布 制作...
基于ECI+FaaS构建游戏战斗结算服
在游戏行业的很多SLG游戏作品中，为了防止客户端作弊，在每局战斗之后，在客户端预判玩家胜利的情况下，需要服务端来进行战斗数据的结算，从而确定玩家是不是真正的胜利。战斗结算是强CPU密集型，结算系统每日需要大量的计算力，尤其是开服或者活动期间忽然涌入的大量玩家，导致需要的计算量瞬间几倍增长，同时需要结算系统保持稳定的延时来保证玩家的用户体验。 1. ECI支持500台实例30S弹出，快速解决业务模块扩容压力。FaaS毫秒级伸缩扩容，化解算力瓶颈，平滑解决暴增调用请求。 2. 降低成本：ECI每天弹性运行8小时，与6代同规格包月相比节省成本40%+，FaaS按需付费，即开即用，节省预留资源消耗。 3. 免运维：FaaS和ECI都是全托管免运维的服务，客户专注业务开发即可。 4. 模块公共化：减轻游戏逻辑服的压力，结算需求复用到类似需求的游戏。
天裵、寻野、西流 创建 文档版本：20201127 I 基于ECI+FaaS构建游戏战斗结算服 前言 前言 名词解释 VPC：专有网络 VPC（Virtual Private Cloud）是用户基于阿里云创建的自定义私 有网络,不同的专有网络之间二层逻辑隔离，用户可以在自己创建的专有网络内创 建和管理云产品实例，比如 ECS、负载均衡、RDS 等。更多信息，请...
CDH迁移升级CDP最佳实践
当前 CDH 免费版停止下载，终止服务，针对需要企业版服务能力并且CDH 升级过程对业务影响较小的客户，通过安装新的 CDP 集群，将现有数据拷贝至新集群，然后将新集群切换为生产集群，升级过程没有数据丢失风险，停机时间较短，适合大部分互联网客户升级使用。
1.收集 3个节点的私网 IP地址和对应的主机名，如下所示（请根据您环境的实际 IP 地址进行修改）：192.168.10.205 master 192.168.10.207 slave1 文档版本：20211029 9 CDH迁移升级 CDP最佳实践 基础环境搭建 192.168.10.208 slave2 192.168.10.206 slave3 2.通过 SSH远程登录 master节点所在的 ECS实例，通过 vim编辑器将...
基于云拨测的网站用户体验监测最佳实践
网站作为电商行业开展业务的核心场景，不同区域、不同运营商、不同的终端用户，给网站体验带来了巨大的一致性挑战。打开卡顿、缓慢，甚至无响应，都会影响到运营效果、甚至出现负面影响。阿里云基于多年业务经验，为云上客户提供完整的电商网站运营期间的用户体验监测方案。
3.目前 CADT暂时不支持开通、购买云拨测（正紧急开发中），您可以通过以下链接 选择对应套餐：试用版：云拨测提供免费试用版、后付费专家版和预付费版三种模式，首次开 通云拨测后，云 拨 测 将 提 供 15 天 的 免 费 试 用 期。https://arms.console.aliyun.com/testing 云拨测-包年包月：https://common- 文档版本：...
企业上云workshop
本文模拟了如下场景: 1. 线下 IDC 环境中部署了一个业务系统，业务是利用 wordpress 系统提供网站服务。 2. 本文详细介绍了如何将以上线下系统搬迁到云上， 包括如何在云上构建以上业务系统，如何迁移线下 系统到云上，如何割接。 3. 最后介绍了迁移上云后，如何部署安全系统。 解决问题 IDC 业务系统搬迁上云 云上构建业务系统 部署安全系统
用 ping来检查，可以看到 ping ws0001.lustre.site的时候，已经返回 waf的 cname地 址，表明解析成功。可以在公网环境的主机（比如，连接公网的笔记本电脑）上执行 以下命令：ping ws0001.lustre.site 13.4.验证 WAF防护效果 13.4.1.Web应用攻击防护效果 步骤1 分别在浏览器的地址栏输入以下 3个 url，模拟 SQL注入攻击、...
来自：
最佳实践
相关产品：专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,负载均衡 SLB,弹性公网IP,文件存储NAS,云数据库PolarDB,Web应用防火墙,云防火墙,SSL证书,云速搭
传统企业业务上云基础安全防护
场景描述 越来越多的企业客户选择把自己的生产系统部 署在公共云平台上，以满足自身业务的发展及弹 性扩缩容、稳定性等方面的需求。如何在公共云 上构建基本的网络安全、主机安全、入侵检测、 运维审计等方案，是企业首选的最佳实践。 解决问题 1.服务器安全、应用安全 2.网络安全、数据安全 3.安全审计、安全管理 产品列表 云安全中心 Web应用防火墙 云防火墙 SSL证书 数据库审计 堡垒机
这样对这个目录的任何修 改都会被阻止，比如增加、删除或修改文档。一般在网站的静态文件目标开启防篡改；在更新文件的时候，暂时关闭防篡改功能，待更新完成后再开启。网页防篡改主要解决主动防御方面的技术要求。开启网页防篡改 步骤1 登录云安全中心控制台。步骤2 在左侧导航栏选择网页防篡改，并单击创建网页防篡改。...
Exchange Server云上部署最佳实践
阿里云提供基础设施服务，能够以高可用、高容错且经济实惠的方式将Exchange Server部署在云上。通过在 阿里云上部署，可以获得Exchange Server的功能以及阿里云天然灵活性和安全性。
并将 IP地址修改为静态地址。步骤2 在 PowerShell中执行以下指令，将 EX1添加到域 mush-room.cn。1.执行以下命令 Add-Computer-DomainName"mush-room.cn" 文档版本：20220119 28 Exchange Server云上部署最佳实践 部署 Exchange Server 2.输入域凭证账户和密码。3.重启计算机 Restart-Computer 4.按照以上步骤，将 EX2也...
阿里云最佳实践容器workshop
通过本篇最佳实践，可以熟悉容器及k8s的基本操作。基于eci的高弹性架构，能有效的应对业务流量洪峰，同时提升资源使用效率。
内网通过 Service访问 以上直接访问 Pod的方式并没有负载均衡效果且 Pod重启后 IP地址会发生变化，所 以需要 Service对 Pod的访问进行地址抽象，通过选择器可以将同类 Pod聚合在一个 Service下，达到负载均衡的效果 步骤1 选择左侧的服务与路由>服务，然后单击右上角的创建。文档版本：20220301（发布日期）37 阿里云ACK...
混合云多云统一安全
场景描述 有些客户的业务系统部分上云、或者还没上 云，但想使用阿里云公共云的安全服务；或 者业务系统部署在多个云平台上，想使用阿 里云的安全来提供统一服务。 解决问题 1.通过阿里云的安全产品和服务，统一管理阿 里云、IDC和它云的资产； 2.满足混合云、多云的等保需求。 产品列表 云安全中心 堡垒机 数据库审计 高防IP Web应用防火墙 证书服务 日志服务 VPN网关
勾选立即生效：文档版本：20200630 14 混合云多云统一安全 自建虚拟机网络和测试 其中，LocalId一般是本端 VPN的 IP地址，RemoteId一般是对端 VPN的 IP地址。步骤3 IPsec连接创建成功后，在创建成功对话框中单击确定，发布 VPN路由。文档版本：20200630 15 混合云多云统一安全 自建虚拟机网络和测试 步骤4 选择策略路由表页...
游戏数据运营融合分析
场景描述 1.游戏行业有结构化和非结构化数据融合分 析需求的客户。 2.游戏行业有数据实时分析需求的客户，无法 接受T+1延迟。 3.对数据成本有一定诉求的客户，希望物尽其 用尽量优化成本。 4.其他行业有类似需求的客户。 方案优势/解决问题 1.秒级实时分析：依托ADB计算密集型实例， 秒级监控DAU等数据，为广告投放效果提 供有力的在线决策支撑。 2.高效数据融合分析：打通结构化和非结构化 数据，支撑产品体验分析；广告买量投放效 果实时（分钟级）分析，渠道的评估更准确。 3.低成本：DLA融合冷数据分析+ADB存储密 集型温数据分析+ADB计算密集型热数据分 析，在满足各种分析场景需求的同时，有效 地降低的客户的总体使用成本。 4.学习成本低：DLA和ADB兼容标准SQL语 法，无需额外学习其他技术。 产品列表 专有网络VPC、负载均衡SLB、NAT网关、弹性公网IP 云服务器ECS、日志服务SLS、对象存储OSS 数据库RDSMySQL、数据传输服务DTS、数据管理DMS 分析型数据库MySQL版ADS 数据湖分析DLA、QuickBI
文档版本：20210224 83 游戏数据运营融合分析 数据融合 步骤4 在 DLA创建 schema指向 adb大容量库（获取 adb大容量库信息，包括 VPC地 文档版本：20210224 84 游戏数据运营融合分析 数据融合 址、VPC ID和集群 ID以创建 schema）。步骤5 创建 adb外部表。文档版本：20210224 85 游戏数据运营融合分析 数据融合 5.5.数据处理...
EMR集群安全认证和授权管理
场景描述 阿里云EMR服务Kafka和Hadoop安全集群使 用Kerberos进行用户安全认证，通过Apache Ranger服务进行访问授权管理。本最佳实践中以 Apache Web服务器日志为例，演示基于Kafka 和Hadoop的生态组件构建日志大数据仓库，并 介绍在整个数据流程中，如何通过Kerberos和 Ranger进行认证和授权的相关配置。 解决问题 1.创建基于Kerberos的EMR Kafka和 Hadoop集群。 2.EMR服务的Kafka和Hadoop集群中 Kerberos相关配置和使用方法。 3.Ranger中添加Kafka、HDFS、Hive和 Hbase服务和访问策略。 4.Flume中和Kafka、HDFS相关的安全配 置。 产品列表：E-MapReduce、专有网络VPC、云服务器ECS、云数据库RDS版
文档版本：20200330 47 EMR集群安全认证和授权管理 EMR Kafka安全集群 步骤9 使用者可以修改 Ranger Policy中的 IP地址，如果将 IP地址修改为非 Flume的 VPC IP地址，预期结果为写入 Topic失败。此时在 Flume的日志中可以查看到对应的报错 信息：日志路径为/opt/bigdata/flume/logs/flume.log 文档版本：20200330 48 EMR...
- 产品推荐
- 这些文档可能帮助您