Kafka性能压测快速方案
产品性能基线测试场景需要对产品进行性能测试得到详细的压测数据，本方案可以快速构建测试的客户端（kafka官方的压测客户端）和不同的Kafka服务端（ SSD云盘版、高效云盘、Serverless版三种实例），方便客户进行POC完成性能验证。
这里需要注意，如果通过CADT创建的VPC、VSwitch中人工通过其他方式添加了资 源，如通过控制台或者API等购买了ECS，释放时因为这些非CADT部署的资源会 依赖VSwitch和VPC，会出现释放失败。遇到这类问题请先去控制台人工进行资源清 理后，在CADT中再次释放资源即可。步骤1 打开需要释放的应用 步骤2 打开资源清单，点击释放...
自建Hadoop迁移MaxCompute
场景描述 客户基于ECS、IDC自建或在友商云平台自建了大数 据集群，为了降低企业大数据计算平台的成本，提高 大数据应用开发效率，更有效保障数据安全，把大数 据集群的数据、作业、调度任务以及业务数据库整体 迁移到MaxCompute和其他云产品。 解决的问题 自建Hadoop集群搬迁到MaxCompute 自建Hbase集群搬迁到云Hbase 自建Kafka或应用数据准实时同步到 MaxCompute 自建Azkaban任务迁移到Dataworks任务 产品列表 MaxCompute，Dataworks、云数据库Hbase版、Datahub、VPC，ECS。
workspace20200221 maxcompute table:odps_apache_logs 通过下面命令生成 mapping文件：cd/root/odps-data-carrier vim hive_maxcompute_tables_mapping.ini 将下列内容粘贴到文件中，保存后退出：log_data_warehouse.apache_logs:workspace20200221.odps_apache_logs 如果你有多个表，请依次添加：3.2.启动 MMA工具进行...
自建Hive数据仓库跨版本迁移到阿里云Databricks数据洞察
场景描述 客户在IDC或者公有云环境自建Hadoop集群构建数据仓库和分析系统，购买阿里云Databricks数据洞察集群之后，涉及到数仓数据和元数据的迁移以及Hive版本的订正更新。 方案优势 1. 全托管Spark集群免运维，节省人力成本。 2. Databricks数据洞察与阿里云其他产品（OSS、RDS、MaxCompute、EMR）进行深度整合，支持以这些产品为数据源的输入和输出。 3. 使用Databricks Runtime商业版引擎相比开源Spark性能有3-5倍的提升。 解决问题 1. Hive数仓数据迁移OSS方案。 2. Hive元数据库迁移阿里云RDS方案。 3. Hive跨版本迁移到Databricks数据洞察使用Delta表查询以提高查询效率。
1.收集 4个节点的私网 IP地址和对应的主机名，如下所示（请根据您环境的实际 IP 地址进行修改）：192.168.100.37 master 192.168.100.38 slave1 192.168.100.39 slave2 文档版本：20210425 7 自建 Hive数据仓库跨版本迁移到阿里云 Databricks数据洞察 基础环境搭建 192.168.100.41 slave3 2.通过 SSH远程登录 hadoop-master...
Spring Cloud Netflix应用迁移EDAS
场景描述 Spring Cloud Netflix微服务应用迁移到EDAS 服务（SpringCloud Alibaba云版本）的方法， 迁移后充分利用阿里云监控、调用链、限流降级 等能力，优化应用生命周期管理。 解决问题 1.帮助自建SpringCloudNetflix微服务应用 通过简单修改迁移到阿里云企业级分布式 应用服务（EDAS）平台。 2.迁移到EDAS后，简化应用的运维，提升监 控、调用链探测、限流降级等管理能力，提 高对应用的全生命周期管理。 产品列表 企业级分布式应用服务（EDAS） 负载均衡（SLB） 专有网络（VPC） 云服务器（ECS）
更多信息，请参 见：https://www.aliyun.com/product/slb EDAS：企业级分布式应用服务 EDAS（Enterprise Distributed Application Service）是一个应用托管和微服务管理的 PaaS平台，提供应用开发、部署、监控、运维等 全栈式解决方案，同时支持 Spring Cloud、Apache Dubbo（以下简称 Dubbo）等微服务运行环境。更多信息，...
EMR集群安全认证和授权管理
场景描述 阿里云EMR服务Kafka和Hadoop安全集群使 用Kerberos进行用户安全认证，通过Apache Ranger服务进行访问授权管理。本最佳实践中以 Apache Web服务器日志为例，演示基于Kafka 和Hadoop的生态组件构建日志大数据仓库，并 介绍在整个数据流程中，如何通过Kerberos和 Ranger进行认证和授权的相关配置。 解决问题 1.创建基于Kerberos的EMR Kafka和 Hadoop集群。 2.EMR服务的Kafka和Hadoop集群中 Kerberos相关配置和使用方法。 3.Ranger中添加Kafka、HDFS、Hive和 Hbase服务和访问策略。 4.Flume中和Kafka、HDFS相关的安全配 置。 产品列表：E-MapReduce、专有网络VPC、云服务器ECS、云数据库RDS版
本实践方案中，Flume使用 root用户启动，因此这里添 加 root用户，首先添加 Group。步骤5 添加 root用户。文档版本：20200330 45 EMR集群安全认证和授权管理 EMR Kafka安全集群 步骤6 在 Ranger中添加一个 Policy。文档版本：20200330 46 EMR集群安全认证和授权管理 EMR Kafka安全集群 将界面拖拽到最后，单击 Add按钮，...
网络安全升级支持IPv6
场景描述 关键信息基础设施支持IPv6已经上升到国家战 略，公共云基础设施为云上客户系统支持IPv6 提供了完整的解决方案及产品。本最佳实践是在 现有WAF和高防IP作为网络安全架构基础上， 如何升级支持IPv6，同时满足云上和线下IDC 需求，满足合规要求。 解决问题 1.网络支持IPv6 2.支持V4和V6双栈 3.满足监管合规要求 产品列表 Web应用防火墙WAF DDoS高防IP DDoS防护包
1.4.配置 DNS 通常一个网站对外提供服务，都是以域名的形式来提供的。后续步骤里的 WAF和高防 IP产品，使用的时候也需要有域名，且域名是需要备案过 的。在 DNS中发布 A记录 步骤1 登录阿里云域名解析管理控制台。（https://dns.console.aliyun.com/）步骤2 单击域名操作列下的解析设置,单击添加记录。文档版本：20210830 5...
自建Hadoop迁移到阿里云EMR
场景描述 场景1：自建Hadoop集群数据（HDFS）迁移到 阿里云EMR集群的HDFS文件系统； 场景2：自建Hadoop集群数据（HDFS）迁移到 计算存储分离架构的阿里云EMR集群，以OSS 和JindoFS作为EMR集群的后端存储。 解决的问题 客户自建Hadoop迁移到阿里云EMR集群的 技术方案； 基于IPSecVPN隧道构建安全和低成本数据 传输链路 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
4.目标集群绑定 EIP（弹性公网 IP）带宽要和绑定在源集群节点上面多个 IP的带宽 和相等，避免造成网络的性能瓶颈。方案架构 文档版本：20210714 61 自建Hadoop数据迁移到阿里云 EMR 附录 执行步骤 源集群侧配置 步骤1 登陆到 Hadoop集群里面，执行下面命令，获取所有的 hostname。获取 namenode的 hostname[root@emr-header...
跨云迁移单写双读过渡架构
概述 在搬站场景下，涉及迁移跨度较长，在过渡阶段客户需要跨云访问，如何保障数据链路的高可用尤为关键，采用专线和公网双备的方案保障数据传输的高可用，也降低双专线的迁移成本。 适用场景 数据迁移链路的高可用 跨云迁移过渡期架构 读写分类架构设计 技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤： 方案优势 在迁移时间持续较长的情况下，使用单写双读架构降低业务改造成本。 使用数据库网关做专线和公网互备。 流量逐渐灰度验证，保障迁移平滑过渡。 安全：原生的多租户系统，以项目进行隔离，所有计算任务在安全沙箱中运行。
文档版本：20201209 32 跨云迁移单写双读过渡架构 流量灰度测试 步骤4 新增地址池，把之前创建的两个集群的 SLB地址添加进来，进行权重设置，比如先灰 度 10%的流量到北京进行灰度测试验证。步骤5 基于地理位置配置访问策略。文档版本：20201209 33 跨云迁移单写双读过渡架构 流量灰度测试 步骤6 新增访问策略。文档版本：...
异地双活场景下的数据双向同步
概述 随着客户业务规模的扩大，对系统高可用性要求越来越高，越来越多用户采用异地双活/多活架构，多活架构往往涉及业务侧做单元化改造，本方案仅模拟用户已做单元化改造后的数据双向同步，数据库采用双主架构，本地写本地读，同时又保证双库的数据一致性，为业务增加可用性和灵活性。 适用场景 数据库双向同步 数据库全局ID不冲突 双活架构的数据库建设问题 技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤： 方案优势 DTS双向同步，采用独立模块避免数据同步占用系统资源。 奇偶ID涉及，避免数据冲突。 DTS多种处理冲突的方式供业务选择。 安全：原生的多租户系统，以项目进行隔离，所有计算任务在安全沙箱中运行。
异地双活场景下的数据双向同步 最佳实践 业务架构 场景描述 解决的问题 随着客户业务规模的扩大，对系统高可用性要求越 数据库双向同步 来越高，越来越多用户采用异地双活/多活架构，多 数据库全局 ID不冲突 活架构往往涉及业务侧做单元化改造，本方案仅模 双活架构的数据库建设问题 拟用户已做单元化改造后的数据双向同步...
CDH迁移升级CDP最佳实践
当前 CDH 免费版停止下载，终止服务，针对需要企业版服务能力并且CDH 升级过程对业务影响较小的客户，通过安装新的 CDP 集群，将现有数据拷贝至新集群，然后将新集群切换为生产集群，升级过程没有数据丢失风险，停机时间较短，适合大部分互联网客户升级使用。
yarn.scheduler.fair.assignmu 分配多个：是否允许在一次心跳中分配多个容器。ltiple yarn.resourcemanager.schedul 允许较高优先级的应用程序抢占较低优先级的应用程 er.monitor.enable 序。yarn.scheduler.capacity.maxi 指定集群中可用于运行应用程序主控的资源的最大百分 mum-am-resource-percent 比。默认最大运行应用...
大数据workshop
大数据workshop
步骤4 按照步骤 2~3，为 dwd_paid_order_detail创建 2个订阅、order_detail创建 1个订 阅、log_info创建 1个订阅，分别如下：dwd_paid_order_detail：分别记录为：{ dwd_paid_order_detail_subID_1 }、{ dwd_paid_order_detail_subID_2} order_detail:记录为：{order_detail_subID} log_info：文档版本：20210628（发布日期...
来自：
最佳实践
相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
SLS多云日志采集、处理及分析
场景描述 从第三方云平台或线下IDC服务器上采集 日志写入到阿里云日志服务，通过日志服务 进行数据分析，帮助提升运维、运营效率， 建立DT 时代海量日志处理能力。 针对未使用其他日志采集服务的用户，推荐 在他云或线下服务器安装logtail采集并使用 Https安全传输；针对已使用其他日志采集 工具并且已有日志服务需要继续服务的情 况，可以通过Log producer SDK写入日志 服务。 解决问题 1.第三方云平台或线下IDC客户需要使用 阿里云日志服务生态的用户。 2.第三方云平台或线下IDC服务器已有完 整日志采集、处理及分析的用户。 产品列表 E-MapReduce 专有网络VPC 云服务器ECS 日志服务LOG DCDN
注：1）NAT网关配置的公网 IP数限制 NAT网关的最大并发数，绑定单个 IP最大 连接数为 55000，当通过 NAT网关访问公网上同一个目的 IP和端口的带宽大于 2Gbps时，建议您为 NAT网 关绑定 4-8个公网 IP并构建 SNAT IP池，避免单 IP的端口数量限制可能产生的丢包 2）当有多个 EIP组成 SANT IP池时，如需节约带宽成本可以建议多 ...
金融专属大数据workshop
实践目标 学习搭建一个实时数据仓库，掌握数据采集、存储、计算、输出、展示等整个业务流程。 整个实时数据仓库系统全部基于阿里云产品进行架构搭建，用户可以掌握并学会运用各个服务组件及各个组件之间如何联动。 理解阿里云原生实时离线一体数仓解决方案架构以及掌握交付落地的实践使用方法。 前置知识要求 熟练掌握SQL语法 对大数据体系系统知识有一定的了解
开始DataV及添加数据源 步骤1 在DataV数据可视化服务控制台（https://datav.aliyun.com/）首页，我的数据中，添 加数据。步骤2 输入Hologres的连接信息，选择数据库创建数据源(注意使用https的访问地址)。文档版本：20210803（发布日期）51阿里云最佳实践金融大数据WorkShop 最佳实践项目实践 注意这里一定是https方式 域名...
来自：
最佳实践
相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
互联网业务全球化互通组网
场景描述 本方案适用从事全球化业务的客户，希望借助全球 互通的网络，实现多地域的互通。 同时在全球互联的网络下，搭建应用多地部署。如果 业务中涉及到高速通道，提供高速通道迁移云企业网 的操作演练；涉及到跨账号多VPC下的数据迁移和 同步，本方案提供详细的操作步骤，帮助客户快速完 成演练。 解决问题 借助云企业网解决网络互通 高速通道到云企业网的平滑迁移 RDS的数据互通，特别是跨账号多VPC的数据同步 应用的快速部署 产品列表 云企业网（CEN）、云服务器（ECS）、数据库（RDS）、 数据库（Redis）、数据传输（DTS）、负载均衡（SLB） 块存储、专有网络（VPC）
这里的配置规则添加多个目标端的 UID即 可。代码实例：{"Statement":[{"Action":"sts:AssumeRole","Effect":"Allow","Principal":{"RAM":["acs:ram:root"，"acs:ram:root"],"Service":["@dts.aliyuncs.com" " @dts.aliyuncs.com" ]文档版本：20191217 132 互联网业务全球化互通组网最佳实践 跨账号下多 VPC场景的数据同步 }...
基于湖仓一体架构使用MaxCompute对OSS湖数据分析预测
本篇最佳实践先创建EMR集群作为数据湖对象，Hive元数据存储在DLF，外表数据存储在OSS。然后使用阿里云数据仓库MaxCompute以创建外部项目的方式与存储在DLF的元数据库映射打通，实现元数据统一。最后通过一个毒蘑菇的训练和预测demo，演示云数仓MaxCompute如何对于存储在EMR数据湖的数据进行加工处理以达到业务预期。
参数说明 1.endpoint：必须是DLF的跨域域名或者internal域名，具体的可提工单咨询（后 续会提供公网link参考）2.ramRoleArn：如果MaxCompute和DLF是同一账号下且已完成一键授权，则此 参数省略。本例就是省略此参数。若是跨账号授权或者自定义授权请参考附录A 3.ossEndpoint：指定与DLF同地域的OSS内网endpoint。请参考 ...
新零售商超基于Serverless服务化改造
某零售商超行业龙头企业，主要业务涵盖购物中心、大卖场、综合超市、标准超市、精品超市、便利店、无人值守智慧商店等零售业态，涉及全渠道零售、仓储物流、餐饮、消费服务、数据服务、金融业务、跨境贸易等领域。为了持续支持业务高速且稳定地发展，其在快速上云后，将核心业务改造为全Serverless架构的中台模式，采用函数计算 + API网关 + 表格存储OTS 作为计算网络存储核心，弹性支撑日常和大促峰谷所需资源，轻松支撑618/双11/双12大促。 核心价值 l 全 Serverless 架构：FC + API 网关 + OTS Serverless 解决方案。 l 弹性高可用：毫秒级弹性扩容、充足的资源池水位、跨可用区高可用。 l 敏捷开发免运维：函数式极简编程可专注于业务创新，无采购和部署成本、提供监控报警等完备的可观测能力。
如果多个模块需要同时升级，还要注意数据结构的兼容问题。ￚ 数据库单点故障 许多厂家将数据全部放在一个数据库中，如果处理不妥当可能会造成单点故障。这就要做数据拆分，粗拆的话，需要注意事务和锁相关的问题，效率会大打折 扣；细拆的话，做查询和排序时就会比较困难，给业务实现造成一定麻烦。1.2.业务挑战 在一次年中...
数据湖-在线学习场景数据分析
场景描述 本场景以在线教育中一个答题闯关类的应用为 例，使用WebServer来模拟演示这类日志数据 的分析处理。通过Nginx和Pythonflask搭建 WebServer，模拟应用中的关键页面，比如登 录、课程内容等，之后构造若干用户使用的模拟 日志数据，投递到数据湖进行分析后获取应用 PV、UV、课程内容访问排行、平均得分等等。 解决问题 基于数据湖（EMR+OSS）搭建大数据平台。 EMR和OSS使用和配置。 数据统一存储到OSS。 产品列表 E-MapReduce 对象存储OSS 云服务器ECS 访问控制RAM 专有网络VPC
支持缓存加速能力，提高数据吞吐100%以上，多个集群可以共享同一份缓存数据。 支持细化的数据湖权限管理，支持Ranger 权限集成。 支持Hadoop，Hive，Spark，Flink，Presto，HBase，Impala，Druid等引擎高 性能的运行在数据湖之上。文档版本：20200331 1数据湖-在线学习场景数据分析 最佳实践概述 支持Fuse/Posix ...
基于ECI+FaaS构建游戏战斗结算服
在游戏行业的很多SLG游戏作品中，为了防止客户端作弊，在每局战斗之后，在客户端预判玩家胜利的情况下，需要服务端来进行战斗数据的结算，从而确定玩家是不是真正的胜利。战斗结算是强CPU密集型，结算系统每日需要大量的计算力，尤其是开服或者活动期间忽然涌入的大量玩家，导致需要的计算量瞬间几倍增长，同时需要结算系统保持稳定的延时来保证玩家的用户体验。 1. ECI支持500台实例30S弹出，快速解决业务模块扩容压力。FaaS毫秒级伸缩扩容，化解算力瓶颈，平滑解决暴增调用请求。 2. 降低成本：ECI每天弹性运行8小时，与6代同规格包月相比节省成本40%+，FaaS按需付费，即开即用，节省预留资源消耗。 3. 免运维：FaaS和ECI都是全托管免运维的服务，客户专注业务开发即可。 4. 模块公共化：减轻游戏逻辑服的压力，结算需求复用到类似需求的游戏。
2.因为使用多个 vk 虚拟节点往往用于部署大量 ECI Pod，我们建议谨慎确认 vpc/vswitch/安全组的配置，确保有足够的 vswitch ip 资源（vk 支持配置多个 vswitch解决 ip容量问题），使用企业级安全组可以突破普通安全组的 2000个实 例限制。多个 vk部署详细参考：https://yq.aliyun.com/articles/744139 文档版本：20201127 ...
金融行业从经典网络向VPC容器化改造
本实践介绍经典网络向VPC容器化改造实践 以及配置步骤，可适用于金融等行业 方案优势 容器化完成经典网络完成向VPC网络改 造 应用发布灵活 运维效率提升 解决问题 1.经典网络管理困难 2.应用发布不灵活 3.运维效率低 产品列表 专有网络VPC 容器服务Kubernetes版 日志服务SLS 云数据库RDS版 NAT网关 容器镜像服务ACR 云盘
VSW：虚拟交换机（VirtualSwitch），阿里云专有网络的基础网络设备，通过创建交换机 为专有网络划分一个或者多个子网。文档版本：20200703（发布日期）III 金融行业从经典网络向VPC容器化改造最佳实践【公开|阿里巴巴集团保密信息|普通商秘|核心商秘】目录.文档版本信息 I 法律声明.II 前言.III.目录 IV 最佳实践概述.1....
数据库异地灾备
场景描述 适用于不满足于单地域，对数据可靠性 （RPO）和服务可用性（RTO）要求更高 的，希望防范断电、断网等机房故障，抵 御地震、台风等自然灾害，具备异地容灾 备份恢复能力的客户业务场景。 解决问题 1.实时备份，RPO达到秒级 2.表级恢复，故障恢复时间大大缩短 3.长期归档，自动管理备份生命周期 4.异地灾备，构建数据库灾备中心 产品列表 专有网络VPC 云服务器ECS 弹性公网IP（EIP） 负载均衡SLB 云数据库RDSMySQL 数据库备份服务DBS 对象存储服务OSS 数据湖分析服务DLA 数据管理服务DMS 数据传输服务DTS
本最佳实践的主要章节安排如下：第一章 使用云速搭部署基础资源 第二章 配置生产中心环境 第三章 配置异地热备环境 第四章 配置异地冷备环境 第五章 容灾演练 方案架构 异地热备 异地冷备 文档版本：20220207 1 数据库异地灾备 最佳实践概述 方案优势 多数据中心：阿里云在全球分布有多个数据中心，用户可在就近、合适区域...
- 产品推荐
- 这些文档可能帮助您