Kafka性能压测快速方案
产品性能基线测试场景需要对产品进行性能测试得到详细的压测数据，本方案可以快速构建测试的客户端（kafka官方的压测客户端）和不同的Kafka服务端（ SSD云盘版、高效云盘、Serverless版三种实例），方便客户进行POC完成性能验证。
echo"压测kafka-ssd-生产-开始*"/root/kafka-perf/apache/kafka_2.11-2.0.0/bin/kafka-producer-perf-test.sh-topic test_kafka_perf1-num-records 10000000-record-size 687-producer-props bootstrap.servers=\$KAFKA_ENDPOINT_SSD batch.size=10000-throughput-1 echo"压测kafka-ssd-生产完成*"echo"*"echo"*"echo"*...
异地双活场景下的数据双向同步
概述 随着客户业务规模的扩大，对系统高可用性要求越来越高，越来越多用户采用异地双活/多活架构，多活架构往往涉及业务侧做单元化改造，本方案仅模拟用户已做单元化改造后的数据双向同步，数据库采用双主架构，本地写本地读，同时又保证双库的数据一致性，为业务增加可用性和灵活性。 适用场景 数据库双向同步 数据库全局ID不冲突 双活架构的数据库建设问题 技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤： 方案优势 DTS双向同步，采用独立模块避免数据同步占用系统资源。 奇偶ID涉及，避免数据冲突。 DTS多种处理冲突的方式供业务选择。 安全：原生的多租户系统，以项目进行隔离，所有计算任务在安全沙箱中运行。
在数据库层面双活场景 需要保证各个单元的数据 ID都是唯一不冲突的，这里我们通过奇偶 ID进行模拟，设 置北京地域的数据库为奇数 ID，深圳地域数据库为偶数 ID。步骤1 进入北京地域的 RDS，调整 auto_increment_increment 为 2，提交（参数生效需要 1 分钟左右）。调整后北京地域的 id以奇数自增。文档版本：20220209 60 ...
跨云迁移单写双读过渡架构
概述 在搬站场景下，涉及迁移跨度较长，在过渡阶段客户需要跨云访问，如何保障数据链路的高可用尤为关键，采用专线和公网双备的方案保障数据传输的高可用，也降低双专线的迁移成本。 适用场景 数据迁移链路的高可用 跨云迁移过渡期架构 读写分类架构设计 技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤： 方案优势 在迁移时间持续较长的情况下，使用单写双读架构降低业务改造成本。 使用数据库网关做专线和公网互备。 流量逐渐灰度验证，保障迁移平滑过渡。 安全：原生的多租户系统，以项目进行隔离，所有计算任务在安全沙箱中运行。
文档版本：20201209 35 跨云迁移单写双读过渡架构 流量灰度测试 步骤9 设置域名解析，把 mysql.xianwang2019.com解析到 GTM的 CNAME地址。步骤10 可以看到访问 mysql.xianwang2019.com/register可以正常访问。并且可以通过 dig命 令查看解析情况，流量可以分发到不同的集群。文档版本：20201209 36 跨云迁移单写双读过渡...
金融行业从经典网络向VPC容器化改造
本实践介绍经典网络向VPC容器化改造实践 以及配置步骤，可适用于金融等行业 方案优势 容器化完成经典网络完成向VPC网络改 造 应用发布灵活 运维效率提升 解决问题 1.经典网络管理困难 2.应用发布不灵活 3.运维效率低 产品列表 专有网络VPC 容器服务Kubernetes版 日志服务SLS 云数据库RDS版 NAT网关 容器镜像服务ACR 云盘
作者 审核人 说明 V1.0 2019/05/16 连辙 创建 V1.1 2020/7/3 明誉 更新文档制作人信息 文档版本：20200703（发布日期）I 金融行业从经典网络向VPC容器化改造最佳实践【公开|阿里巴巴集团保密信息|普通商秘|核心商秘】前言 概述 本文介绍金融行业从经典网络容器化最佳实践的设置步骤和方法。名词解释 VPC：专有网络...
基于湖仓一体架构使用MaxCompute对OSS湖数据分析预测
本篇最佳实践先创建EMR集群作为数据湖对象，Hive元数据存储在DLF，外表数据存储在OSS。然后使用阿里云数据仓库MaxCompute以创建外部项目的方式与存储在DLF的元数据库映射打通，实现元数据统一。最后通过一个毒蘑菇的训练和预测demo，演示云数仓MaxCompute如何对于存储在EMR数据湖的数据进行加工处理以达到业务预期。
云资源初始化已经通过模版设 置。下载Democode地址：使用gitclonehttps:/best-practice:Abcd123456@codeup.aliyun.com/best-practice/bp/199.git 基础资源环境规划：类型 配置项 说明 备注 地域 深圳 华东2（上海）地域 名称 bigdata-vpc 基于模版新建 专有网络 支持导入已保 IPv4网段 192.168.0.0/16 有资源 名称 Vswitch_...
EMR HBase on OSS存算分离集群快速恢复
OSS-HDFS服务（JindoFS服务）是一款云原生数据湖存储产品。基于统一的元数据管理能力，在完全兼容HDFS文件系统接口的同时，提供充分的POSIX能力支持，能更好地满足大数据和AI等领域的数据湖计算场景。
服务特性 OSS-HDFS服务支持的特性如下：HDFS兼容访问 OSS-HDFS 服务完全兼容 HDFS 接口，同时支持目录层级的操作，您只需集成 JindoSDK，即可为 Apache Hadoop的计算分析应用（例如 MapReduce、Hive、Spark、Flink等）提供了访问 HDFS服务的能力，像使用 Hadoop分布式文件系 统（HDFS）一样管理和访问数据。POSIX能力支持 ...
自建Hadoop迁移MaxCompute
场景描述 客户基于ECS、IDC自建或在友商云平台自建了大数 据集群，为了降低企业大数据计算平台的成本，提高 大数据应用开发效率，更有效保障数据安全，把大数 据集群的数据、作业、调度任务以及业务数据库整体 迁移到MaxCompute和其他云产品。 解决的问题 自建Hadoop集群搬迁到MaxCompute 自建Hbase集群搬迁到云Hbase 自建Kafka或应用数据准实时同步到 MaxCompute 自建Azkaban任务迁移到Dataworks任务 产品列表 MaxCompute，Dataworks、云数据库Hbase版、Datahub、VPC，ECS。
验证无密钥登录并设置 hadoop各节点的主机名 ssh master2 exit ssh slave1 exit ssh slave2 exit ssh slave3 exit 1.5.loggen操作 步骤1 通过 SSH登录 ECS，启动日志发生器 cd/opt/bigdata/loggen./start_log_generator.sh 步骤2 验证日志生成情况：./view_access_log_records.sh Ctrl+C退出 步骤3 添加定时任务：定时重启...
自建Hive数据仓库跨版本迁移到阿里云Databricks数据洞察
场景描述 客户在IDC或者公有云环境自建Hadoop集群构建数据仓库和分析系统，购买阿里云Databricks数据洞察集群之后，涉及到数仓数据和元数据的迁移以及Hive版本的订正更新。 方案优势 1. 全托管Spark集群免运维，节省人力成本。 2. Databricks数据洞察与阿里云其他产品（OSS、RDS、MaxCompute、EMR）进行深度整合，支持以这些产品为数据源的输入和输出。 3. 使用Databricks Runtime商业版引擎相比开源Spark性能有3-5倍的提升。 解决问题 1. Hive数仓数据迁移OSS方案。 2. Hive元数据库迁移阿里云RDS方案。 3. Hive跨版本迁移到Databricks数据洞察使用Delta表查询以提高查询效率。
拥有已经通过备案的域名 开通 ECS、OSS、Databricks数据洞察、RDS和 VPN网关等服务。文档版本：20210425 1 自建 Hive数据仓库跨版本迁移到阿里云 Databricks数据洞察 资源规划说明 资源规划说明 本方案仅作为实践演练使用，在生产环境中执行时请结合业务系统实际架构进行 调整。本方案购买的所有云产品规格均为演示需要，请...
自建Hive数仓迁移到阿里云EMR
场景描述 客户在IDC或者公有云环境自建Hadoop集群构 建数据仓库和分析系统，购买阿里云EMR集群之 后，涉及到将数据仓库和Hive元数据的数据库迁 移上云。目前主流Hive数据仓库迁移场景为1.x 版本迁移到阿里云EMR(Hive2.x版本），涉及到 数据订正更新步骤。 解决的问题 Hive数据仓库的数据迁移方案 Hive元数据库的迁移方案 Hive跨版本迁移后的数据订正 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
主机名 不设置 Kafka-ECS 类别 配置项 说明 ECS名称 Kafka-MQ 实例规格 ecs.g6.large(2c 8g)镜像 镜像市场 镜像版本 m-uf656j9xq16qndx9sy0c 数量 1 其他配置同 Hadoop-ECS FlexGW-ECS(IDC网关)类别 配置项 说明 ECS名称 FlexGW-VPN 实例规格 ecs.g6.large(2c 8g)镜像 镜像市场 镜像版本 m-uf67h1a8x3ykhrtrtjrh 数量 1 ...
网络安全升级支持IPv6
场景描述 关键信息基础设施支持IPv6已经上升到国家战 略，公共云基础设施为云上客户系统支持IPv6 提供了完整的解决方案及产品。本最佳实践是在 现有WAF和高防IP作为网络安全架构基础上， 如何升级支持IPv6，同时满足云上和线下IDC 需求，满足合规要求。 解决问题 1.网络支持IPv6 2.支持V4和V6双栈 3.满足监管合规要求 产品列表 Web应用防火墙WAF DDoS高防IP DDoS防护包
文档版本：20210830 3 网络安全升级支持 IPv6 搭建 IPv4基础业务系统 步骤4 执行以下命令，进行安装部署 apache2 httpd服务，作为 webserver应用。yum install-y httpd cat/var/www/html/index.html Hostname:`hostname` EOF service httpd start 1.3. 配置 SLB 步骤1 登录 SLB控制台。...
自建Hadoop迁移到阿里云EMR
场景描述 场景1：自建Hadoop集群数据（HDFS）迁移到 阿里云EMR集群的HDFS文件系统； 场景2：自建Hadoop集群数据（HDFS）迁移到 计算存储分离架构的阿里云EMR集群，以OSS 和JindoFS作为EMR集群的后端存储。 解决的问题 客户自建Hadoop迁移到阿里云EMR集群的 技术方案； 基于IPSecVPN隧道构建安全和低成本数据 传输链路 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
主机名 不设置 网络和交换机（架构图右：EMR）类别 配置项 说明 文档版本：20210714 6 自建Hadoop数据迁移到阿里云 EMR 自建 Hadoop集群环境搭建 专有网络 名称 vpc-hangzhou IPv4网段 推荐网段 10.0.0.0/8 交换机 名称 vswitch-az-h 可用区 杭州 可用区 H（可根据资源库存选其他可用区）IPv4网段 10.17.105.0/24 安全组 ...
EMR集群安全认证和授权管理
场景描述 阿里云EMR服务Kafka和Hadoop安全集群使 用Kerberos进行用户安全认证，通过Apache Ranger服务进行访问授权管理。本最佳实践中以 Apache Web服务器日志为例，演示基于Kafka 和Hadoop的生态组件构建日志大数据仓库，并 介绍在整个数据流程中，如何通过Kerberos和 Ranger进行认证和授权的相关配置。 解决问题 1.创建基于Kerberos的EMR Kafka和 Hadoop集群。 2.EMR服务的Kafka和Hadoop集群中 Kerberos相关配置和使用方法。 3.Ranger中添加Kafka、HDFS、Hive和 Hbase服务和访问策略。 4.Flume中和Kafka、HDFS相关的安全配 置。 产品列表：E-MapReduce、专有网络VPC、云服务器ECS、云数据库RDS版
该关系的值是该特定主机或 域的 Kerberos 领 域 名 称。主 机 名 和 域 名 应 小 写。详见：https://web.mit.edu/kerberos/krb5-1.4/krb5-1.4.1/doc/krb5- admin/domain_realm.html [capaths]为了执行直接（非分层）跨领域身份验证，需要一个数据库来构造领域 之间的 身份 验 证路径，本节用于定 义该 数 据库。详见：...
大数据workshop
大数据workshop
本实例架构图:文档版本：20210628（发布日期）9 阿里云最佳实践大数据 WorkShop 最佳实践项目实践（注：CADT暂不支持创建实时计算 Flink集群，下一章节将通过页面创建）需要注意：使用 CADT进行资源创建时，所有的实例名需要设置为自定义名称 步骤1 登录 CADT控制台。...
来自：
最佳实践
相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
互联网业务全球化互通组网
场景描述 本方案适用从事全球化业务的客户，希望借助全球 互通的网络，实现多地域的互通。 同时在全球互联的网络下，搭建应用多地部署。如果 业务中涉及到高速通道，提供高速通道迁移云企业网 的操作演练；涉及到跨账号多VPC下的数据迁移和 同步，本方案提供详细的操作步骤，帮助客户快速完 成演练。 解决问题 借助云企业网解决网络互通 高速通道到云企业网的平滑迁移 RDS的数据互通，特别是跨账号多VPC的数据同步 应用的快速部署 产品列表 云企业网（CEN）、云服务器（ECS）、数据库（RDS）、 数据库（Redis）、数据传输（DTS）、负载均衡（SLB） 块存储、专有网络（VPC）
文档版本：20191217 34 互联网业务全球化互通组网最佳实践 模拟应用国内部署 步骤4 浏览器登录(访问 http://弹性公网 IP 即可跳转)配置页面，对 wordpress 进行初始化设 置。文档版本：20191217 35 互联网业务全球化互通组网最佳实践 模拟应用国内部署 1.6.3.开通 redis支持插件，并配置云 Redis 步骤1 下载 redis-cache ...
SLS多云日志采集、处理及分析
场景描述 从第三方云平台或线下IDC服务器上采集 日志写入到阿里云日志服务，通过日志服务 进行数据分析，帮助提升运维、运营效率， 建立DT 时代海量日志处理能力。 针对未使用其他日志采集服务的用户，推荐 在他云或线下服务器安装logtail采集并使用 Https安全传输；针对已使用其他日志采集 工具并且已有日志服务需要继续服务的情 况，可以通过Log producer SDK写入日志 服务。 解决问题 1.第三方云平台或线下IDC客户需要使用 阿里云日志服务生态的用户。 2.第三方云平台或线下IDC服务器已有完 整日志采集、处理及分析的用户。 产品列表 E-MapReduce 专有网络VPC 云服务器ECS 日志服务LOG DCDN
过程不再赘述 文档版本：20211203 67 SLS多云日志采集、处理及分析 日志服务器集群公网日志数据传递到日志服务 步骤4 创建日志服务 Project以及日志 Logstore 按照 3.1节的方式在华东 2（上海）区域创建名为 sls-test-121的日志服务 Project以 及名为 test20191009的日志 Logstore,并为 Logstore开启索引，过程不再赘述 ...
CDH迁移升级CDP最佳实践
当前 CDH 免费版停止下载，终止服务，针对需要企业版服务能力并且CDH 升级过程对业务影响较小的客户，通过安装新的 CDP 集群，将现有数据拷贝至新集群，然后将新集群切换为生产集群，升级过程没有数据丢失风险，停机时间较短，适合大部分互联网客户升级使用。
使用自定义策略并将策略字符串设 置为目标队列。3.3.4.调度程序迁移的限制 将 Fair Scheduler 配置转换为 Capacity Scheduler 配置有一些硬性限制，因为这两个 调度程序并不等效。了解这些主要限制可以帮助您了解调度程序迁移后可能遇到的困 难。容量调度器的特性和配置与公平调度器的特性和配置不同，导致调度器迁移的限制...
容器跨可用区高可用
场景描述 本实践适合使用容器服务ACK结合阿里云上的 其他产品构建跨可用区高可用应用的场景。在一 开始创建容器服务ACK的时候就把容器集群建 成多个可用区的架构，某可用区挂掉后，不影响 应用和集群的高可用。容器服务ACK通常配合 高可用SLB，RDS，Redis等产品，实现跨可用 区高可用。 解决问题 1.利用容器服务ACK搭建跨可用区高可用 的应用 2.容器服务ACK结合SLB，RDS，REDIS构 建高可用应用 产品列表 容器服务ACK RDSforMysql版 云数据库Redis版 文件存储NAS
步骤2 Wordpress默认的媒体库存放在/var/www/html/wp-content/uploads目录，这里设 文档版本：20220622 46 容器跨可用区高可用最佳实践 部署 wordpress应用 置此目录挂载 nas。步骤3 点击下一步，进入填写高级配置，找到服务，点击新建。步骤4 开启指标伸缩配置 文档版本：20220622 47 容器跨可用区高可用最佳实践 部署 ...
金融专属大数据workshop
实践目标 学习搭建一个实时数据仓库，掌握数据采集、存储、计算、输出、展示等整个业务流程。 整个实时数据仓库系统全部基于阿里云产品进行架构搭建，用户可以掌握并学会运用各个服务组件及各个组件之间如何联动。 理解阿里云原生实时离线一体数仓解决方案架构以及掌握交付落地的实践使用方法。 前置知识要求 熟练掌握SQL语法 对大数据体系系统知识有一定的了解
本实例架构图:文档版本：20210803（发布日期）11阿里云最佳实践金融大数据WorkShop 最佳实践项目实践（注：CADT暂不支持创建实时计算Flink集群，下一章节将通过页面创建）需要注意：使用CADT进行资源创建时，所有的实例名需要设置为自定义名称 步骤1 登录CADT控制台。...
来自：
最佳实践
相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
Spring Cloud Netflix应用迁移EDAS
场景描述 Spring Cloud Netflix微服务应用迁移到EDAS 服务（SpringCloud Alibaba云版本）的方法， 迁移后充分利用阿里云监控、调用链、限流降级 等能力，优化应用生命周期管理。 解决问题 1.帮助自建SpringCloudNetflix微服务应用 通过简单修改迁移到阿里云企业级分布式 应用服务（EDAS）平台。 2.迁移到EDAS后，简化应用的运维，提升监 控、调用链探测、限流降级等管理能力，提 高对应用的全生命周期管理。 产品列表 企业级分布式应用服务（EDAS） 负载均衡（SLB） 专有网络（VPC） 云服务器（ECS）
其中所有 MongoDB的 IP都设置为安装的 MongoDB的 ECS IP地址，而 rabbitmq 的 IP设置为安装的 ECS IP地址。2.修改配置文件中所有 password变量的值为常量”password”。请替换配置文件中，如下变量的值为 password。{CONFIG_SERVICE_PASSWORD}${NOTIFICATION_SERVICE_PASSWORD}${STATISTICS_SERVICE_PASSWORD}${ACCOUNT_...
- 产品推荐
- 这些文档可能帮助您