Kafka性能压测快速方案
产品性能基线测试场景需要对产品进行性能测试得到详细的压测数据，本方案可以快速构建测试的客户端（kafka官方的压测客户端）和不同的Kafka服务端（ SSD云盘版、高效云盘、Serverless版三种实例），方便客户进行POC完成性能验证。
echo"压测kafka-ssd-生产-开始*"/root/kafka-perf/apache/kafka_2.11-2.0.0/bin/kafka-producer-perf-test.sh-topic test_kafka_perf1-num-records 10000000-record-size 687-producer-props bootstrap.servers=\$KAFKA_ENDPOINT_SSD batch.size=10000-throughput-1 echo"压测kafka-ssd-生产完成*"echo"*"echo"*"echo"*...
自建Hadoop迁移MaxCompute
场景描述 客户基于ECS、IDC自建或在友商云平台自建了大数 据集群，为了降低企业大数据计算平台的成本，提高 大数据应用开发效率，更有效保障数据安全，把大数 据集群的数据、作业、调度任务以及业务数据库整体 迁移到MaxCompute和其他云产品。 解决的问题 自建Hadoop集群搬迁到MaxCompute 自建Hbase集群搬迁到云Hbase 自建Kafka或应用数据准实时同步到 MaxCompute 自建Azkaban任务迁移到Dataworks任务 产品列表 MaxCompute，Dataworks、云数据库Hbase版、Datahub、VPC，ECS。
拥有已经通过备案的域名。保证账号余额大于 100元人民币。开通 ECS、MaxCompute、dataworks、Hbase等服务。文档版本：20210723 3 自建Hadoop迁移MaxCompute 资源规划说明 资源规划说明 本方案实践的资源规划仅作为实践演示，实际业务场景资源以用户实际需求为准。本实践方案中，涉及到阿里云资源开通和购买，本文后续实例中...
自建Hive数仓迁移到阿里云EMR
场景描述 客户在IDC或者公有云环境自建Hadoop集群构 建数据仓库和分析系统，购买阿里云EMR集群之 后，涉及到将数据仓库和Hive元数据的数据库迁 移上云。目前主流Hive数据仓库迁移场景为1.x 版本迁移到阿里云EMR(Hive2.x版本），涉及到 数据订正更新步骤。 解决的问题 Hive数据仓库的数据迁移方案 Hive元数据库的迁移方案 Hive跨版本迁移后的数据订正 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
cd~wget https://mirrors.tuna.tsinghua.edu.cn/apache/hive/hive-1.2.2\ /apache-hive-1.2.2-bin.tar.gz tar -zxfapache-hive-1.2.2-bin.tar.gz -C /usr/local/文档版本：20210721 13 自建Hive数据仓库跨版本迁移到阿里云 EMR 基础环境搭建 步骤2 配置环境变量。vim/etc/profile 1.在文件末尾添加如下内容，保存并退出。Added ...
网络安全升级支持IPv6
场景描述 关键信息基础设施支持IPv6已经上升到国家战 略，公共云基础设施为云上客户系统支持IPv6 提供了完整的解决方案及产品。本最佳实践是在 现有WAF和高防IP作为网络安全架构基础上， 如何升级支持IPv6，同时满足云上和线下IDC 需求，满足合规要求。 解决问题 1.网络支持IPv6 2.支持V4和V6双栈 3.满足监管合规要求 产品列表 Web应用防火墙WAF DDoS高防IP DDoS防护包
文档版本：20210830 3 网络安全升级支持 IPv6 搭建 IPv4基础业务系统 步骤4 执行以下命令，进行安装部署 apache2 httpd服务，作为 webserver应用。yum install-y httpd cat/var/www/html/index.html Hostname:`hostname` EOF service httpd start 1.3. 配置 SLB 步骤1 登录 SLB控制台。...
数据湖-在线学习场景数据分析
场景描述 本场景以在线教育中一个答题闯关类的应用为 例，使用WebServer来模拟演示这类日志数据 的分析处理。通过Nginx和Pythonflask搭建 WebServer，模拟应用中的关键页面，比如登 录、课程内容等，之后构造若干用户使用的模拟 日志数据，投递到数据湖进行分析后获取应用 PV、UV、课程内容访问排行、平均得分等等。 解决问题 基于数据湖（EMR+OSS）搭建大数据平台。 EMR和OSS使用和配置。 数据统一存储到OSS。 产品列表 E-MapReduce 对象存储OSS 云服务器ECS 访问控制RAM 专有网络VPC
步骤10空间容量配置，JindoFS通过2个参数来控制对磁盘的使用水位： storage.data-dirs.watermark.low.ratio：表示使用量下水位比例，每块数据盘的 JindoFS占用的空间到达上水位即会开始清理淘汰，默认为0.3。 storage.data-dirs.watermark.high.ratio：表示使用量上水位比例，触发清理后会将 JindoFS 的占用空间清理到...
自建Hive数据仓库跨版本迁移到阿里云Databricks数据洞察
场景描述 客户在IDC或者公有云环境自建Hadoop集群构建数据仓库和分析系统，购买阿里云Databricks数据洞察集群之后，涉及到数仓数据和元数据的迁移以及Hive版本的订正更新。 方案优势 1. 全托管Spark集群免运维，节省人力成本。 2. Databricks数据洞察与阿里云其他产品（OSS、RDS、MaxCompute、EMR）进行深度整合，支持以这些产品为数据源的输入和输出。 3. 使用Databricks Runtime商业版引擎相比开源Spark性能有3-5倍的提升。 解决问题 1. Hive数仓数据迁移OSS方案。 2. Hive元数据库迁移阿里云RDS方案。 3. Hive跨版本迁移到Databricks数据洞察使用Delta表查询以提高查询效率。
cd~文档版本：20210425 13 自建 Hive数据仓库跨版本迁移到阿里云 Databricks数据洞察 基础环境搭建 wget https://mirrors.tuna.tsinghua.edu.cn/apache/hive/hive-1.2.2\ /apache-hive-1.2.2-bin.tar.gz tar -zxvfapache-hive-1.2.2-bin.tar.gz -C /usr/local/步骤2 配置环境变量。vim/etc/profile 1.在文件末尾添加如下内容，...
EMR集群安全认证和授权管理
场景描述 阿里云EMR服务Kafka和Hadoop安全集群使 用Kerberos进行用户安全认证，通过Apache Ranger服务进行访问授权管理。本最佳实践中以 Apache Web服务器日志为例，演示基于Kafka 和Hadoop的生态组件构建日志大数据仓库，并 介绍在整个数据流程中，如何通过Kerberos和 Ranger进行认证和授权的相关配置。 解决问题 1.创建基于Kerberos的EMR Kafka和 Hadoop集群。 2.EMR服务的Kafka和Hadoop集群中 Kerberos相关配置和使用方法。 3.Ranger中添加Kafka、HDFS、Hive和 Hbase服务和访问策略。 4.Flume中和Kafka、HDFS相关的安全配 置。 产品列表：E-MapReduce、专有网络VPC、云服务器ECS、云数据库RDS版
本最佳实践中以 Apache 2.EMR服务的 Kafka和 Hadoop集群中 Web服务器日志为例，演示基于 Kafka和 Hadoop Kerberos相关配置和使用方法。的生态组件构建日志大数据仓库，并介绍在整个数 3.Ranger中添加 Kafka、HDFS、Hive和 据流程中，如何通过 Kerberos和 Ranger进行认证 Hbase服务和访问策略。和授权的相关配置。4.Flume...
EMR HBase on OSS存算分离集群快速恢复
OSS-HDFS服务（JindoFS服务）是一款云原生数据湖存储产品。基于统一的元数据管理能力，在完全兼容HDFS文件系统接口的同时，提供充分的POSIX能力支持，能更好地满足大数据和AI等领域的数据湖计算场景。
详细配置说明请见表下内容 可用区 华北 2 可用区 K 高可用 否 Master实例 数量：1个 机型：ecs.c6.2xlarge(8c 16g)系统盘：1个 120G ESSD系统盘 数据盘：1个 80G ESSD 数据盘 文档版本：20220915 9 EMR HBase on OSS存算分离集群快速恢复 创建 EMR集群 Core实例 数量：2个 机型：ecs.c6.2xlarge(8c 16g)系统盘：2个 120G ...
自建Hadoop迁移到阿里云EMR
场景描述 场景1：自建Hadoop集群数据（HDFS）迁移到 阿里云EMR集群的HDFS文件系统； 场景2：自建Hadoop集群数据（HDFS）迁移到 计算存储分离架构的阿里云EMR集群，以OSS 和JindoFS作为EMR集群的后端存储。 解决的问题 客户自建Hadoop迁移到阿里云EMR集群的 技术方案； 基于IPSecVPN隧道构建安全和低成本数据 传输链路 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
收集 3个节点的私网 IP地址和对应的主机名，如下所示（请根据您环境的实际 IP地 址进行修改）：192.168.100.37 master 192.168.100.38 slave1 192.168.100.39 slave2 192.168.100.41 slave3 文档版本：20210714 16 自建Hadoop数据迁移到阿里云 EMR 自建 Hadoop集群环境搭建 通过 SSH远程登录 hadoop-master节点所在的 ECS...
跨云迁移单写双读过渡架构
概述 在搬站场景下，涉及迁移跨度较长，在过渡阶段客户需要跨云访问，如何保障数据链路的高可用尤为关键，采用专线和公网双备的方案保障数据传输的高可用，也降低双专线的迁移成本。 适用场景 数据迁移链路的高可用 跨云迁移过渡期架构 读写分类架构设计 技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤： 方案优势 在迁移时间持续较长的情况下，使用单写双读架构降低业务改造成本。 使用数据库网关做专线和公网互备。 流量逐渐灰度验证，保障迁移平滑过渡。 安全：原生的多租户系统，以项目进行隔离，所有计算任务在安全沙箱中运行。
灰度压测 步骤1 进入 PTS控制台（https://pts.console.aliyun.com）,创建压测场景，配置场景参数和 压测 URL(这里配置 2个链路，一个使用 register，另一个使用 search的 URL)。文档版本：20201209 37 跨云迁移单写双读过渡架构 流量灰度测试 注：如果没有压测资源先进行购买。步骤2 进行施压配置，保存去压测。文档版本：...
异地双活场景下的数据双向同步
概述 随着客户业务规模的扩大，对系统高可用性要求越来越高，越来越多用户采用异地双活/多活架构，多活架构往往涉及业务侧做单元化改造，本方案仅模拟用户已做单元化改造后的数据双向同步，数据库采用双主架构，本地写本地读，同时又保证双库的数据一致性，为业务增加可用性和灵活性。 适用场景 数据库双向同步 数据库全局ID不冲突 双活架构的数据库建设问题 技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤： 方案优势 DTS双向同步，采用独立模块避免数据同步占用系统资源。 奇偶ID涉及，避免数据冲突。 DTS多种处理冲突的方式供业务选择。 安全：原生的多租户系统，以项目进行隔离，所有计算任务在安全沙箱中运行。
文档版本：20220209 17 异地双活场景下的数据双向同步 服务部署 2.2.在 ACK中部署应用（深圳）步骤1 双击图标，点击 ack_shenzhen前往控制台。步骤2 创建保密字典。文档版本：20220209 18 异地双活场景下的数据双向同步 服务部署 注意：镜像仓库地址要使用内网地址。步骤3 创建应用。文档版本：20220209 19 异地双活场景下...
CDH迁移升级CDP最佳实践
当前 CDH 免费版停止下载，终止服务，针对需要企业版服务能力并且CDH 升级过程对业务影响较小的客户，通过安装新的 CDP 集群，将现有数据拷贝至新集群，然后将新集群切换为生产集群，升级过程没有数据丢失风险，停机时间较短，适合大部分互联网客户升级使用。
权重通过以下方式转换为基于百分比的容量：在队列级别的根上，有 2 个队列：default 和 users。因为它被指定为 10+30 个权重（总共 40 个），所以 1 个“权重单位”是 2.5%。这就是 root.default 有 25%和 root.users 有 75%容量的原因。此计算可应 用于所有队列级别。已解决：Cloudera Runtime 7.1.6 支持权重模式和动态...
新零售商超基于Serverless服务化改造
某零售商超行业龙头企业，主要业务涵盖购物中心、大卖场、综合超市、标准超市、精品超市、便利店、无人值守智慧商店等零售业态，涉及全渠道零售、仓储物流、餐饮、消费服务、数据服务、金融业务、跨境贸易等领域。为了持续支持业务高速且稳定地发展，其在快速上云后，将核心业务改造为全Serverless架构的中台模式，采用函数计算 + API网关 + 表格存储OTS 作为计算网络存储核心，弹性支撑日常和大促峰谷所需资源，轻松支撑618/双11/双12大促。 核心价值 l 全 Serverless 架构：FC + API 网关 + OTS Serverless 解决方案。 l 弹性高可用：毫秒级弹性扩容、充足的资源池水位、跨可用区高可用。 l 敏捷开发免运维：函数式极简编程可专注于业务创新，无采购和部署成本、提供监控报警等完备的可观测能力。
安装 1.8或以上版本 JDK,请参考：https://www.oracle.com/java/technologies/javase-downloads.html 安装 2.5或以上版本 Maven，请参考：https://maven.apache.org/download.cgi安装 2.3或以上版本 Docker，请参考：https://www.docker.com/get-started 文档版本：20210519 2 新零售商超基于 Serverless服务化改造 前置条件...
SLS多云日志采集、处理及分析
场景描述 从第三方云平台或线下IDC服务器上采集 日志写入到阿里云日志服务，通过日志服务 进行数据分析，帮助提升运维、运营效率， 建立DT 时代海量日志处理能力。 针对未使用其他日志采集服务的用户，推荐 在他云或线下服务器安装logtail采集并使用 Https安全传输；针对已使用其他日志采集 工具并且已有日志服务需要继续服务的情 况，可以通过Log producer SDK写入日志 服务。 解决问题 1.第三方云平台或线下IDC客户需要使用 阿里云日志服务生态的用户。 2.第三方云平台或线下IDC服务器已有完 整日志采集、处理及分析的用户。 产品列表 E-MapReduce 专有网络VPC 云服务器ECS 日志服务LOG DCDN
过程不再赘述 文档版本：20211203 67 SLS多云日志采集、处理及分析 日志服务器集群公网日志数据传递到日志服务 步骤4 创建日志服务 Project以及日志 Logstore 按照 3.1节的方式在华东 2（上海）区域创建名为 sls-test-121的日志服务 Project以 及名为 test20191009的日志 Logstore,并为 Logstore开启索引，过程不再赘述 ...
容器跨可用区高可用
场景描述 本实践适合使用容器服务ACK结合阿里云上的 其他产品构建跨可用区高可用应用的场景。在一 开始创建容器服务ACK的时候就把容器集群建 成多个可用区的架构，某可用区挂掉后，不影响 应用和集群的高可用。容器服务ACK通常配合 高可用SLB，RDS，Redis等产品，实现跨可用 区高可用。 解决问题 1.利用容器服务ACK搭建跨可用区高可用 的应用 2.容器服务ACK结合SLB，RDS，REDIS构 建高可用应用 产品列表 容器服务ACK RDSforMysql版 云数据库Redis版 文件存储NAS
ￚ RDS for Mysql ￚ 阿里云 Redis服务 ￚ 阿里云 NAS服务 ￚ 准备一个域名，并且已经备案，本示例中采用 jinghai.online这个域名。本实践用到的操作命令和代码：以 CentOS主机为例：#yum-y install git#git clone git@code.aliyun....
基于湖仓一体架构使用MaxCompute对OSS湖数据分析预测
本篇最佳实践先创建EMR集群作为数据湖对象，Hive元数据存储在DLF，外表数据存储在OSS。然后使用阿里云数据仓库MaxCompute以创建外部项目的方式与存储在DLF的元数据库映射打通，实现元数据统一。最后通过一个毒蘑菇的训练和预测demo，演示云数仓MaxCompute如何对于存储在EMR数据湖的数据进行加工处理以达到业务预期。
参数说明 1.endpoint：必须是DLF的跨域域名或者internal域名，具体的可提工单咨询（后 续会提供公网link参考）2.ramRoleArn：如果MaxCompute和DLF是同一账号下且已完成一键授权，则此 参数省略。本例就是省略此参数。若是跨账号授权或者自定义授权请参考附录A 3.ossEndpoint：指定与DLF同地域的OSS内网endpoint。请参考 ...
大数据workshop
大数据workshop
步骤4 按照步骤 2~3，为 dwd_paid_order_detail创建 2个订阅、order_detail创建 1个订 阅、log_info创建 1个订阅，分别如下：dwd_paid_order_detail：分别记录为：{ dwd_paid_order_detail_subID_1 }、{ dwd_paid_order_detail_subID_2} order_detail:记录为：{order_detail_subID} log_info：文档版本：20210628（发布日期...
来自：
最佳实践
相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
金融专属大数据workshop
实践目标 学习搭建一个实时数据仓库，掌握数据采集、存储、计算、输出、展示等整个业务流程。 整个实时数据仓库系统全部基于阿里云产品进行架构搭建，用户可以掌握并学会运用各个服务组件及各个组件之间如何联动。 理解阿里云原生实时离线一体数仓解决方案架构以及掌握交付落地的实践使用方法。 前置知识要求 熟练掌握SQL语法 对大数据体系系统知识有一定的了解
步骤4 按照步骤2~3，为order_detail创建1个订阅、dwd_paid_order_detail创建2个订阅、workshop_topic创建1个订阅，分别如下： dwd_paid_order_detail：分别记录为：{dwd_paid_order_detail_subID_1}、{dwd_paid_order_detail_subID_2} order_detail:记录为：{order_detail_subID} workshop_topic：文档版本：...
来自：
最佳实践
相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
基于ECI+FaaS构建游戏战斗结算服
在游戏行业的很多SLG游戏作品中，为了防止客户端作弊，在每局战斗之后，在客户端预判玩家胜利的情况下，需要服务端来进行战斗数据的结算，从而确定玩家是不是真正的胜利。战斗结算是强CPU密集型，结算系统每日需要大量的计算力，尤其是开服或者活动期间忽然涌入的大量玩家，导致需要的计算量瞬间几倍增长，同时需要结算系统保持稳定的延时来保证玩家的用户体验。 1. ECI支持500台实例30S弹出，快速解决业务模块扩容压力。FaaS毫秒级伸缩扩容，化解算力瓶颈，平滑解决暴增调用请求。 2. 降低成本：ECI每天弹性运行8小时，与6代同规格包月相比节省成本40%+，FaaS按需付费，即开即用，节省预留资源消耗。 3. 免运维：FaaS和ECI都是全托管免运维的服务，客户专注业务开发即可。 4. 模块公共化：减轻游戏逻辑服的压力，结算需求复用到类似需求的游戏。
2.因为使用多个 vk 虚拟节点往往用于部署大量 ECI Pod，我们建议谨慎确认 vpc/vswitch/安全组的配置，确保有足够的 vswitch ip 资源（vk 支持配置多个 vswitch解决 ip容量问题），使用企业级安全组可以突破普通安全组的 2000个实 例限制。多个 vk部署详细参考：https://yq.aliyun.com/articles/744139 文档版本：20201127 ...
- 产品推荐
- 这些文档可能帮助您