自建Hive数仓迁移到阿里云EMR
场景描述 客户在IDC或者公有云环境自建Hadoop集群构 建数据仓库和分析系统，购买阿里云EMR集群之 后，涉及到将数据仓库和Hive元数据的数据库迁 移上云。目前主流Hive数据仓库迁移场景为1.x 版本迁移到阿里云EMR(Hive2.x版本），涉及到 数据订正更新步骤。 解决的问题 Hive数据仓库的数据迁移方案 Hive元数据库的迁移方案 Hive跨版本迁移后的数据订正 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
createDatabaseIfNotExist=true 说明：（1）将红色字体的 192.168.100.140替换为您环境中 MySQL的 VPC IP地 址。（2）hive122db为 MySQL中的数据库，用于保存 Hive的元数据。4.搜索 javax.jdo.option.ConnectionDriverName，将 value修改为 com.mysql.cj.jdbc.Driver 5. 在下图所示的位置添加配置，即作为 最靠前的。文档...
同地域跨可用区容灾
场景描述 面向阿里云公共云客户， 1.业务在同一个地域（Region） 2.应用已经无状态 3.在不大幅增加成本的情况下，希望获得支持业务的跨可用区（Zone）容灾能力 3.希望对整体的应用做容灾备份（简称容灾），而非单独的数据库或存储等 解决问题 提供云上高可用架构方案并提供可参考的跨可用区架构提供简单的容灾演练 产品列表 云服务器（ECS）、数据库（RDS）、专有络（VPC）、负载均衡（SLB）、消息队列（MQ）等
(如因镜像市场更新，找不到此镜像请选择 其他相近的镜像创建)业务云容灾 同地域跨可用区容灾方案 系统盘存储使用 100G，进入下一步网 络和安全配置。选择之前创建 的 dr-test 专有网络和对应C 可用区的交换机 switch001，进入系统配置。业务云容灾 同地域跨可用区容灾方案 选择自定义密码并设置密码，设置实例名称为 DR001...
基于DDH+MyBase降本合规
出版、金融、保险等传统行业一方面希望能借助云计算以更好地适应业务发展需求（政策上云），另一方面出于对降低单实例部署成本（CPU 超分超配）以及满足更严格合规和监管要求的考虑，希望能对云上资源有更多的自主控制权（监管合规）。从业务系统架构云上部署的角度，基于专有宿主机DDH 和云数据库专属集群MyBase 的解决方案，可以很好地满足这两方面的需求。 解决问题： 1. 国家政策上云趋势和需求 2. 更严格的云上安全合规要求 3. 对云上资源有更灵活的管控权 4. 有效降低企业上云的整体拥有成本（TCO） 方案优势： 1、单租户隔离 DDH和 MyBase都可以提供宿主机级别物理隔离，可以独占资源，可以开放更多接口 , 同时杜绝 多租户间 干扰 。 2、安全合规：在完备的隔离基础之上，开放更多数据库权限和 OS权限 。 3、资源灵活部署和调度 创建 ECS实例、从共享宿主机迁移 ECS实例至专有宿主机或在专有宿主机之间迁移 ECS实例时，若您不指定专有宿主机，系统将自动帮您选择专有宿主机部署实例。 针对于初始部署数据库实例时，提 供紧凑型和均衡型两种方式将数据库实例分不到不同的主机上。 4、超配 降本 DDH和 MyBase组合的方式可以实现资源自定义 CPU内存 配比以及CPU超分 ，可以降低单 ECS实例以及云数据库实例的部署成本。
打开浏览器登录 http://弹性IP地址/info.php，如果 PHP安装成功，会看到如下图所 示的 PHP详细信息。文档版本：20220414 33 基于 DDH+MyBase降本合规最佳实践 ECS部署业务系统 步骤3 创建目录下载并解压 WordPress安装包（下载速度可能较慢，请耐心等待）。配置 WordPress访问 MySQL数据库 文档版本：20220414 34 基于 DDH+...
利用低成本链路完成业务数据迁移上云
场景描述 随着云计算被越来越多的客户所接受，除业务系 统上云外，很多客户已经把业务数据搬迁上云。 业务数据量一般都比较大，迁移上云需要大量的 网络带宽，BGP费用比较高。阿里云对用户开 放所需地域购买静态单线共享带宽包的权限（移 动/联通/电信均可），可用为迁移数据有效降低 成本。 解决问题 1.业务数据上云网络成本高 产品列表 专有网络VPC 云服务器ECS 网络存储NAS 共享带宽包
4 文档版本：20191230 利用低成本链路完成业务数据迁移上云 配置云上环境 地域 华东2（上海）可用区B 实例 架构：x86计算 分类：通用型 通用网络增强型sn2ne ecs.sn2ne.large(2vCPU,8GiB) 购买实例数量：1台 镜像 公共镜像 CentOS 7.664位 存储 系统盘 高效云盘40GiB 数据盘 高效云盘20GiB（根据实际数据...
云数据库RDS PostgreSQL
云数据库RDS PostgreSQL 版完全兼容开源PostgreSQL，基于云原生架构，软硬协同优化，提供稳定可靠、高性价比的数据库服务。通过丰富的插件拓展，支撑各领域场景化业务，如自研Ganos多维多模时空引擎及开源PostGIS地理信息引擎、向量引擎、时序引擎等百余款插件。
基础系列经济版2核4GB 100GB通用云盘 低至227.99元/年，新老同享，新购续费同价>>立即购买.基础系列经济版2核4GB 100GB通用云盘 低至227.99元/年，新老同享，新购续费同价>>立即购买.<查看数据库全部产品.云数据库 RDS PostgreSQL 版完全兼容开源PostgreSQL，基于云原生架构，软硬协同优化，提供稳定可靠、高性价比的数据库...
来自：
云产品
机场视频监控
场景描述 该最佳实践适用于国内机场的视频监控行业，将线下视频文件通过混合云阵列缓存后，通过专线上传到阿里云OSS上。 也适用于其他混合云场景中，利用阵列缓存文件，并通过网络传输到阿里云OSS上的场景。 解决问题 1.通过混合云阵列+专线将线下文件传到阿 里云OSS上 2.通过阿里云OSS跨区域复制功能实现异 地文件备份 3.通过OSS的自动生命周期管理功能实现 文件生命周期管理 产品列表 OSS对象存储 混合云阵列 高速通道（专线）
本文的操作实 例中，详细网络规划如下：项目 接口类型 网络配置 备注 混合云阵列 千兆以太网-电口 IP地址：10.10.0.160 管理IP地址 子网掩码：255.255.224.0 网关：10.10.0.1 本地DNS 10.10.2.51 混合云阵列4 万兆以太网-光口 A控制器：通道4和通道 数据通道IP IP地址：10.10.0.161 5配置聚合，地址 子网掩码：255.255.224....
自建ElasticSearch迁移阿里云
场景描述 以ElasticSearch为例，演示搭建模拟业务系统、 VPN网关和IPSecVPN隧道，介绍如何通过快照 的方式，将ElasticSearch索引数据安全备份到 阿里云OSS存储空间，以及介绍如何将备份在 OSS的快照仓库恢复到阿里云ElasticSearch实 例，进一步达到ElasticSearch迁移上云的目的。 解决的问题 自建ElasticSearch的云上/跨云备份需求。 自建ElasticSearch迁移到阿里云 ElasticSearch服务实例。 产品列表 VPC，ECS，VPN网关，OSS，阿里云ElasticSearch，云速搭CADT
（2）在环境搭建过程中分配公网 IP地址仅 用于 SSH登录和必要的软件包下载，在环境搭建完 成之后，建议释放部分公网 IP地址。安全组 使用默认安全组，并勾选 80，443，22，3306，9200，5601端口 系统配置 登录凭证 自定义密码 登录密码 按要求设置登录密码。说明：记录下设置的登录密码，后续登录要用到。确认密码 再次输入...
互联网业务全球化互通组网
场景描述 本方案适用从事全球化业务的客户，希望借助全球 互通的网络，实现多地域的互通。 同时在全球互联的网络下，搭建应用多地部署。如果 业务中涉及到高速通道，提供高速通道迁移云企业网 的操作演练；涉及到跨账号多VPC下的数据迁移和 同步，本方案提供详细的操作步骤，帮助客户快速完 成演练。 解决问题 借助云企业网解决网络互通 高速通道到云企业网的平滑迁移 RDS的数据互通，特别是跨账号多VPC的数据同步 应用的快速部署 产品列表 云企业网（CEN）、云服务器（ECS）、数据库（RDS）、 数据库（Redis）、数据传输（DTS）、负载均衡（SLB） 块存储、专有网络（VPC）
配置项 说明 计费方式 按量付费 地域 华南 1（杭州）类型 MySQL 5.6 系列 高可用版 存储类型 本地 SSD盘（推荐）可用区 多可用区（可用区 D+可用区 E）实例规格 2 CPU(核)，4GB(通用型)rds.mysql.s2.large（2核 4GB）存储空间 50GB 配置完成，单击下一步：网络和资源组。文档版本：20191217 23 互联网业务全球化互通组网...
云端影视渲染
场景描述 本文介绍如何搭建一个完整的混合云渲染服务架构，本地与云端的网络以SSL-VPN方式进行互联。 解决问题 1、使用SSL-VPN构建本地网络与云上VPC环境的安全互联。 2、使用批量计算服务管理渲染计算集群，集群计算节点自动加入Deadline资源池。 3、使用Deadline做渲染任务管理。 4、批量计算集群计算节点根据Deadline渲染任务自动扩容和收缩，资源管理自动化。 产品列表 1、云服务器ECS 2、GPU云服务器GPU 3、批量计算BCS 4、专有网络VPC 5、弹性公网IP 6、文件存储NAS
步骤2 连接 deadline-server（IP地址 172.16.1.xx）。步骤3 输入 deadline-server登录信息。文档版本：20200220 29 云端影视渲染 基于 ECS部署Deadline Server 步骤4 确认连接。连接成功。文档版本：20200220 30 云端影视渲染 基于 ECS部署Deadline Server 步骤5 通过复制本地文件，在远程桌面窗口内粘贴，即可将 Deadline ...
基于弹性计算的AI推理
场景描述 本方案适用于使用GPU进行AI在线推理的场 景。在推理之前，模型已经训练完成。例如,刷脸 支付中，我们在刷脸的时候，就是推理的一个过 程。再比如图像分类，目标检测，语音识别，语 义分析等返回结果的过程。 解决问题 使用GPU云服务器搭建推理环境 使用容器服务Kubernetes版构建推理 环境 使用NAS存储模型数据 使用飞天AI加速推理工具加速推理 产品列表 GPU云服务器 容器服务Kubernetes版 NAS共享存储
配置项 说明 记录类型 A 主机记录 填写步骤 5中获得的 Ingress域名的主机记录，示例中 是 nb 记录值 填写步骤 5中获得的 Notebook的 IP地址，示例中是 47.xx.xx.234 成功添加解析记录，新建解析记录自动生效。步骤7 验证域名解析。ping nb.lustre.site 27 企业上云实践 基于弹性计算的 AI推理|部署 Mobilenet推理demo 返回...
弹性计算OOS审批流程自动化运维
场景描述 本文以ECS、RDS、SLB搭建一个小型的WEB系 统为例，介绍如何利用OOS在运维常见的部署系统、 扩容系统、回收系统三个场景中添加审批流程，并以 钉钉通知到对应的审批人员。 解决问题 1.对接阿里云API，通过OOS模板执行运维 任务，实现了运维自动化与可视化。 2.运维操作集成了RAM访问控制权限管理， 无需担心操作安全，并可以快速增加审批流 程，提高运维安全与效率。 产品列表 1.运维编排OOS 2.访问控制RAM 3.云服务器ECS 4.RDSMySQL版 5.负载均衡SLB
取值：internet：创建公网负 载均衡实例后，系统会 addressTy 分配一个公网IP地址，internet pe 可以转发公网请求。intranet：创建内网负 载均衡实例后，系统会 slb 分配一个内网IP地址，参数 仅可转发内网请求。bandwidt SLB的公网带宽 5 h SLB实例的付费类型：slbPayTyp PayOnDemand：后付 PayOnDemand e 费 PrePay：预...
EMR本地盘实例大规模数据集测试
场景描述 阿里云为了满足大数据场景下的存储需求，在云 上推出了本地盘D1机型，这个系列提供了本地 盘而非云盘作为存储，提高了磁盘的吞吐能力， 发挥Hadoop的就近计算优势。阿里云EMR 产品针对本地盘机型，推出了一整套的自动化运 维方案，帮助用户方便可靠地使用本地盘机型， 不需要关注整个运维过程同时数据的高可靠和 服务的高可用。 解决问题 1.云盘多份冗余数据导致成本高 2.磁盘吞吐量不高 3.节点的高可靠分布问题 4.本地盘与节点的故障监控问题 5.数据迁移时自动决策问题 6.自动故障节点迁移与数据平衡问题 产品列表 EMR(E-MapReduce) 本地盘 VPC
步骤1 阿里云控制台检索 ECS进入 ECS控制台 步骤2 点击控制台界面左侧菜单栏的”网络与安全“的”安全组“，选择地域为”华北 2(北京)”开始创建安全组 文档版本：20191111（发布日期）4 EMR本地盘实例大规模数据集测试最佳实践 VPC环境创建 步骤3 这里创建的安全组以系统自带模版为例，专有网络选择之前创建的 VPC 网 ...
云上成本优化workshop
某金融科技公司，它主要提供信贷，理财，电商等 服务，目前已经拥有千万级注册用户。该公司在将 在线业务系统和大数据业务从自建 IDC 机房迁移 到阿里云后，今年大数据集群经历过多次因为资 源不足导致弹性扩容失败的故障，运维负责人非 常苦恼。由于该公司从事互联网金融的借贷业务， 白天的催收非常依赖晚上大数据计算的结果，若 因为资源不足导致计算结果失败则意味着白天催 收业务员无事可做，会对公司业务造成严重影响。 后来，通过阿里云解决方案架构师建议的方案，将 大数据集群迁移到资源较充足的可用区以及配置 弹性伸缩多规格 ECS 选型增加交付成功率等方 法，目前已阶段性的解决因资源不足导致弹性扩 容失败的问题，但该方案在 Spot 计算资源不足 时，启用大量按量收费算力，带来了较高的成本， 并且抢占式实例和按量付费实例都不保证资源 100%交付，还是存在交付失败的可能性，特别是 在双 11 期间由于其他客户的资源需求上升带来 的资源挤兑客观上存在，就进一步增加了弹性扩 容失败的风险，从而影响业务正常运行。
支持停机不收费的 ECS资源包括：ￚ 计算资源（vCPU和内存）ￚ 固定公网 IP地址和带宽 不支持停机不收费的 ECS资源包括但不限于：ￚ 系统盘 ￚ 实例上挂载的数据盘 ￚ 弹性公网 IP（EIP）和带宽 ￚ 镜像 ￚ 快照 步骤1 以大数据 EMR集群为例，我们进入 ECS控制台，通过停机不收费的方式，关掉 Task 实例组的按量付费实例...
来自：
最佳实践
相关产品：云服务器ECS,负载均衡 SLB,弹性公网IP,容器服务 ACK,日志服务（SLS）,NAT网关,函数计算,E-MapReduce,云数据库PolarDB,弹性容器实例 ECI,存储容量单位包,预留实例券,Hologres
自建Hive数据仓库跨版本迁移到阿里云Databricks数据洞察
场景描述 客户在IDC或者公有云环境自建Hadoop集群构建数据仓库和分析系统，购买阿里云Databricks数据洞察集群之后，涉及到数仓数据和元数据的迁移以及Hive版本的订正更新。 方案优势 1. 全托管Spark集群免运维，节省人力成本。 2. Databricks数据洞察与阿里云其他产品（OSS、RDS、MaxCompute、EMR）进行深度整合，支持以这些产品为数据源的输入和输出。 3. 使用Databricks Runtime商业版引擎相比开源Spark性能有3-5倍的提升。 解决问题 1. Hive数仓数据迁移OSS方案。 2. Hive元数据库迁移阿里云RDS方案。 3. Hive跨版本迁移到Databricks数据洞察使用Delta表查询以提高查询效率。
1.收集 4个节点的私网 IP地址和对应的主机名，如下所示（请根据您环境的实际 IP 地址进行修改）：192.168.100.37 master 192.168.100.38 slave1 192.168.100.39 slave2 文档版本：20210425 7 自建 Hive数据仓库跨版本迁移到阿里云 Databricks数据洞察 基础环境搭建 192.168.100.41 slave3 2.通过 SSH远程登录 hadoop-master...
基于MaxCompute的大数据BI分析
场景描述 本文以电商行业为例，将业务数据和日志数据使用 MaxCompute做ETL之后，同步到ADB进行实时 分析，之后通过QuickBI进行快速可视化展示。 解决问题 1.互联网行业、电商、游戏行业等网站、App、 小程序应用内BI分析场景。 2.可扩展到各类网站BI分析场景使用。 产品列表 1.MaxCompute 2.分析型数据MySQL版 3.日志服务SLS 4.QuickBI 5.云服务器ECS 6.RDSMySQL版
步骤2 选择 MaxCompute Java进入下一步（本文使用 Java语言开发 UDF函数处理 IP地 址。文档版本：20211213 74 基于 MaxCompute的大数据 BI分析 DataWorks大数据处理 步骤3 输入项目名称创建项目。文档版本：20211213 75 基于 MaxCompute的大数据 BI分析 DataWorks大数据处理 步骤4 把 IP处理的源码（从 democode中获取）...
RAM角色集成企业OpenLDAP身份认证
场景描述 本文介绍阿里云RAM使用KeyCloak集成企业OpenLDAP， 管理员工的身份及权限。配置RAM角色与KeyCloak 用户 /用户组的映射关系，实现企业员工使用企业OpenLDAP账 号以单点登录（SSO）的方式访问阿里云控制台。 解决问题 快速部署OpenLDAP及用户创建。 快速部署KeyCloak，并与OpenLDAP实现用户联 合。 阿里云角色SSO配置。 KeyCloak用户绑定RAM角色SSO。 KeyCloak用户组绑定RAM角色SSO。 产品列表 访问控制RAM 专有网络VPC 云服务器ECS 容器镜像服务ACR
docker ps-a 查询每个服务的内部 IP地址，记录 OpenLDAP服务的内网 IP，以备后用。docker inspect-format='{{.Name}}-{{range.NetworkSettings.Networks}}{{.IPAddress}}{{end}}'$(docker ps-aq)4.2.创建本地用户 OpenLDAP及 Web管理工具 phpLDAPadmin安装完成后，就可以创建用户了。操作步骤 登录 phpLDAPadmin。使用浏览...
混合云使用Ali-Perseus
场景描述 本文介绍了混合云场景中，自建 Kubernetes服务，线下集群+云上弹性扩 展阿里云GPU服务实例+飞天AI加速工 具，并采用阿里云CPFS存储，运行AI训 练+AI推理作业的操作步骤。 解决问题 1.利用云企业网打通两个地域的VPC， 自建Kubernetes集群 2.使用飞天AI加速工具运行训练和推理 作业 3.使用CPFS存储共享数据 产品列表 云企业网CEN GPU云服务器 并行文件存储CPFS 文件存储NAS
验证网络是否通 步骤1 通过公网登录 master节点：注意将下面的 ip替换成你自己的 master节点的 ip地址。[jinghai@ali login]>ssh-i key-ai.pem root@47.*.*.228 步骤2 检查是否可以 ping同 worker001，其中 worker001的内网地址是 192.168.10.3[root@master001~]#ping 192.168.10.3 PING 192.168.10.3(192.168.10.3)56(84)...
企业上云数据安全
场景描述 企业是否选择上公共云，或者哪些系统或数据上 公共云，对数据安全的关心是重要因素之一。本 最佳实践重点在于介绍狭义的数据加密存储安 全范畴，即首先使用SDDP产品进行敏感数据发 现和分级分类，然后对高级别敏感数据进行按 需、不同类型的全链路加密存储。 解决问题 1.帮助客户发现敏感数据 2.对敏感数据进行分类、分级 3.对不同级别的数据如何选择加密方式 4.具体如何进行加密 产品列表 敏感数据识别SDDP 密钥管理服务KMS 云数据库RDS 对象存储OSS
基础环境搭建 先搭建基础云环境，一个虚拟专有网络，内部创建一台带公网 IP的 ECS，一个高可 用版本的 RDS数据库；开通 OSS服务和密钥管理服务 KMS；然后把自己管理的密 钥托管到 KMS产品上。1.1.使用云速搭 CADT快速创建资源 步骤1 登录云速搭 CADT控制台。（https://bpstudio.console.aliyun.com/#/bpStudio/topo）按照...
Openstack迁移DDH
场景描述 在线下IDC中，很多用户使用OpenStack构建云环境，本 文介绍如何将线下IDC中基于OpenStack构建的云服务器 迁移到阿里云专有宿主机（DDH）上，从而实现业务平滑 上云的同时，显著降低成本。 解决问题 1.如何将OpenStack中的云服务器迁移 DDH上。 2.如何使用DDH构建云上环境。 产品列表 专有宿主机DDH 对象存储OSS 服务器迁移中心SMC 专有网络VPC
osbash@controller:~exit 文档版本：20200312（发布日期）39 Openstack迁移DDH 创建实例和镜像 在web管理页面中查看实例，记录实例IP地址。登录主机，IP来自上图。[jinghai@aliconnect]>ssh-imykey.pemcirros@203.0.113.121 Theauthenticityofhost'203.0.113.121(203.0.113.121)'can'tbeestablished....
- 产品推荐
- 这些文档可能帮助您