云速搭构建大规模云手机压测集群
云速搭构建大规模云手机压测集群
在互联网游戏行业新游发行前、金融行业的基金或券商APP在大版本更新前,均需要将APP部署到大规模测试环境中进行压测,确保大规模并发场景下对APP本身可靠性和后台业务系统的稳定性及资源准备情况做好验证。 本实践设计一个游戏压测场景,在阿里云的多地域快速部署共一万台云手机,每台云手机之间网络可互通,每台云手机通过阿里云提供的NAT网关可访问互联网。
专有网络由逻辑网络设备(如虚拟路由器,虚拟 换机)组成,可以通过专线/VPN等连接方式与传统数据中心组成一个按需定制的 网络环境,实现应用的平滑迁移上云。详见:https://www.aliyun.com/product/vpc 弹性云手机 ECP:弹性云手机(Elastic Cloud Phone)是一台运行在云端服务器的 虚拟手机,利用 ARM服务器以及虚拟化...
来自: 最佳实践 相关产品:专有网络 VPC,云服务器ECS,弹性公网IP,NAT网关,云企业网,云速搭CADT,弹性云手机
自建Hadoop迁移MaxCompute
自建Hadoop迁移MaxCompute
场景描述 客户基于ECS、IDC自建或在友商云平台自建了大数 据集群,为了降低企业大数据计算平台的成本,提高 大数据应用开发效率,更有效保障数据安全,把大数 据集群的数据、作业、调度任务以及业务数据库整体 迁移到MaxCompute和其他云产品。 解决的问题 自建Hadoop集群搬迁到MaxCompute 自建Hbase集群搬迁到云Hbase 自建Kafka或应用数据准实时同步到 MaxCompute 自建Azkaban任务迁移到Dataworks任务 产品列表 MaxCompute,Dataworks、云数据库Hbase版、Datahub、VPC,ECS。
b(可根据库存选其他可用区)IPv4网段 192.168.20.0/24 ECS实例 类别 配置项 说明 基础 ECS名 ecs-hadoop 支付方式 后付费 地域 华东 2(上海)可用区 g 实例 ecs.c5.xlarge(4c 8g)购买实例数 8台 量 说明:1台用于安装日志发生器,1台用于安装 Kafka,5台 用于安装 Hadoop,1台用于安装 MySQL。镜像 选择公共镜像。...
来自: 最佳实践 | 相关产品:云服务器ECS,DataWorks,大数据计算服务 MaxCompute,云数据库 HBase 版,数据总线,云速搭
本地数据中心基于SMB/NFS协议访问对象存储最佳实践
本地数据中心基于SMB/NFS协议访问对象存储最佳实践
1. 云存储扩容和迁移 集成智能缓存算法,自动识别冷热数据,将热数据保留在本地缓存,保证数据访问体验,无感知的将海量云存储数据接入本地数据中心,拓展存储空间。同时在云端 保留全量数据(冷+热)保证数据的一致性 2.云容灾 随着云计算的普及,越来越多的用户把自己的业务放到了云上。但是随着业务的发展,如何提高业务的可靠性和连续性,跨云容灾是一个比较热门的话题。借助云存 储网关对虚拟化的全面支持,可以轻松应对各种第三方云厂商对接阿里云的数据容灾。 3. 多地数据共享和分发 通过多个异地部署的文件网关实例,对接同一个阿里云OSS Bucket,可以实现快速的异地文件共享和分发,非常适合多个分支机构之间互相同步和共享数据。 4. 适配传统应用 有很多用户在云上的业务是新老业务的结合,老业务是从数据中心迁移过来的使用的是标准的存储协议,例如: NFS/SMB/iSCSI。新的应用往往采用比较新的技 术,支持对象访问的协议。如何沟通两种业务之间的数据是一个比较麻烦的事情,云存储网关正好起到一个桥梁的作用,可以便捷的沟通新旧业务,进行数据交换。 5. 替代 ossfs 和 ossftp ossfs 和 ossftp 都是基于文件协议的开源工具,用户可以通过它们直接上传文件到OSS。但是这两个开源文件都不建议在生产环境使用(POSIX 兼容度低),同时挂 载在用户的客户端需要额外的配置和缓存资源,对于多个客户端的情况安装配置繁琐。通过文件网关的服务可以完美替代 ossfs 和 ossftp。通过创建文件网关,用 户只需要执行简单的挂载(NFS)和映射(Windows SMB)就可以像使用本地文件系统一样使用 OSS。
此处设置的 IP地址是作为虚拟 换机网关地址使用,虚拟机通过这个网关与外部通信。只需要设置与宿主机 IP段不 冲突的私有 IP地址即可。DNS服务器以本地数据中心 DNS地址为准,此处设置的是 阿里云 DNS地址。文档版本:20210525 18 本地数据中心基于 SMB/NFS协议访问对象存储 安装本地云存储网关 2.5.创建 Hyper-V虚拟机 ...
来自: 最佳实践 | 相关产品:对象存储 OSS,云存储网关
EMR集群安全认证和授权管理 
EMR集群安全认证和授权管理 
场景描述 阿里云EMR服务Kafka和Hadoop安全集群使 用Kerberos进行用户安全认证,通过Apache Ranger服务进行访问授权管理。本最佳实践中以 Apache Web服务器日志为例,演示基于Kafka 和Hadoop的生态组件构建日志大数据仓库,并 介绍在整个数据流程中,如何通过Kerberos和 Ranger进行认证和授权的相关配置。 解决问题 1.创建基于Kerberos的EMR Kafka和 Hadoop集群。 2.EMR服务的Kafka和Hadoop集群中 Kerberos相关配置和使用方法。 3.Ranger中添加Kafka、HDFS、Hive和 Hbase服务和访问策略。 4.Flume中和Kafka、HDFS相关的安全配 置。 产品列表:E-MapReduce、专有网络VPC、云服务器ECS、云数据库RDS版
文档版本:20200330 12 EMR集群安全认证和授权管理 EMR Kafka安全集群 2.EMR Kafka安全集群 本最佳实践中,将首先创建云上虚拟网络 VPC,后续所有云上资源都将规划在该 VPC 中,例如 RDS数据库、日志发生器、EMR Kafka集群、EMR Hadoop集群和 EMR 集群等。2.1.创建专有网络 VPC 步骤1 登录专有网络控制台,地域:华东 1...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,E-MapReduce
游戏业务分区合服
游戏业务分区合服
概述 为了提高游戏玩家的体验,并提高留存率,增强付费率.除了游戏本身的内容趣味性外, 改善用户访问加速体验,并对游戏数据分区合服是很常见的业务运营场景. 本方案适用于: 1游戏业务运营,对多个分区数据库进行合并,增加付费用户积极性的需求. 2游戏业务加速,中心化部署的网络加速需求. 方案优势 1便捷数据迁移. 2内网安全传输 3加速远端用户访问质量体验 4快速应对上层业务运营的技术实现操作. 产品列表 网络产品:VPCSLBNAT网关CEN共享带宽包EIP全球加速GA 计算产品:ECS 数据库产品:RDSDTS 存储产品:OSS 云解析
说明:一个 eip绑定到 NAT网关后,可以给 VPC下多个虚拟交换机共用为访问外 出口。将 BEI_EIP_manage绑定 NAT网关实例 步骤1 单击此实例操作列下的绑定。文档版本:20220121 26 游戏业务分区合服最佳实践 初始环境搭建 步骤2 选择 NAT网关实例(BEI_NAT),并单击确定。3.2.服务器搭建(北方)3.2.1.服务器创建 步骤1 登录...
来自: 最佳实践 | 相关产品:云数据库RDS MySQL 版,对象存储 OSS,数据传输,NAT网关,云企业网
基于转发路由器构建企业级组网
基于转发路由器构建企业级组网
通过云企业网转发路由器 1. 实现灵活的互通、隔离、引流策略 2. VPC 间的内网互访流量经过三方安全设备管控(如Palo Alto) 3. 统一多 VPC 的互联网访问出口,提高业务安全性
此处不使用系统默认路由表(清空已有的路由学习和关联转发 ),创建两张自定义路由表做如下配置。2.3.2.1.VPC B&VPC C VPC B和 VPC C连接与以下路由表关联,将所有流量路由到 VPC A:目的地 目标 路由类型 0.0.0.0/0 VPC A连接 自定义 步骤1 登录云企业控制台(https://cen.console.aliyun.com/),进入云企业的...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云企业网
自建Hadoop迁移到阿里云EMR
自建Hadoop迁移到阿里云EMR
场景描述 场景1:自建Hadoop集群数据(HDFS)迁移到 阿里云EMR集群的HDFS文件系统; 场景2:自建Hadoop集群数据(HDFS)迁移到 计算存储分离架构的阿里云EMR集群,以OSS 和JindoFS作为EMR集群的后端存储。 解决的问题 客户自建Hadoop迁移到阿里云EMR集群的 技术方案; 基于IPSecVPN隧道构建安全和低成本数据 传输链路 产品列表 E-MapReduce,VPC,ECS,OSS,VPN网关。
审阅人 毕役、云滴、子、游圣 文档变更记录 版本编号 日期 作者 审核人 说明 V1.0 2019-11-20 云魁 云滴、毕役 创建 V1.1 2019-11-25 筱晖-文档优化 增加 HDFS迁移到 OSS和 V1.2 2019-12-25 云魁 子 JindoFS的方案 V1.3 2020-01-31 云魁 修改概览页场景描述 V1.4 2020-02-07 云魁 更新 VPN网关配置 增加附录,直接通过...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,VPN网关,E-MapReduce,云速搭
DBS通过IPSec VPN备份自建数据库
DBS通过IPSec VPN备份自建数据库
场景描述 客户业务系统部署在IDC或者公有云环境,对业 务数据有云上备份需求。在客户交流过程中,基 于数据高可用和灾备需求,要求将数据备份至阿 里云OSS的存储空间,同时备份数据流基于 IPSecVPN/专线进行安全传输。 解决的问题 自建数据库的云上/跨云备份需求 DBS提供了完善的备份机制和API OSS的分层存储机制降低备份集储存成本 基于IPSecVPN/专线进行安全传输。 产品列表 VPC,ECS,DBS,VPN网关,OSS
安全组 开放端口 选择默认安全 TCP 22、80、443和 3306 组 ecs-Magento:依照以上 ECS创建另一台 ECS,选择镜像市场的镜像:m-uf68wwaaa4kwtq4lix9s 杭州网段 类别 配置项 说明 专有网络 名称 vpc-hangzhou IPv4网段 推荐网段 10.0.0.0/8 交换机 名称 vswitch-az-b 可用区 杭州 可用区 B IPv4网段 10.17.105.0/24 VPN网关 ...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,VPN网关,数据库备份DBS,云速搭
基于弹性供应组构建大数据分析集群
基于弹性供应组构建大数据分析集群
场景描述 基于弹性供应组(APG)搭建spark计算集 群,提供一键开启跨售卖方式、跨可用区、 跨实例规格的计算集群交付模式的实践。 方案优势 1.超低成本:跨售卖方式提供计算实 例,按秒计费,可全部使用spot实例 交付,最高可省90%成本。 2.稳定可靠:跨可用域、跨实例规格, 降低spot被集体释放的风险;自动托 管,分钟级巡检,动态保证集群的算 力。 3.快速交付:单次可在5分钟内交付 2000个实例。 4.多策略组合:可分别指定spot和按量 实例的交付策略,以及差额补足的策 略,包括成本最低、打散和折中。 解决问题 1.大规模计算集群成本高。 2.创建ECS实例方式单一,无法跨计费 方式、可用区及规格等核心参数。 3.当可用区资源紧张,无法自动保证基于 spot类型的稳定算力。 产品列表 专有网络VPC 云服务器ECS
步骤9 以为交换机 AGP_VPC_S1创建 SNAT条目为例,为 VPC(APG_VPC)下所有的 换机创建 SNAT条目。文档版本:20200619 15 基于弹性供应组构建大数据集群分析 创建并配置 NAT网关 创建完成后如下图所示:文档版本:20200619 16 基于弹性供应组构建大数据集群分析 Spark集群搭建 4.Spark集群搭建 4.1.spark master节点 以...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,弹性公网IP
远程办公-AD管控下的弹性云桌面
远程办公-AD管控下的弹性云桌面
在弹性云桌面中部署企业基础办公环境时,IT人员通常会面临以下问题,本文希望通过场景实践的方式,示范如何结合使用不同阿里云产品,来解决这些问题:用户如何管理?企业已有AD用户如何上云?云上共享文件服务权限怎么管?数据安全问题有保障吗?该如何设置?云桌面能使用本地机房或IDC中的服务吗? 本文使用的应用场景: 场景1:客户A在云上新建Windows ActiveDirectory(以下简称AD);弹性云桌面,和NAS文件存储服务部署在AD所在的VPC内。场景2:客户B在阿里云上已有AD和NAS。弹性云桌面创建在与AD不同的VPC中。AD与云桌面的VPC通过CEN连接。场景3:客户C在云下IDC有自建AD和文件服务。弹性云桌面创建在阿里云上。云下机房与阿里云弹性云桌面所在VPC通过IPsec VPN连接。 方案优势: 易部署:弹性云桌面支持快速便捷的桌面环境创建、部署、统一管控与运维。 CEN和VPN网关服务开通即用,配置实时生效,快速完成部署。 低成本:弹性云桌面无需前期传统硬件投资,帮您快速构建安全、高性能、低成本的桌面办公体系。可广泛应用于具有高数据安全管控、高性能计算等要求的金融、设计、视频、教育等领域。VPN网关基于Internet建立加密通道,比建立专线更便宜,快速实现混合云。 安全性:VPN网关使用IKE(秘钥交换协议)和IPSec对传输数据或进行加密,保证数据安全可靠。云桌面自带的安全策略保证数据不落地。 集中管控:通过Windows AD对云桌面用户和共享文件服务进行统一权限管控。可实现AD用户自动同步上云,和文件级别的权限管控。
高级的文件服务器 ,请在 服务器管理器 的 文件和存储服务 中配置。文档版本:20201210 74 远程办公-AD管控下的弹性云桌面最佳实践 场景 3:云下 IDC中的 AD与弹性云桌面集成 文档版本:20201210 75 远程办公-AD管控下的弹性云桌面最佳实践 场景 3:云下 IDC中的 AD与弹性云桌面集成 4.2.使用 IPSec-VPN将杭州和上海的...
来自: 最佳实践 | 相关产品:云服务器ECS,弹性公网IP,文件存储NAS,NAT网关,云企业网,VPN网关,云桌面,云速搭CADT
混合云自有K8S弹性使用ECI
混合云自有K8S弹性使用ECI
场景描述 本文介绍线下IDC与云端通过专线构建混合云架构,自有K8S利用虚拟节点弹性调用ECI承载业务高峰期资源需求的最佳实践。 解决问题 混合云环境下,自有K8S集群注册至ACK,实现云端纳管。纳管K8S集群部署Virtual Node,使集群具备ECI资源调度能力。在以上环境中部署Web及离线作业应用,并使用ECI资源作为弹性资源池满足业务波峰需求。 产品列表 云服务器ECS 云架构设计工具CADT 专有网络VPC 访问控制RAM 云企业网CEN 弹性容器实例ECI Nat网关NAT 容器镜像服务ACR 负载均衡SLB 容器服务Kubernetes版ACK 弹性公网IPEIP
本实践 CADT模板已创建相关资源,需要为 NAT网关配置 SNAT条目。操作步骤 步骤1 登录 NAT 网关控制台华东 1(杭州)地域。(https://vpc.console.aliyun.com/nat/cn- hangzhou/nats)步骤2 点击 NAT网关实例下的待配置>创建 SNAT条目。步骤3 在 SNAT管理标签页,点击创建 SNAT条目。文档版本:20210520 21 混合云 IDC自有 K8S...
来自: 最佳实践 | 相关产品:块存储,专有网络 VPC,云服务器ECS,负载均衡 SLB,容器服务 ACK,访问控制,NAT网关,云企业网,容器镜像服务 ACR,弹性容器实例 ECI
通过私访问云服务
通过私<em>网</em>访问云服务
使用PrivateLink就可以通过私网访问其他VPC提供的服务,无需创建NAT网关或EIP等公网出口,更好的保障安全性和网络质量。支持同账号和跨账号的VPC间私网访问。另外 私网调用阿里云OpenAPI也有两种可选方案
本例的 云 产 品 服 务 统 一 的 VPC 地址是 popunify-vpc.cn- hangzhou.aliyuncs.com。文档版本:20210325 18 通过私网访问云服务最佳实践 使用 PrivateLink实现私网访问云服务 关联 VPC,使配置的 CNAME规则在指定的 VPC内生效 3.2.SDK调用 完成 PrivateZone的 CNAME配置之后,在 CNAME关联生效的 VPC内的 ECS上通 ...
来自: 最佳实践 | 相关产品:云解析 PrivateZone,私网连接
数据库异地灾备
数据库异地灾备
场景描述 适用于不满足于单地域,对数据可靠性 (RPO)和服务可用性(RTO)要求更高 的,希望防范断电、断网等机房故障,抵 御地震、台风等自然灾害,具备异地容灾 备份恢复能力的客户业务场景。 解决问题 1.实时备份,RPO达到秒级 2.表级恢复,故障恢复时间大大缩短 3.长期归档,自动管理备份生命周期 4.异地灾备,构建数据库灾备中心 产品列表 专有网络VPC 云服务器ECS 弹性公网IP(EIP) 负载均衡SLB 云数据库RDSMySQL 数据库备份服务DBS 对象存储服务OSS 数据湖分析服务DLA 数据管理服务DMS 数据传输服务DTS
在创建前,您需要结合具体业 务,规划 VPC 和 的 数 量 及 段 等。详见:https://www.aliyun.com/product/vpc ECS:云服务器(Elastic Compute Service,简称 ECS)。阿里云提供的一种基础 云计算服务。无需提前采购硬件设备,根据业务需要,随时创建所需数量的云服务 器 ECS实例。在使用过程中,随着业务的...
来自: 最佳实践 | 相关产品:云数据库RDS MySQL 版,对象存储 OSS,数据管理,数据湖分析,数据库备份DBS,云速搭CADT
自建ElasticSearch迁移阿里云
自建ElasticSearch迁移阿里云
场景描述 以ElasticSearch为例,演示搭建模拟业务系统、 VPN网关和IPSecVPN隧道,介绍如何通过快照 的方式,将ElasticSearch索引数据安全备份到 阿里云OSS存储空间,以及介绍如何将备份在 OSS的快照仓库恢复到阿里云ElasticSearch实 例,进一步达到ElasticSearch迁移上云的目的。 解决的问题 自建ElasticSearch的云上/跨云备份需求。 自建ElasticSearch迁移到阿里云 ElasticSearch服务实例。 产品列表 VPC,ECS,VPN网关,OSS,阿里云ElasticSearch,云速搭CADT
网络和交换机(架构图左:华东2上海)类别 配置项 说明 专有网络 名称 客户 IDC-VPC IPv4网段 推荐网段 192.168.0.0/16 交换机 名称 vswitch-az-g 可用区 上海 可用区 G(可根据库存选其他可用区)IPv4网段 192.168.100.0/24 ECS实例 类别 配置项 说明 基础配置 ECS名 ecs-magento 支付方式 后付费 地域 华东 2(上海)可用...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,VPN网关,Elasticsearch,云速搭
智能云分支
阿里云智能云分支是一站式SD-WAN+SD-LAN网络方案,为客户门店和办公构建网络效能中心,而提供的云上云下E2E一体化,异构管控,安全可靠的云托管网络服务。
支持云端管理和配置,可在不同环境中高效、轻松管理及安装.PoE交换机.SAG-AP8220是阿里云推出的基于云和大数据平台的新一代802.11ax 无线接入设备AP(Access Point)产品,支持4×4 MU-MIMO,能够稳定支持高密度覆盖和复杂的企业和商业需求。设备启动后可自动从云智能分支管理控制台接收配置,方便您大规模部署无线网络.更...
来自: 云产品
Hyper-V on 弹性裸金属最佳实践
Hyper-V on 弹性裸金属最佳实践
场景描述 本方案适用于基于弹性裸金属服务器(神龙)自 建Microsoft Hyper-V环境的场景。 解决问题 l使用神龙自建+Microsoft Hyper-V虚拟 化环境环境。 l创建LinuxHyper-VVM。 lHyper-VVM访问外部网络。 l外部网络访问Hyper-VVM上的服务。 产品列表 l神龙GPU云服务器(ecs.ebmg5s) l专有网络VPC
配置交换机.26 3.3.创建虚拟机.29 3.4.虚拟机安装操作系统.36 3.5.配置 NAT.44 3.6.VM访问公网.45 3.7.公网访问 VM.46 3.7.1.查看端口映射配置.46 3.7.2.配置端口映射及验证.46 文档版本:20220512 IV Hyper-V on弹性裸金属 最佳实践概述 最佳实践概述 本实践重点介绍如何在弹性裸金属服务器(神龙)上自建 Hyper-V虚拟机,...
来自: 最佳实践 | 相关产品:块存储,专有网络 VPC,弹性公网IP,弹性裸金属服务器(神龙),云速搭
金融行业从经典网络向VPC容器化改造
金融行业从经典网络向VPC容器化改造
本实践介绍经典网络向VPC容器化改造实践 以及配置步骤,可适用于金融等行业 方案优势 容器化完成经典网络完成向VPC网络改 造 应用发布灵活 运维效率提升 解决问题 1.经典网络管理困难 2.应用发布不灵活 3.运维效率低 产品列表 专有网络VPC 容器服务Kubernetes版 日志服务SLS 云数据库RDS版 NAT网关 容器镜像服务ACR 云盘
金融行业从经典网络向VPC容器化改造 最佳实践 业务架构 场景描述 本实践介绍经典网络向VPC容器化改造实践 以及配置步骤,可适用于金融等行业 方案优势  容器化完成经典网络完成向VPC网络改 造  应用发布灵活  运维效率提升 解决问题 1.经典网络管理困难 2.应用发布不灵活 3.运维效率低 产品列表  专有网络VPC  ...
来自: 最佳实践 | 相关产品:专有网络 VPC,云数据库RDS MySQL 版,容器服务 ACK,日志服务(SLS),容器镜像服务 ACR
混合云存储构建VMware虚拟化平台
混合云存储构建VMware虚拟化平台
场景描述 本文以混合云存储阵列SA2600系统为例,介绍如 何在混合云存储环境下部署VMware虚拟化平台, 以及混合云环境下虚拟机的部署、扩容、云备份等功 能演示。 解决问题 1.如何使用混合云存储部署VMware虚拟化平台。 2.存储阵列在混合云环境下的使用,比如虚拟机部 署、扩容、云备份等。 产品列表 1.混合云存储阵列 2.对象存储OSS
NAS)文档版本:20191223 108 审批流程OOS自动化运维 虚拟机部署及存储使用 步骤5 完成配置。步骤6 查看挂载好的NAS。文档版本:20191223 109 审批流程OOS自动化运维 虚拟机部署及存储使用 6.3.创建虚拟机 步骤1 在vCenter控制台,右键单击集群名称,选择新建虚拟机。步骤2 选择创建新虚拟机,并单击下一步。文档版本...
来自: 最佳实践 | 相关产品:专有网络 VPC,对象存储 OSS,访问控制,混合云存储阵列 Hybrid Cloud
VMware on 弹性裸金属
VMware on 弹性裸金属
场景描述 传统企业将VMware迁移到阿里云弹性裸 金属,利用云计算平台提供的弹性基础设 施,降低部分运维成本和学习成本,使用其 擅长的技术工具专注自身业务,实现线下业 务平滑迁移上云。 解决问题 1.VMware业务平滑迁移上云 2.集成云产品能力增强业务创新 3.降低混合云成本和复杂度 4.增强系统可用性 产品列表 EBM神龙 ECS NAS OSS ENI NAT EIP
步骤6 分别修改新创建的两台神龙实例的别名为ebm-network、ebm-compute,便于后续 管理。文档版本:20191121 40 VMwareon弹性裸金属 创建VMware集群 注意:由于产品目前尚未发布,使用自定义镜像新建的ebm实例需要后台处理,请联 系神龙产品团队进行处理(需要提供实例ID)。文档版本:20191121 41 VMwareon弹性裸金属 ...
来自: 最佳实践 | 相关产品:云服务器ECS,弹性公网IP,文件存储NAS,NAT网关,弹性裸金属服务器(神龙)
自建Hive数据仓库跨版本迁移到阿里云Databricks数据洞察
自建Hive数据仓库跨版本迁移到阿里云Databricks数据洞察
场景描述 客户在IDC或者公有云环境自建Hadoop集群构建数据仓库和分析系统,购买阿里云Databricks数据洞察集群之后,涉及到数仓数据和元数据的迁移以及Hive版本的订正更新。 方案优势 1. 全托管Spark集群免运维,节省人力成本。 2. Databricks数据洞察与阿里云其他产品(OSS、RDS、MaxCompute、EMR)进行深度整合,支持以这些产品为数据源的输入和输出。 3. 使用Databricks Runtime商业版引擎相比开源Spark性能有3-5倍的提升。 解决问题 1. Hive数仓数据迁移OSS方案。 2. Hive元数据库迁移阿里云RDS方案。 3. Hive跨版本迁移到Databricks数据洞察使用Delta表查询以提高查询效率。
添加对应的名称 添加描述 选择 VPC名称(与步骤 1中 VPC相同)文档版本:20210425 26 自建 Hive数据仓库跨版本迁移到阿里云 Databricks数据洞察 创建 Databricks数据洞察集群 选择交换机名称(与步骤 1中 VSwitch相同)配置完成,单击下一步。文档版本:20210425 27 自建 Hive数据仓库跨版本迁移到阿里云 Databricks数据...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,文件存储HDFS,spark
< 1 2 3 4 ... 6 >
共有6页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用