自建Hive数据仓库跨版本迁移到阿里云E-MapReduce

开源大数据EMR 2020-01-08

架构 mysql hadoop 云服务器 数据库 配置 镜像 安全组 数据仓库 集群 Image 数据迁移 控制台 e-mapreduce Hive

最佳实践概述

应用场景

客户在IDC或者公有云环境自建Hadoop集群,数据集中保存在HDFS文件系统,同时借助Hive进行常见的ETL任务。客户在决策上云之后,会将自建Hadoop集群的数据迁移到阿里云自建Hadoop或者EMR。

技术架构

本实践方案基于如下图所示的技术架构和主要流程编写操作步骤。
image.png

方案优势

  • 易用性
    您可以简单选择所需ECS机型(CPU、内存)与磁盘,并选择所需的软件,进行自动化部署。
  • 经济性
    您可以按需创建集群,即离线作业运行结束就可以释放集群,还可以在需要时动态地增加节点。
  • 深度整合
    E-MapReduce与阿里云其它产品(例如,OSS、MNS、RDS 和 MaxCompute 等)进行了深度整合,支持以这些产品作为Hadoop/Spark计算引擎的输入源或者输出目的地。
  • 安全
    E-MapReduce整合了阿里云RAM资源


登录 后评论
下一篇
云栖号
8150人浏览
2020-03-04
相关推荐
大数据搬站step by step
1513人浏览
2020-02-19 12:17:30
如何在E-MapReduce中玩转OSS
7158人浏览
2016-03-24 16:45:17
阿里云E-MapReduce产品简介
2602人浏览
2017-08-31 21:40:35
0
0
0
10486