场景描述 客户在IDC或者公有云环境自建Hadoop集群构建数据仓库和分析系统,购买阿里云Databricks数据洞察集群之后,涉及到数仓数据和元数据的迁移以及Hive版本的订正更新。 方案优势 1. 全托管Spark集群免运维,节省人力成本。 2. Databricks数据洞察与阿里云其他产品(OSS、RDS、MaxCompute、EMR)进行深度整合,支持以这些产品为数据源的输入和输出。 3. 使用Databricks Runtime商业版引擎相比开源Spark性能有3-5倍的提升。 解决问题 1. Hive数仓数据迁移OSS方案。 2. Hive元数据库迁移阿里云RDS方案。 3. Hive跨版本迁移到Databricks数据洞察使用Delta表查询以提高查询效率。
文档版本:20210425 6 自建 Hive数据仓库跨版本迁移到阿里云 Databricks数据洞察 基础环境搭建 注:目前 CADT暂不支持 Databricks数据洞察集群搭建,下面将通过控制台操作,为 了更好地模拟用户的自建 Hive1.2.2版本数仓环境,选择在 ECS上安装 4个节点的 Hadoop集群。如果您使用的是 Hive2.x版本可以选择搭建 EMR集群。1.2....