基于湖仓一体架构使用MaxCompute对OSS湖数据分析预测
基于湖仓一体架构使用MaxCompute对OSS湖数据分析预测
本篇最佳实践先创建EMR集群作为数据湖对象,Hive元数据存储在DLF,外表数据存储在OSS。然后使用阿里云数据仓库MaxCompute以创建外部项目的方式与存储在DLF的元数据库映射打通,实现元数据统一。最后通过一个毒蘑菇的训练和预测demo,演示云数仓MaxCompute如何对于存储在EMR数据湖的数据进行加工处理以达到业务预期。
配置DataWorks和PAI 此方案通过DataWorks创建一个工作空间,选择MaxCompute作为计算引擎,并开 PAIStudio作为机器学习服务(用于后续演示使用MaxCompute的SQL完成机器 学习)。通过odpscmd客户端在工作空间下创建外部项目(externalproject)与DLF 的元数据库做映射关联。前提是DLF已经授权给MaxCompute。目前DataWorks的...
来自: 最佳实践 相关产品:对象存储 OSS,E-MapReduce,DataWorks,大数据计算服务 MaxCompute,API网关,数据湖构建,云速搭
< 1 2 3 4 ... 41 >
共有41页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用