本篇最佳实践先创建EMR集群作为数据湖对象,Hive元数据存储在DLF,外表数据存储在OSS。然后使用阿里云数据仓库MaxCompute以创建外部项目的方式与存储在DLF的元数据库映射打通,实现元数据统一。最后通过一个毒蘑菇的训练和预测demo,演示云数仓MaxCompute如何对于存储在EMR数据湖的数据进行加工处理以达到业务预期。
2.file_format,用于指定storeas所使用FileFormat,如orc、textfile等,设置后忽 略input_format,output_format 3.input_format,用于指定文件存储时所使用的InputFormat对应的类名,如 org.apache.hadoop.mapred.TextInputFormat 4.output_format,用于指定文件存储时所使用的OutputFormat对应的类名,如 org.apache....