开发者社区> 问答> 正文

请问odps的mapreduce支持mapper的输出为自定义类型吗?

mapper输出不是要设置Schema吗,那么支持自定义implements Writable的类型吗?

展开
收起
heyongcsat 2018-03-29 18:28:58 2334 0
1 条回答
写回答
取消 提交回答
  • https://help.aliyun.com/document_detail/27821.html?spm=a2c4g.11174283.6.546.IQqc90

    MR类型任务目前暂时不支持操作新数据类型。个人理解为目前只能输出maxcompute现有的常规类型。udf是可以的


    https://help.aliyun.com/document_detail/27821.html?spm=a2c4g.11174283.6.546.IQqc90

    MR类型任务目前暂时不支持操作新数据类型。个人理解只能输出现有maxcompute的常规类型。udf支持新的数据类型更丰富一点,可以改写成udf试试看


    write(Record key, Record value):输出中间结果,例如:key.set(“id”, v1),value.set(“size”, v2)。map 产出的中间结果,需要网络传输给 reduce,没关联表去做类型推断,所以必须声明字段类型用于序列化。注意输出的字段类型是MaxCompute的字段类型。

    2019-07-17 22:03:47
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载

相关实验场景

更多