开发者社区> 问答> 正文

关于MaxCompute MR 一个 reduce 的输入数据可以来自于多个 map 的输出吗? 一个 MR 处理可以不包含任何 reduce吗? 一个 MR 处理可以不包括任何 map吗?

已解决

关于MaxCompute MR
一个 reduce 的输入数据可以来自于多个 map 的输出吗?
一个 MR 处理可以不包含任何 reduce吗?
一个 MR 处理可以不包括任何 map吗?

展开
收起
祁同伟 2017-08-24 14:10:11 4769 0
2 条回答
写回答
取消 提交回答
  • TA有点害羞,没有介绍自己...
    采纳回答

    1.多路输入输出可以参考
    https://help.aliyun.com/document_detail/27888.html
    2.可以只做map,参考
    https://help.aliyun.com/document_detail/27887.html
    3.不能不包含map
    MR入门文档您可以看下
    https://help.aliyun.com/document_detail/27875.html

    2019-07-17 21:31:36
    赞同 2 展开评论 打赏
  • 多年行业经验,专注互联网产品架构及数据分析系统。熟悉虚拟现实、物联网及信息安全,在企业私有云构建方面有较多经验。获得阿里云云计算ACP认证、大数据ACP认证和微软人工智能专业学位认证

    一个MR处理可以不包括reduce,但必须有map,这种情况是map-only。
    Map Worker在输出数据时,需要给每一个输出数据指定一个Key,这个Key决定了这条数据将会被发送给哪个Reduce Worker。
    Key和Reduce Worker是多对一关系,相同Key的数据会被发送给同一个Reduce Worker,单个Reduce Worker也有可能会接收到多个Key的数据。

    2019-07-17 21:31:36
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
大数据AI一体化的解读 立即下载
极氪大数据 Serverless 应用实践 立即下载
大数据&AI实战派 第2期 立即下载