简单概述hadoop的combinet与partition的区别

简单概述hadoop的combinet与partition的区别

请先 登录 后评论

1 个回答

曾老师

combine和partition都是函数,中间的步骤应该只有shuffle! combine分为map端和reduce端,作用是把同一个key的键值对合并在一起,可以自定义的,partition是分割map每个节点的结果,按照key分别映射给不同的reduce,也是可以自定义的。这里其实可以理解归类。

请先 登录 后评论