请描述mapreduce中shuffer阶段的工作流程,如何优化shuffer阶段的?

请描述mapreduce中shuffer阶段的工作流程,如何优化shuffer阶段的?

请先 登录 后评论

1 个回答

曾老师

Mapreduce的shuffer是出在map task到reduce task的这段过程中,首先会进入到copy过程,会通过http方式请求map task所在的task Tracker获取map task 的输出的文件,因此当map task结束,这些文件就会落到磁盘中,merge实在map端的动作,只是在map拷贝过来的数值,会放到内存缓冲区中,给shuffer使用,reduce阶段,不断的merge后终会把文件放到磁盘中。

请先 登录 后评论