14
2020
11

mapreduce的大致流程

主要分为八个步骤


1、对文件进行切片规划


2、启动相应数量的maptask进程


3、调用FileInputFormat中的RecordReader,读一行数据并封装为k1v1


4、调用自定义的map函数,并将k1v1传给map


5、收集map的输出,进行分区和排序


6、reduce task任务启动,并从map端拉取数据


7、reduce task调用自定义的reduce函数进行处理


8、调用outputformat的recordwriter将结果数据输出

« 上一篇 下一篇 »

发表评论:

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。