10
2020
11

mapreduce的调度模式(题意模糊,可以理解为yarn的调度模式,也可以理解为mr的内部工作流程)

appmaster作为调度主管,管理maptask和reducetask


Appmaster负责启动、监控maptask和reducetask


Maptask处理完成之后,appmaster会监控到,然后将其输出结果通知给reducetask,然后reducetask从map端拉取文件,然后处理;


当reduce阶段全部完成之后,appmaster还要向resourcemanager注销自己

« 上一篇 下一篇 »

发表评论:

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。