30
2020
01

简单说一下hadoop的map-reduce模型

首先map task会从本地文件系统读取数据,转换成key-value形式的键值对集合,使用的是hadoop内置的数据类型,如Text,Longwritable等。


将键值对集合输入mapper进行业务处理过程,将其转化成需要的key-value再输出。


之后会进行一个partition分区操作,默认使用的是hashpartitioner,可以通过重写hashpartitioner的getPartition方法来自定义分区规则。


之后会对key进行sort排序,grouping分组操作将相同key的value合并分组输出,在这里可以使用自定义的数据类型,重写WritableComparator的Comparator方法来自定义排序规则,重写RawComparator的compara方法来自定义分组规则。


之后进行一个combiner归约操作,就是一个本地的reduce预处理,以减小shuffle,reducer的工作量。


Reduce task会用过网络将各个数据收集进行reduce处理,最后将数据保存或者显示,结束整个job。

« 上一篇 下一篇 »

发表评论:

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。