18
2021
02

Shuffle阶段的Partition分区算法是什么?

Shuffle阶段接收到键值对列表,<key, value>的list

1,对每个Key取一个hash值。

2,用key对设置的ReduceTask的数量取余

3,余几,这个键值对数据就放在哪个分区。


算法:对key 进行哈希,获取到一个哈希值,用这个哈希值与reducetask的数量取余。余几,这个数据就放在余数编号的partition中。

« 上一篇 下一篇 »

发表评论:

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。