Shuffle阶段接收到键值对列表,<key, value>的list
1,对每个Key取一个hash值。
2,用key对设置的ReduceTask的数量取余
3,余几,这个键值对数据就放在哪个分区。
算法:对key 进行哈希,获取到一个哈希值,用这个哈希值与reducetask的数量取余。余几,这个数据就放在余数编号的partition中。
名称(*)
邮箱
网址
正文(*)
◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。