18
2021
02

MapReduce中的切片机制

FileInputFormat默认的切片机制是:


按照文件内容长度进行切片

切片大小默认等于block大小

切片针对每个文件单独切片, 比如一个文件300M, 一个10M, 300M的默认会切成0-128, 128-256, 256-300三片, 而10M的文件只会切成0-10一片.

计算切片大小的逻辑是:

Math.max(minSize,Math.min(maxSize,blockSize))

作者:ghjk | 分类:分类 | 浏览:17 | 评论:0
« 上一篇 下一篇 »

发表评论:

◎欢迎参与讨论，请在这里发表您的看法、交流您的观点。