14
2020
11

MapReduce优化经验

设置合理的map和reduce的个数。合理设置blocksize


避免出现数据倾斜


combine函数


对数据进行压缩


小文件处理优化:事先合并成大文件,combineTextInputformat,在hdfs上用mapreduce将小文件合并成SequenceFile大文件(key:文件名,value:文件内容)


参数优化

« 上一篇 下一篇 »

发表评论:

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。