设置合理的map和reduce的个数。合理设置blocksize
避免出现数据倾斜
combine函数
对数据进行压缩
小文件处理优化:事先合并成大文件,combineTextInputformat,在hdfs上用mapreduce将小文件合并成SequenceFile大文件(key:文件名,value:文件内容)
参数优化
名称(*)
邮箱
网址
正文(*)
◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。