map
尽量减少环形缓冲区flush的次数(减少IO 的使用)
1、调大环形缓冲区的大小,将100M调更大。
2、调大环形缓冲区阈值大的大小。
3、对Map输出的数据进行压缩。(数据在压缩和解压的过程中会消耗CPU)
reduce
尽量将所有的数据写入内存,在内存中进行计算。
名称(*)
邮箱
网址
正文(*)
◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。