18
2021
02

在MR阶段,有哪些优化的点?

map


尽量减少环形缓冲区flush的次数(减少IO 的使用)

1、调大环形缓冲区的大小,将100M调更大。

2、调大环形缓冲区阈值大的大小。

3、对Map输出的数据进行压缩。(数据在压缩和解压的过程中会消耗CPU)


reduce

尽量将所有的数据写入内存,在内存中进行计算。

« 上一篇 下一篇 »

发表评论:

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。