18
2021
02

flume 调优 :

source :

1 ,增加 source 个数,可以增大 source 读取能力。

2 ,具体做法 : 如果一个目录下生成的文件过多,可以将它拆分成多个目录。每个目录都配置一个 source 。

3 ,增大 batchSize : 可以增大一次性批处理的 event 条数,适当调大这个参数,可以调高 source 搬运数据到 channel 的性能。

channel :

1 ,memory :性能好,但是,如果发生意外,可能丢失数据。

2 ,使用 file channel 时,dataDirs 配置多个不同盘下的目录可以提高性能。

3 ,transactionCapacity 需要大于 source 和 sink 的 batchSize 参数

sink :

增加 sink 个数可以增加消费 event 能力

« 上一篇 下一篇 »

发表评论:

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。