23
2021
01

Kafka 消息重复消费和消息丢包的解决办法

消费者 (offset手动提交,业务逻辑成功处理后,提交offset)


保证不重复消费:落表(主键或者唯一索引的方式,避免重复数据)


业务逻辑处理(选择唯一主键存储到Redis或者mongdb中,先查询是否存在,若存在则不处理;若不存在,先插入Redis或Mongdb,再进行业务逻辑处理)


自主维护 offset 判断不存在才插入值

« 上一篇 下一篇 »

发表评论:

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。