19
2021
01

为什么引入 secondaryNameNode?

由于只有在重启时 fsimage 和 edits 才会进行合并,得到一个新的 fsimage 文件,但是在实际生产环境中很少会重启集群,NN 的重启需要花费很长时间,因为会有很多改动需要合并到 fsimage 文件上,如果 NN 挂掉,fsimage 文件没有更新内容,从而丢失很多改动。


但 editlog 日志大小会随着时间变的越来越大,导致系统重启,根据日志恢复元数据的时间会越来越长;


为了避免这种情况,引入检查点机制checkpoint,命名空间镜像 fsimage 就是 HDFS 元数据的持久性检查点,即将内存中的元数据落磁盘生成的文件;

« 上一篇 下一篇 »

发表评论:

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。