大数据学习碰到的问题

发布时间 2023-03-30 15:05:45作者: 百衲本

1. nodes with inconsistent version

报错截图

网上搜索发现需要使用HBCK工具,但是发现有些参数不支持,报错如下

 最终结论

在2.0.3和2.1.1之前的hbase不支持此修复工具

https://github.com/apache/hbase-operator-tools/tree/master/hbase-hbck2

查看当前HBase安装版本

hbase version
HBase 2.0.2.3.1.4.0-315 #很悲催,在不支持列表中

2.NameNode Last Checkpoint

报错截图

原理

HDP中的hdfs组件默认的dfs.namenode.checkpoint.period和dfs.namenode.checkpoint.txns分别是6个小时和1000000。
只要达到这两个条件之一,secondarynamenode会执行checkpoint操作

解决方法是要我们手动保存一次HDFS的检查点

sudo -u hdfs hdfs dfsadmin -safemode enter
sudo -u hdfs hdfs dfsadmin -saveNamespace
sudo -u hdfs hdfs dfsadmin -safemode leave