HBase 全分布式模式 [执行 HBase shell 时出现 Zookeeper 错误]

Question

按照这两个教程：即tutorial 1 和tutorial 2，我能够在完全分布式模式下设置 HBase 集群。最初集群似乎工作正常。

HMaster/Name 节点中的 'jps' 输出

DataNodes/RegionServers 中的 jps 输出

然而，当我每次尝试执行 hbase shell 时，HBase 处理器似乎由于一些 Zookeeper 错误而中断。错误贴在下面：

2021-03-13 11:52:26,047 ERROR [main] zookeeper.RecoverableZooKeeper: ZooKeeper exists failed a│1951 HRegionServer
fter 4 attempts                                                                               │hduser@master-vm:~$ 
2021-03-13 11:52:26,048 WARN  [main] zookeeper.ZKUtil: hconnection-0x4375b0130x0, quorum=137.4│
3.49.59:2181,137.43.49.58:2181,137.43.49.50:2181,137.43.49.49:2181, baseZNode=/hbase Unable to│
 set watcher on znode (/hbase/hbaseid)                                                        │
org.apache.zookeeper.KeeperException$ConnectionLossException: KeeperErrorCode = ConnectionLoss│
 for /hbase/hbaseid                                                                           │
        at org.apache.zookeeper.KeeperException.create(KeeperException.java:99)               │
        at org.apache.zookeeper.KeeperException.create(KeeperException.java:51)               │
        at org.apache.zookeeper.ZooKeeper.exists(ZooKeeper.java:1045)                         │
        at org.apache.hadoop.hbase.zookeeper.RecoverableZooKeeper.exists(RecoverableZooKeeper.│
java:221)                                                                                     │
        at org.apache.hadoop.hbase.zookeeper.ZKUtil.checkExists(ZKUtil.java:417)              │
        at org.apache.hadoop.hbase.zookeeper.ZKClusterId.readClusterIdZNode(ZKClusterId.java:6│

我尝试了几次尝试来解决这个问题（包括尝试使用不同的HBase/ Hadoop compatible versions）。但还是没有进展。

希望您对此发表意见。

以下是所需的其他信息：

• 在/etc/hosts 文件中：

（我已经尝试在 /etc/hosts/ 中注释 HBase 相关主机，但仍然无效）

• 在 hbase-site.xml 中

Answer 1

经过 5 天的忙碌，我知道出了什么问题。在这里发布我的解决方案。希望它也可以帮助其他一些开发人员。还要感谢 @VV_FS 的 cmets。

在我的场景中，我使用了从外部方挖来的虚拟机。因此，有一定的防火墙和其他安全措施。如果您遵循类似的实验设置，这些步骤可能会对您有所帮助。

要设置 HBase 集群，请按照以下教程进行操作。

1. Set up Hadoop in distributed mode。

在完全分布式模式下设置 HBase 时的注意事项：

• 确保打开帖子中提到的所有端口。例如，使用sudo ufw allow 9000 to open port 9000。按照命令打开与运行 Hadoop 相关的所有端口。

1. Set up Zookeeper in distributed mode.

在完全分布式模式下设置 Zookeeper 时的注意事项：

• 确保打开帖子中提到的所有端口。例如，使用sudo ufw allow 3888 to open port 3888。按照命令打开所有与运行 Zookeeper 相关的端口。
• DO 安装后不要启动 ZOOKEEPER 节点。 ZookeePER 将在内部由 HBASE 管理。因此，不要在这个阶段开始 Zookeeper。

1. Set up HBase in distributed mode。

• 为hbase-site.xml 设置值时，将端口号60000 用于hbase.master 标记，而不是60010。 （感谢@VV_FS 在前面的讨论中指出这一点）。

• 确保打开帖子中提到的所有端口。例如，使用sudo ufw allow 60000 to open port 60000。按照命令打开所有与运行 Zookeeper 相关的端口。

[重要提示]：如果遇到错误，请始终参考 HBase 日志。就我而言，hbase-mater-xxxxx.log 和 zookeeper-master--xxx.log 帮助我找到了确切的错误。