无法连接到远程 Hbase

Question

我在分布式模式下安装了 Hbase。数据库工作正常，如果我的 webapp(spring + datanucleus JDO) 部署在与 Hbase master 相同的机器上，我可以连接到数据库。

但如果我在另一台机器上运行相同的 webapp，我将无法连接到 HBase 服务器。根本没有例外，webapp 只是停止并在几分钟后超时。我的配置文件如下：

hbase-site.xml ->

<configuration>
  <property>
    <name>hbase.zookeeper.quorum</name>
    <value><IP>:2181</value>
    <description>The host and port that the HBase master runs at.
    </description>
  </property>
</configuration>

datanucleus.properties ->

javax.jdo.PersistenceManagerFactoryClass=org.datanucleus.api.jdo.JDOPersistenceManagerFactory
javax.jdo.option.ConnectionURL=hbase:
datanucleus.autoCreateSchema=true
datanucleus.autoCreateTables=true
datanucleus.autoCreateColumns=true
datanucleus.cache.level2.type=none

我在这里做错了什么。以及客户端机器应该可以访问的所有端口（因为在生产中我们只打开需要的端口）。

谢谢

Answer 1

HBase 对 /etc/hosts 配置非常敏感。我必须正确设置 hbase-site.xml 中的 zeekeeper 绑定属性才能使上述 Java 代码正常工作...例如：我有设置如下：

{property}
  {name}hbase.zookeeper.quorum{/name}
  {value}www.remoterg12.net{/value}      {!-- this is the externally accessible domain --}
{/property}
{property}
  {name}hbase.zookeeper.property.clientPort{/name}
  {value}2181{/value}              {!-- everything needs to be externally accessible --}
{/property}
{property}
  {name}hbase.master.info.port{/name}    {!--   http://www.remoterg12.net:60010/ --}
  {value}60010{/value}
{/property}
{property}
  {name}hbase.master.info.bindAddress{/name}
  {value}www.remoterg12.net{/value}      {!-- Use this to access the GUI console, --}
{/property}

远程 GUI 将为您提供绑定域的清晰图片。例如，“GUI Web 控制台”中的 [HBase Master] 属性应该是这样的：www.remoterg12.net:60010（它应该不是 localhost:60010 )... 是的!!，我确实不得不玩弄 /etc/hosts 因为我不想弄乱现有的 Apache 配置:-)

Answer 2

人们有时不会想到的一件令人惊讶的事情：通常大部分集群都隐藏在交换机后面。如果您的所有机器 IP 地址都是 198...*，则通常会出现这种情况。如果您尝试访问集群的机器不在同一个网络中，您将无法使用 hbase。这是因为您的 hbase 连接直接从客户端到托管数据的节点。它们不会通过您习惯登录的双宿主节点。

我不知道有什么好的解决方法，除了将您的应用程序放在可以看到世界其他地方的双宿主节点上。或者在该节点上设置某种网关。这对于像 JDO 这样的库来说可能是个问题

Answer 3

注意，我没有使用 DataNucleus。但是，当我们将 Master 与客户端分开时，我们不得不调整配置​​。

Configuration conf = HBaseConfiguration.create();
conf.set("hbase.zookeeper.quorum", SERVER);
conf.set("hbase.zookeeper.property.clientPort", PORT);

您可以查看您的 HBase web shell（通常是：主机箱上的 localhost:60010）并获取 ZK 转储。检查您是否正在与 ZK 建立连接。