hbase lzo 表扫描导致 regionserver 关闭答案

【问题标题】：hbase lzo table scan cause regionserver shutdownhbase lzo 表扫描导致 regionserver 关闭
【发布时间】：2015-12-31 09:33:45
【问题描述】：

我有一个问题，一些信息如下：

节点：3 个节点，但仅配置 2 个区域服务器
操作系统：Centos6.3
Apache Hadoop2.7.1
Apache Hbase0.98.12

我的 hadoop 和 hbase 支持 lzo 压缩，同时支持 snappy 压缩成功，我有一个使用 lzo 压缩的 hbase 表，还有其他使用 snappy 压缩的 hbase 表，我在这个表中插入了 50 个 recoder 数据，好的，插入是没问题，但是当我使用 java api 扫描此表时，其中一个 regionserver 已失效。

我检查 hbase 日志，但没有错误或异常，但我检查 hadoop 日志，我发现一些例外：

java.io.IOException: Premature EOF from inputStream
    at org.apache.hadoop.io.IOUtils.readFully(IOUtils.java:201)
    at org.apache.hadoop.hdfs.protocol.datatransfer.PacketReceiver.doReadFully(PacketReceiver.java:213)
    at org.apache.hadoop.hdfs.protocol.datatransfer.PacketReceiver.doRead(PacketReceiver.java:134)
    at org.apache.hadoop.hdfs.protocol.datatransfer.PacketReceiver.receiveNextPacket(PacketReceiver.java:109)
    at org.apache.hadoop.hdfs.server.datanode.BlockReceiver.receivePacket(BlockReceiver.java:472)
    at org.apache.hadoop.hdfs.server.datanode.BlockReceiver.receiveBlock(BlockReceiver.java:849)
    at org.apache.hadoop.hdfs.server.datanode.DataXceiver.writeBlock(DataXceiver.java:804)
    at org.apache.hadoop.hdfs.protocol.datatransfer.Receiver.opWriteBlock(Receiver.java:137)
    at org.apache.hadoop.hdfs.protocol.datatransfer.Receiver.processOp(Receiver.java:74)
    at org.apache.hadoop.hdfs.server.datanode.DataXceiver.run(DataXceiver.java:251)

我不知道为什么只扫描 hbase 表时抛出异常，因为我执行 MR 作业读取 lzo 文件是正常的，谢谢你的回答！

【问题讨论】：

标签： hadoop hbase lzo

【解决方案1】：

您的内容的最后一行缺少返回。您必须使用这样的条件来控制 EOF：

while (line = mycontent.readLine()) != null)
{
...
...
}

【讨论】：

@QinDongLiang 这是一个例子。您必须在代码中控制 EOF。
我可能找到了原因，你可以给我答案，直到现在，我不知道如何解释原因

【解决方案2】：

好的，我终于找到答案了，难以置信，通过Hbase gc日志，我看到一个很长的完整gc建议，我的hbase的堆大小默认为1 gb，所以当我将它增加到4时可能出现问题GB堆，我使用大量压缩是正常的，所以请记住这个问题！

【讨论】：