尝试写入 HDFS 时出现奇怪的错误答案

【问题标题】：A weird error when trying to write to HDFS尝试写入 HDFS 时出现奇怪的错误
【发布时间】：2015-04-08 18:34:59
【问题描述】：

我们在尝试写入 HDFS 时发现了一个额外的和偶然的错误。这是一个例外：

http://pastebin.com/3YDX4a39

这就是代码的样子：

http://pastebin.com/h1RW07qv

当我第一次尝试实例化 fs 字段变量时发生异常，第 12 行，当我尝试调用方法 MyWatchService.saveInputDataIntoHDFS 时，首先要做的是实例化 MyHadoopUtils 类的静态部分，

fs = FileSystem.get(myConf);

这引发了异常，但是在异常中我可以看到这条消息：

[INFO][FeedAdapter][2015-04-08 09:31:21] MyHadoopUtils:29 - HDFS instantiated! name: hdfs://dub-vcd-vms170.global.tektronix.net:8020
[INFO][FeedAdapter][2015-04-08 09:31:21] MyHadoopUtils:43 - HDFS fs instantiated? true

我怎样才能删除那个 IOException？

我是在linux环境下运行的，

    2.6.32-504.3.3.el6.centos.plus.x86_64, java version "1.7.0_71"
    OpenJDK Runtime Environment (rhel-2.5.3.2.el6_6-x86_64 u71-b14)
    OpenJDK 64-Bit Server VM (build 24.65-b04, mixed mode)

    <hadoop-hdfs.version>2.5.0-cdh5.2.0</hadoop-hdfs.version>
    <hadoop-common.version>2.5.0-cdh5.2.0</hadoop-common.version>

    <!-- necessary to write within HDFS -->
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-hdfs</artifactId>
        <version>${hadoop-hdfs.version}</version>
    </dependency>

    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-common</artifactId>
        <version>${hadoop-common.version}</version>
    </dependency>

【问题讨论】：

标签： hdfs cloudera-cdh

【解决方案1】：

我自己回复，设置HADOOP_HOME变量后问题就消失了

export HADOOP_HOME=/var/lib/hadoop-hdfs

【讨论】：