【问题标题】:hadoop wordcount and upload file into hdfshadoop wordcount和上传文件到hdfs
【发布时间】:2016-12-23 01:42:22
【问题描述】:

大家好,我是 hadoop 的新手,我以伪模式安装 hadoop。 配置文件在这里

core-site.xml

<configuration>

   <property>
      <name>fs.default.name </name>
      <value> hdfs://localhost:9000 </value> 
   </property>

</configuration>

hdfs-site.xml

<configuration>

   <property>
      <name>dfs.replication</name>
      <value>1</value>
   </property>

   <property>
      <name>dfs.name.dir</name>
      <value>file:///home/hadoop_usr/hadoopinfra/hdfs/namenode </value>
   </property>

   <property>
      <name>dfs.data.dir</name> 
      <value>file:///home/hadoop_usr/hadoopinfra/hdfs/datanode </value> 
   </property>

</configuration>

并且我成功启动了 datanodenamenode

现在我想通过以下方式将我的文件放入 hdfs

出了什么问题为什么我收到错误消息。请帮我解决这个问题

如果我使用以下方式将文件放入 hdfs,则 time 命令工作正常。现在我appand hdfs url。 请帮助我为什么我以第一种方式出错。 因为在运行我的 wordcount.jar 时,当我提到 data.txt 作为应该执行操作的输入文件时,我也会收到错误消息。

提前致谢。

【问题讨论】:

    标签: hadoop


    【解决方案1】:

    data/data.txt 的第一次put 操作不起作用的原因可能是您的hdfs 中还没有文件夹data。 您可以使用hadoop fs -mkdir /data 创建它。

    【讨论】:

    • 感谢@Armin Braun。然后 > hadoop fs -ls 找到 1 项 drwxr-xr-x - hadoop_usr supergroup 0 2016-12-22 23:17 data then i use > hadoop jar wordcount.jar hdp.WordCount data /data.txt wordcountoutput 并得到 org.apache.hadoop.mapred.FileAlreadyExistsException: 输出目录 hdfs://localhost:9000/user/hadoop_usr/data/data.txt 已经存在
    • 请帮帮我,至少我可以运行我的第一个 hadoop 程序
    • @sawaisingh 你正在运行什么 Wordcount 作业?,它似乎想使用第一个参数作为输出目录?
    • 真的很感谢人。我从前两天被卡住了。这是我的错误真的感谢人。非常感谢
    • @sawaisingh 没问题 :)
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2023-03-16
    • 1970-01-01
    • 1970-01-01
    • 2015-08-23
    • 2013-01-11
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多