【问题标题】:hadoop cluster use HDFS as default.fs, Client wants to use file on local file systemhadoop集群使用HDFS作为default.fs,客户端想使用本地文件系统上的文件
【发布时间】:2015-06-02 17:13:41
【问题描述】:

我的 hadoop 集群使用 HDFS 作为默认 fs。但在客户端,输入文件位于本地文件系统上。 (出于某种原因,我不想将它移到 HDFS 中)。如果我给 mapreduce 作业一个像 'file:///opt/myDoc.txt' 这样的 Uri,我有一个文件不存在错误。在这种情况下如何访问本地文件系统?

【问题讨论】:

    标签: hadoop mapreduce hdfs cloudera hortonworks-data-platform


    【解决方案1】:

    这是您提供输入路径详细信息的地方 FileInputFormat.setInputPaths(conf, new Path(args[0]));

    给出本地路径,而不是 args[0]。 可能duplicate

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2015-03-28
      • 1970-01-01
      • 2013-05-24
      • 2018-11-18
      • 1970-01-01
      • 2015-09-27
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多