线程“主”java.io.IOException 中的异常：不完整的 HDFS URI，没有主机：hdfs Spark RDD答案

【问题标题】：Exception in thread "main" java.io.IOException: Incomplete HDFS URI, no host: hdfs Spark RDD线程“主”java.io.IOException 中的异常：不完整的 HDFS URI，没有主机：hdfs Spark RDD
【发布时间】：2016-05-06 02:01:07
【问题描述】：

我正在尝试使用 Spark 将文本文件的内容保存在 hdfs 中：

 import org.apache.spark.{SparkContext, SparkConf}

  object FormatTlfHdfs {   def main(args : Array[String]) {
     val conf = new SparkConf().setAppName("Clean data")
                  .setMaster("local").setSparkHome("/usr/lib/spark")

     val sc = new SparkContext(conf)

     var vertices = sc.textFile("hdfs:///user/cloudera/dstlf.txt").flatMap{ 
       line => line.split("\\s+") }.distinct()

我收到了错误：

线程“主”java.io.IOException 中的异常：不完整的 HDFS URI，没有主机：hdfs:///user/cloudera/metadata-lookup-tlf

执行 hdfs dfs -ls 看起来是正确的

cloudera@quickstart grafoTelefonos]$ hdfs dfs -ls /user/cloudera 
Found 6 items 
drwx------   - cloudera cloudera          0 2016-02-04 18:37 /user/cloudera/.Trash 
drwxr-xr-x   - cloudera cloudera          0 2016-05-02 13:38 /user/cloudera/.sparkStaging
-rw-r--r--   1 cloudera cloudera       1294 2016-05-02 13:34 /user/cloudera /dstlf.txt

【问题讨论】：

标签： hadoop apache-spark hdfs

【解决方案1】：

错误似乎很明显......

不完整的 HDFS URI，没有主机：hdfs:///user/cloudera/metadata-lookup-tlf

你没有指定主机像

hdfs://quickstart:<hdfs_port>/user/cloudera...

您可能不需要<hdfs_port> 部分，但它不会受到伤害。我认为正确的端口是 8020，所以你会有

hdfs://quickstart:8020/user/cloudera...

【讨论】：