spark - hadoop 参数答案

【问题标题】：spark - hadoop argumentspark - hadoop 参数
【发布时间】：2017-08-10 22:20:13
【问题描述】：

我同时运行 hadoop 和 spark，我想使用 hdfs 中的文件作为 spark-submit 的参数，所以我在 hdfs 中创建了一个包含文件的文件夹例如。 /用户/hduser/测试/输入我想像这样运行 spark-submit：

$SPARK_HOME/bin/spark-submit --master spark://admin:7077 ./target/scala-2.10/test_2.10-1.0.jar hdfs://user/hduser/test/input

但我不能让它工作，正确的方法是什么？

我得到的错误是：

WARN FileInputDStream: 查找新文件时出错 java.lang.NullPointerException

【问题讨论】：

【解决方案1】：

检查您是否能够从 Spark 代码访问 HDFS，如果是，那么您需要在 Scala 导入中添加以下代码行。

import org.apache.hadoop.fs.FileSystem
import org.apache.hadoop.fs.Path
import org.apache.spark.SparkFiles

然后在您的代码中添加以下行

var hadoopConf = new org.apache.hadoop.conf.Configuration()
var fileSystem = FileSystem.get(hadoopConf)
var path = new Path(args(0))

【讨论】：

【解决方案2】：

实际上问题出在路径上。我不得不使用 hdfs://localhost:9000/user/hduser/...

【讨论】：