警告关于 2.0.1 版的火花流答案

【问题标题】：WARN about spark streaming by ver 2.0.1警告关于 2.0.1 版的火花流
【发布时间】：2016-10-11 15:01:09
【问题描述】：

当我尝试使用带有检查点的最新 Spark Streaming 时：

cfg = SparkConf().setAppName('MyApp').setMaster('local[3]')
sc = SparkContext(conf=cfg)
ssc = StreamingContext(sparkContext=sc, batchDuration=1)
ssc.checkpoint('checkpoint')

然后我反复收到这个警告：

-------------------------------------------
Time: 2016-10-11 10:08:02
-------------------------------------------
('world', 1)
('hello', 1)

16/10/11 10:08:06 WARN DFSClient: Caught exception 
java.lang.InterruptedException
    at java.lang.Object.wait(Native Method)
    at java.lang.Thread.join(Thread.java:1281)
    at java.lang.Thread.join(Thread.java:1355)
    at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.closeResponder(DFSOutputStream.java:609)
    at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.endBlock(DFSOutputStream.java:370)
    at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.run(DFSOutputStream.java:546)
-------------------------------------------
Time: 2016-10-11 10:08:03
-------------------------------------------
('world', 1)
('hello', 1)

那是什么？看起来像 HDFS 的 WARN

这是重要的信息吗？

我确定 spark ver 2.0.0 没有 WARN

【问题讨论】：

我认为问题在于 hadoop-hdfs.jar 从 v2.7.2 升级到 v2.7.3。 Spark 2.0.0 使用 2.7.2 而 Spark 2.0.1 使用 2.7.3
@KenjiNoguchi 是的！这就是原因。将 hadoop-hdfs-2.7.2.jar 从 2.0.0 复制到 2.0.1 后没有 WARN！

标签： apache-spark hdfs pyspark spark-streaming

【解决方案1】：

为了完整起见，我将评论移至答案

我认为问题在于 hadoop-hdfs.jar 从 v2.7.2 升级到 v2.7.3。 Spark 2.0.0 使用 2.7.2 而 Spark 2.0.1 使用 2.7.3

【讨论】：