Spark 文件系统观察程序在 Windows 上不起作用答案

【问题标题】：Spark file system watcher not working on WindowsSpark 文件系统观察程序在 Windows 上不起作用
【发布时间】：2016-07-07 20:09:24
【问题描述】：

两个人在他们的电脑上测试了Apache Spark...

我们下载了适用于 Hadoop 2.6 的 Spark prebuild 版本，进入文件夹 /spark-1.6.2-bin-hadoop2.6/，创建了一个“tmp”目录，然后运行：

$ bin/run-example org.apache.spark.examples.streaming.HdfsWordCount tmp

我将任意文件 content1 和 content2dssdgdg 添加到该“tmp”目录中。

-------------------------------------------
Time: 1467921704000 ms
-------------------------------------------
(content1,1)
(content2dssdgdg,1)

-------------------------------------------
Time: 1467921706000 ms

Spark 在我的 Ubuntu 15.10 笔记本电脑上检测到具有上述终端输出的这些文件，但在我同事的 Windows 7 Enterprise 笔记本电脑上却没有。

Spark 的文件系统观察器不能在 Windows 上运行吗？

【问题讨论】：

标签： windows ubuntu apache-spark filesystemwatcher

【解决方案1】：

John，我建议对托管在https://github.com/karthikj1/Hadoop-2.7.1-Windows-64-binaries 的 64 位 Windows 7 使用 hadoop 编译的二进制文件。要使用这个 hadoop 版本，您需要使用为用户提供的 hadoop 预先构建的 spark 版本。确保按照https://spark.apache.org/docs/latest/hadoop-provided.html 中的说明设置 SPARK_DIST_CLASSPATH。还将 %HADOOP_HOME%\lib\native 放在 PATH 上。设置完成后，您需要按照https://wiki.apache.org/hadoop/Hadoop2OnWindows 中提到的步骤 3.1、3.3、3.4 和 3.5 来启动本地 HDFS。运行 HdfsWordCount 时，您需要将 hdfs:///tmp 作为目录路径参数传递。一切顺利。

【讨论】：