MongoDB Spark 连接器无法在 Windows 上运行答案

【问题标题】：MongoDB Spark Connector not working on WindowsMongoDB Spark 连接器无法在 Windows 上运行
【发布时间】：2017-06-03 19:20:46
【问题描述】：

我在 Windows 上使用 MongoDB-Spark 连接器。我在 C:/Spark 的 C 驱动器中安装了 Spark。我在 C 盘中使用以下命令克隆了 MongoDB Spark 连接器 -

git 克隆https://github.com/mongodb/mongo-spark.git

并且在C盘创建了mongo-spark文件夹。

当我在 Spark bin 文件夹中运行以下命令时 -

C:\spark\bin>spark-shell --conf "spark.mongodb.input.uri=mongodb://127.0.0.1/test.CoOrder?readPreference=primaryPreferred" --conf "spark.mongodb.output.uri=mongodb://127.0.0.1/test.CoOrder1" --packages org.mongodb.spark:mongo-spark-connector_2.11:1.1.0

出现错误 -

'C:\spark\bin\spark-shell2.cmd" --conf "spark.mongodb.input.uri' 是不被识别为内部或外部命令、可运行程序或批处理文件。

如何将 spark 与 MongoDB 连接？这里我的 spark 没有连接到 mongo-spark 文件夹。如何将 spark 与 mongo-spark 文件夹链接？

谢谢

【问题讨论】：

C:\spark\bin>spark-shell --help 输出？可能是当前不支持将配置标志传递给 Windows。您可以将它们设置为实际配置的一部分，也可以在 shell 中将 uri 作为选项传递一次。

标签： mongodb apache-spark

【解决方案1】：

该错误通常与 Windows 上的 Apache Spark 安装不完整有关。确保您可以先自行执行spark-shell 命令以获取 Spark Scala shell。

请注意，您不需要克隆 mongo-spark git 存储库以使用 MongoDB Spark 连接器，spark-shell 选项 --packages org.mongodb.spark:mongo-spark-connector_ 将从 maven Central 下载必要的 jar。

另见MongoDB Spark Connector

【讨论】：