Spark Shell 代码自动化使用 power shell 或 windows 批处理文件

Question

我有一个场景，我们将 apache spark 与 sql server 连接，将表的数据加载到 spark 中并从中生成 aparquet 文件。

这是我的代码的 sn-p：

val database = "testdb" 
val jdbcDF = (spark.read.format("jdbc")
.option("url",  "jdbc:sqlserver://DESKTOP-694SPLH:1433;integratedSecurity=true;databaseName="+database)
.option("dbtable", "employee")
.option("driver", "com.microsoft.sqlserver.jdbc.SQLServerDriver") 
.load())
jdbcDF.write.parquet("/tmp/output/people.parquet")

它在 spark shell 中运行良好，但我想在 Windows PowerShell 或 Windows 命令脚本 （批处理文件） 中自动执行此操作，以便它成为 SQL Server 作业的一部分。

如果有任何建议或线索，我将不胜感激。

Answer 1

我自己已经能够做到了，我会列出任何人都可以从中获得帮助的步骤。

1. 将您的代码 spark-shell 代码放入 scala 文件、程序或 scala 应用程序中。
2. 使用带有 Spark 依赖项的 SBT 或 Maven 构建 spark scala 应用程序。
3. 一旦您成功编译并运行您的 spark scala 应用程序。
4. 将 Scala 应用程序打包或组装成 jar 文件，Assembly 会生成一个胖 jar 文件，我使用了 Assembly。
5. 使用 spark-submit 在 Windows 批处理文件中调用 Spark 应用程序的 jar 文件，这将自动化您的 Spark 代码。