如何将 JAR 文件上传到服务器答案

【问题标题】：How to Upload JAR file to Serverr如何将 JAR 文件上传到服务器
【发布时间】：2020-03-17 19:33:07
【问题描述】：

我已经创建了我的 Scala Spark 代码的 JAR 文件，并在我的本地系统上成功运行了该 JAR 文件。我想在集群上执行该 JAR 文件，为此我必须将 JAR 文件推送到服务器。如何将我的 JAR 文件上传到服务器？

我使用 Maven 创建 JAR 文件

【问题讨论】：

【解决方案1】：

在构建 SparkSession 之前，您可以使用 setJars 告诉 Spark 在哪里可以找到要部署到集群的 jar 文件。

sparkConf.setJars(List(conf.getString("spark.oneJar")))
val sparkSession:SparkSession=SparkSession.builder().config(sparkConf).getOrCreate()

在我的例子中，我使用 maven-shade-plugin 在编译时构建 oneJar，然后将它从目标目录部署到 Spark Cluster。

【讨论】：

如何部署 Spark 集群？
那是完全不同的话题。您应该创建另一个问题或首先查看文档spark.apache.org/docs/latest/… 或现有问题stackoverflow.com/questions/30074272/…

【解决方案2】：

只需登录到本地 spark 集群中的节点并在终端中执行以下命令

$ spark-submit --class your.package.name.ClassName /home/username/your-created-jar-using-maven.jar

/home/username/your-created-jar-using-maven.jar 是保存 JAR 文件的位置，your.package.name.ClassName 是完全限定的类位置。

【讨论】：

这行不通。我们必须将第一个 JAR 文件推送到服务器，而不是从服务器我们必须执行 spark-submit 命令
预计您将使用 scp 命令或 SFTP 协议将 JAR 推送到 spark 集群的任何节点。我已经告知要登录到 spark 节点，这意味着文件需要存在于节点机器中。

【解决方案3】：

您可以使用MobaXterm 看看。使用 SSH 连接到您的集群，然后您就可以拖放文件了。

【讨论】：