带有 uber-jar 的 Spark-submit 无法执行作业，没有任何输出或错误日志答案

【问题标题】：Spark-submit with uber-jar failed to execute the job without any output or error logs带有 uber-jar 的 Spark-submit 无法执行作业，没有任何输出或错误日志
【发布时间】：2018-04-25 12:24:34
【问题描述】：

我正在尝试使用 sbt compile 和 sbt package 命令生成 uber-jar，以便在远程服务器上运行我的应用程序，并将 spark 安装为独立模式。我使用 deeplearning4j 框架来构建 LSTM 神经网络，并倾向于通过 spark 执行训练模型。尽管如此，我在运行 spark-submit 命令时遇到了一个问题：

spark-submit --class "lstm.SparkLSTM" --master local[*] 
stock_prediction_scala_2.11-0.1.jar --packages 
org.deeplearning4j:deeplearning4j-core:0.9.1 "/home/hadoop/ScalaWorkspace/Stock_Prediction_Scala/target/lstm_train/prices-split-adjusted.csv" "WLTW"

问题是似乎 spark-submit 在我的情况下没有生效。它在输入 spark-submit 后立即终止，没有抛出任何错误。我在输出中没有看到训练的进度。

[hadoop@abc lstm_train]$ spark-submit --class "lstm.SparkLSTM" --master local[*] stock_prediction_scala_2.11-0.1.jar --packages org.deeplearning4j:deeplearning4j-core:0.9.1 "/home/hadoop/ScalaWorkspace/Stock_Prediction_Scala/target/lstm_train/prices-split-adjusted.csv" "WLTW"
2018-04-25 17:06:50 WARN  Utils:66 - Your hostname, gaion34 resolves to a loopback address: 127.0.0.1; using 192.168.0.173 instead (on interface eno1)
2018-04-25 17:06:50 WARN  Utils:66 - Set SPARK_LOCAL_IP if you need to bind to another address
2018-04-25 17:06:51 WARN  NativeCodeLoader:62 - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
2018-04-25 17:06:51 INFO  ShutdownHookManager:54 - Shutdown hook called
2018-04-25 17:06:51 INFO  ShutdownHookManager:54 - Deleting directory /tmp/spark-c4aee15e-d23b-4c03-95a7-12d9d39f714a

我的主要课程： https://gist.github.com/rickyhai11/627d0da8bc93615785382b249618f43b

如何查看 spark-submit 命令生成的日志？我曾尝试使用 --verbose，但是没有帮助。

有人遇到过这个问题，请指教。谢谢

【问题讨论】：

尝试使用 spark-submit 选项，我怀疑你需要使用：--deploy-mode=client -> spark.apache.org/docs/latest/submitting-applications.html
@rickyhai11 - 请您帮忙解决问题。即使我得到同样的错误。

标签： scala apache-spark lstm spark-submit deeplearning4j

【解决方案1】：

如何查看 spark-submit 命令生成的日志？我尝试使用 --verbose，但是没有帮助。

查看端口 8080 上的 Web UI，更多详细信息here

由于您提到了“远程服务器”，因此您的本地浏览器中的 localhost:8080 可能无法访问此 UI。你需要port forwarding with ssh tunneling。

另外：

Option --files 将确保您的 .csv 文件上传到每个执行程序的工作目录

确保 .jar 确实存在于 ./ 默认情况下，sbt package 在 target/scala-2.11/ 创建 uber jar

我会从类名中去掉引号

【讨论】：