如何增加 bluemix 上 spark-submit 作业的日志记录输出？答案

【问题标题】：how to increase the logging output for spark-submit job on bluemix?如何增加 bluemix 上 spark-submit 作业的日志记录输出？
【发布时间】：2016-05-12 19:20:06
【问题描述】：

我已将 python 作业作为服务提交给 bluemix spark，但它失败了。不幸的是，日志记录不足，我不知道它失败的原因。

如何提高日志级别输出？

spark 作为服务的输出：

==== Failed Status output =====================================================

Getting status
HTTP/1.1 200 OK
Server: nginx/1.8.0
Date: Thu, 12 May 2016 19:09:30 GMT
Content-Type: application/json;charset=utf-8
Content-Length: 850
Connection: keep-alive

{
  "action" : "SubmissionStatusResponse",
  "driverState" : "ERROR",
  "message" : "Exception from the cluster:
org.apache.spark.SparkUserAppException: User application exited with 255
    org.apache.spark.deploy.PythonRunner$.main(PythonRunner.scala:88)
    org.apache.spark.deploy.PythonRunner.main(PythonRunner.scala)
    sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:95)
    sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:55)
    java.lang.reflect.Method.invoke(Method.java:507)
    org.apache.spark.deploy.ego.EGOClusterDriverWrapper$$anon$3.run(EGOClusterDriverWrapper.scala:430)",
  "serverSparkVersion" : "1.6.0",
  "submissionId" : "xxxxxx",
  "success" : true
}
===============================================================================

我已针对 BigInsights 集群成功运行了相同的作业。在 biginsights 集群上运行时，我还会得到更详细的输出。

【问题讨论】：

标签： python apache-spark ibm-cloud

【解决方案1】：

有stderr-%timestamp% 和stdout-%timestamp%文件从集群下载到您运行spark-submit.sh 的本地目录。通常你会在这两个文件中找到工作问题。

参考：http://spark.apache.org/docs/latest/spark-standalone.html#monitoring-and-logging

【讨论】：