如何对 DSX 预定笔记本进行故障排除？答案

【问题标题】：How to troubleshoot a DSX scheduled notebook?如何对 DSX 预定笔记本进行故障排除？
【发布时间】：2017-01-06 10:15:15
【问题描述】：

我有一个 DSX 笔记本，我可以使用 DSX 用户界面手动运行它，它会在 Cloudant 数据库中填充一些数据。

我已安排笔记本每小时运行一次。一夜之间，我预计该作业会运行多次，但 Cloudant 数据库尚未更新。

如何调试计划的作业？是否有任何日志可以检查以验证笔记本是否已实际执行？我的笔记本的输出是否保存到日志文件中？在哪里可以找到这些文件？

【问题讨论】：

标签： apache-spark ibm-cloud data-science-experience dsx

【解决方案1】：

一种可能性是查看笔记本内核的内核日志。为此，您需要使用 Python 笔记本。

在 Python 笔记本中的 gpfs 上检查以下位置：

!ls /gpfs/fs01/user/USERID/logs/notebook/

要获取 USERID，请执行以下代码：

!whoami

您应该为每个内核找到一个日志文件，例如kernel-python3-20170105_102510.

【讨论】：

是的，这也是可能的。

【解决方案2】：

一个问题是print() 语句不会进入日志文件，因此您需要使用 spark 日志记录功能。在 pyspark 中，我创建了一个实用函数，可以将输出发送到日志文件，但在手动运行笔记本时也会将其打印到笔记本：

# utility method for logging
log4jLogger = sc._jvm.org.apache.log4j

# give a meaningful name to your logger (mine is CloudantRecommender)
LOGGER = log4jLogger.LogManager.getLogger("CloudantRecommender")

def info(*args):
    print(args) # sends output to notebook
    LOGGER.info(args) # sends output to kernel log file

def error(*args): 
    print(args) # sends output to notebook
    LOGGER.error(args) # sends output to kernel log file

在我的笔记本中使用这样的功能：

info("some log output")

如果我检查日志文件，我可以看到我的注销正在被写入：

! grep 'CloudantRecommender' $HOME/logs/notebook/*pyspark* 

kernel-pyspark-20170105_164844.log:17/01/05 10:49:08 INFO CloudantRecommender: [Starting load from Cloudant: , 2017-01-05 10:49:08]
kernel-pyspark-20170105_164844.log:17/01/05 10:53:21 INFO CloudantRecommender: [Finished load from Cloudant: , 2017-01-05 10:53:21]

异常似乎也不会发送到日志文件，因此您需要将代码包装在 try 块中并记录错误，例如

import traceback
try:
    # your spark code that may throw an exception
except Exception as e:
    # send the exception to the spark logger
    error(str(e), traceback.format_exc(), ts())
    raise e

注意： 在调试过程中遇到的另一个问题是计划作业运行特定版本的笔记本。检查您是否在保存新版本的笔记本时更新了计划作业。

【讨论】：

【解决方案3】：

您可以在~/notebook/logs/ 位置找到笔记本执行日志。如果您的笔记本在夜间执行了多次，您会发现多个日志条目 (ls -la ~/notebook/logs/)。打开相关日志文件之一（根据时间戳），查看笔记本是否存在与 Cloudant 或其他问题 (cat ~/notebook/logs/kernel-pyspark-20170105_095103.log) 的连接问题。

【讨论】：