使用日志包在 Databricks 中编写自定义日志文件答案

【问题标题】：Writing custom log files in Databricks using the logging package使用日志包在 Databricks 中编写自定义日志文件
【发布时间】：2022-11-21 22:59:27
【问题描述】：

当笔记本在 Databricks 中运行时，我想捕获自定义指标。我想使用日志包将这些写入文件。下面的代码似乎运行良好，但它从不写入文件。您如何在 Databricks runtime 9.1 中实现这一点？

logger = logging.getLogger('server_logger')
logger.setLevel(logging.INFO)
fh = logging.FileHandler('/dbfs/tmp/my_log.log')
fh.setLevel(logging.INFO)
formatter = logging.Formatter('%(asctime)s - %(levelname)s - %(message)s', datefmt='%Y-%m-%d %H:%M:%S')
fh.setFormatter(formatter)
logger.addHandler(fh)
logger.warning(f'starting to log the process')

【问题讨论】：

请阐明您的具体问题或提供更多详细信息以准确突出您的需求。正如目前所写的那样，很难准确地说出你在问什么。

标签： python logging databricks

【解决方案1】：

/dbfs/tmp 目录可能不存在，或者您没有写入权限。将日志文件名更改为 mylog.log，它按预期工作：

~/SO-logging-misc$ python so_74519222.py
~/SO-logging-misc$ more my_log.log 
2022-11-21 14:33:22 - WARNING - starting to log the process

【讨论】：