如何将日志数据写入 AWS Glue 中的文件？答案

【问题标题】：How do i write log data into file in AWS Glue?如何将日志数据写入 AWS Glue 中的文件？
【发布时间】：2020-07-06 14:14:58
【问题描述】：

我的代码使用带有 pyspark 的 AWS Glue。我在 AWS Glue 中启用了连续日志。我不确定连续日志将日志数据存储在哪里。我正在使用下面的代码，

logger = logging.getLogger('My-code')
logger.setLevel(logging.INFO)
logger.info("Hello")

如何将这些数据（即 logger.info("Hello")）重定向到文件中？

【问题讨论】：

【解决方案1】：

启用持续监控后，您可以在 cloudwatch 中查看作业的完整日志。

要查看日志，您需要为粘合作业启用 cloudwatch，然后您可以查看所有日志并启用这些作业日志的保留。

如果您希望胶水作业将日志直接生成到 s3，则不能使用文件协议或记录器包来实现，而是可以利用有点 hacky 的 rdd 方法。

使用您想要的日志消息创建一个列表，最后使用 parallelize 将该列表转换为 rdd，然后将该 rdd 保存到 s3 路径。

但更推荐使用 cloudwatch 来获取日志。

【讨论】：