气流复制日志答案

【问题标题】：Airflow duplicating logs气流复制日志
【发布时间】：2020-05-08 11:00:03
【问题描述】：

我使用的是 Airflow 1.10.4，但在使用登录自定义模块时遇到问题。

我的代码如下：

import logging
log = logging.getLogger(__name__)
log.info('hello there')

输出如下：

[2020-01-22 09:44:29,954] {{logging_mixin.py:95}} INFO - [[34m2020-01-22 09:44:29,954[0m] {{[34mbase_hook.py:[0m84}} INFO[0m - hello there.

时间、文件名和日志记录级别在我日志的每一行都重复。如何实现 Airflow 的日志以避免这种情况？（我在操作符中使用了self.log，没有问题。）

【问题讨论】：

我也遇到了这个问题……绝对不是日志格式字符串的问题。我尝试使用自定义 logging_config.py 脚本设置“高级日志记录”，但它并不涵盖所有情况（例如，当从 Python 中调用时，我的自定义模块发出的日志看起来正确（没有双倍时间戳/标头）运算符，但不是从 DAG 本身调用时。）
我通过将气流运算符的日志传递给方法/类来解决这个问题。这是我的临时解决方案。

标签： airflow

【解决方案1】：

检查airflow.cfg 文件中的log_format 值。

我的默认配置：

# Log format
log_format = [%%(asctime)s] {%%(filename)s:%%(lineno)d} %%(levelname)s - %%(message)s
simple_log_format = %%(asctime)s %%(levelname)s - %%(message)s

【讨论】：