Airflow 2.3.2 中的空 S3 远程日志文件答案

【问题标题】：Empty S3 remote log files in Airflow 2.3.2Airflow 2.3.2 中的空 S3 远程日志文件
【发布时间】：2022-11-09 05:22:28
【问题描述】：

我使用以下变量配置了远程 S3 日志记录：

  - name: AIRFLOW__LOGGING__REMOTE_LOGGING
    value: 'True'
  - name: AIRFLOW__LOGGING__REMOTE_BASE_LOG_FOLDER
    value: 's3://my-airflow/airflow/logs'
  - name: AIRFLOW__LOGGING__REMOTE_LOG_CONN_ID
    value: 'my_s3'
  - name: AIRFLOW__LOGGING__LOGGING_LEVEL
    value: 'ERROR'
  - name: AIRFLOW__LOGGING__ENCRYPT_S3_LOGS
    value: 'False'

到目前为止，日志文件是使用名称为 attempt=1.log 或类似名称的 DAG 和任务路径创建的，但始终为 0 字节大小（空）。当我尝试查看来自 Airflow 的日志时，我收到了这条消息（我使用的是 KubernetesExecutor）：

*** Falling back to local log
*** Trying to get logs (last 100 lines) from worker pod  ***

*** Unable to fetch logs from worker pod  ***
(400)
Reason: Bad Request
HTTP response headers: HTTPHeaderDict({'Audit-Id': 'f3e0dd67-c8f4-42fc-945f-95dc42e8c2b5', 'Cache-Control': 'no-cache, private', 'Content-Type': 'application/json', 'Date': 'Mon, 01 Aug 2022 13:07:07 GMT', 'Content-Length': '136'})
HTTP response body: b'{"kind":"Status","apiVersion":"v1","metadata":{},"status":"Failure","message":"name must be provided","reason":"BadRequest","code":400}\n'

为什么我的日志文件是空的？

【问题讨论】：

我只有 2.3.4 有完全相同的问题。您可以在哪里找到解决方案？
嗨@OlegYamin，遗憾的是我没有......我正在考虑将日志记录后端更改为ElasticSearch。如果有任何问题，我会更新这个问题！

标签： airflow

【解决方案1】：

与v2.4.2版本完全相同的错误！

【讨论】：