气流任务信息 - 任务退出并返回代码 -9答案

【问题标题】：airflow task INFO - Task exited with return code -9气流任务信息 - 任务退出并返回代码 -9
【发布时间】：2020-09-12 20:48:58
【问题描述】：

我正在使用大熊猫数据框，而任务运行 30-40 分钟。在繁重的计算中，我收到了这条消息：-

-bash-4.2$ tail -f  /home/app/airflow/logs/report_dag_for_new_metrics/first_pass_yield_metrics/2020-05-21T15\:41\:46.689070+00\:00/2.log 
[2020-05-26 05:05:17,427] {logging_mixin.py:95} INFO - sort columns in data frame for merge ['product_id', 'type', 'created_date']
[2020-05-26 05:05:24,153] {logging_mixin.py:95} INFO -        product_id type              created_date
0  00000346333824    I                2020-04-17
1  00000346333824    U  2020-04-25T21:53:58.551Z
2  00000346333824    U  2020-04-25T22:07:03.581Z
3  00000346333824    U  2020-05-20T04:32:16.581Z
4  00000346357646    I                2020-04-17
[2020-05-26 05:05:24,173] {logging_mixin.py:95} INFO - (58582, 1206)
[2020-05-26 05:05:24,194] {logging_mixin.py:95} INFO - 23618
[2020-05-26 05:17:17,260] {logging_mixin.py:95} INFO - [2020-05-26 05:17:17,259] {local_task_job.py:105} INFO - Task exited with return code -9

任何帮助，气流社区对代码 9 也没有多说。看到与代码 6 相关的问题。

【问题讨论】：

标签： python python-3.x pandas numpy airflow

【解决方案1】：

-9 indicates 系统杀死了进程，很可能是因为 DataFrame 消耗了太多内存。最好的建议是重写您的脚本以使用更少的内存或扩展运行 Airflow 的机器（如果可能）。

【讨论】：