为什么我使用 Airflow 的 LocalExecutor 得到 ConnectionRefusedError？答案

【问题标题】：Why am I getting ConnectionRefusedError with Airflow's LocalExecutor?为什么我使用 Airflow 的 LocalExecutor 得到 ConnectionRefusedError？
【发布时间】：2021-07-11 21:02:43
【问题描述】：

当尝试使用命令 airflow scheduler 启动 Airflow 的调度程序时，如果 executor = LocalExecutor 在 airflow.cfg 中，我会收到以下错误：

  File "/usr/local/lib/python3.6/site-packages/airflow/executors/local_executor.py", line 92, in run
    key, command = self.task_queue.get()
  File "<string>", line 2, in get
  File "/usr/local/lib/python3.6/multiprocessing/managers.py", line 753, in _callmethod
    self._connect()
  File "/usr/local/lib/python3.6/multiprocessing/managers.py", line 740, in _connect
    conn = self._Client(self._token.address, authkey=self._authkey)
  File "/usr/local/lib/python3.6/multiprocessing/connection.py", line 487, in Client
    c = SocketClient(address)
  File "/usr/local/lib/python3.6/multiprocessing/connection.py", line 614, in SocketClient
    s.connect(address)
ConnectionRefusedError: [Errno 61] Connection refused

Python：3.6.13

Airflow：1.10.15（安装了它的约束）

操作系统：FreeBSD 12

【问题讨论】：

标签： python airflow freebsd airflow-scheduler

【解决方案1】：

这是因为在 FreeBSD 上，TCP 套接字的默认接受队列非常短（128），所以如果一个套接字有很多连接，而服务器没有accept() 足够快，内核将发送一个 TCP RST 到多余的请求。

增加队列长度有助于防止这种情况发生：

sysctl kern.ipc.soacceptqueue=1024

【讨论】：