Dask Distributed - 推荐的软件包版本答案

【问题标题】：Dask Distributed - Recommended package versionsDask Distributed - 推荐的软件包版本
【发布时间】：2020-01-12 06:06:10
【问题描述】：

我最近尝试将我的 Dask Distributed 升级到 2.3.0 并将 fastparquet 升级到 0.3.2，但发现它会导致与 Dask Distributed 2.1.0 一起使用的代码出现死锁和工人退出（我想利用read_parquet 功能“gather_statistics=False”，在 Dask 2.2.0+ 中）。看起来龙卷风可能无法与较新版本的 Dask 配合使用 - 我收到类似于我粘贴在底部的错误。

升级 tornado 似乎无法解决我在使用 Dask 2.3.0 时遇到的稳定性问题。我集群中当前看起来很稳定的相关软件包集是：

Python 3.7.3

dask==2.1.0 

distributed==2.1.0 

tornado==6.0.2

blosc==1.8.1 

bokeh==1.2.0 

cloudpickle==1.2.1 

fastparquet==0.3.1 

fsspec==0.4.1 

msgpack==0.6.1 

numpy==1.16.1 

pandas==0.24.2 

six==1.12.0 

toolz==0.9.0 

colorama==0.4.1 

numba==0.44.1 

python-snappy==0.5.1 

Cython==0.29.13

Nodes are a mix of Ubuntu 18 and 19

推荐的哪些软件包版本应该与 Dask Distributed 2.3.x 保持稳定？

是否有任何其他软件包我应该确保集群中的所有节点都具有相同的版本？

2019-09-10 01:25:17,211 - INFO - 192.168.0.152 - tornado.application - ERROR - Exception in callback functools.partial(<bound method IOLoop._discard_future_result of <tornado.platform.asyncio.AsyncIOLoop object at 0x7f8d8963af28>>, <Future finished exception=TypeError("'NoneType' object is not subscriptable")>)

2019-09-10 01:25:17,214 - INFO - 192.168.0.152 - Traceback (most recent call last):

2019-09-10 01:25:17,265 - INFO - 192.168.0.152 -   File "/usr/local/lib/python3.7/dist-packages/tornado/ioloop.py", line 743, in _run_callback

2019-09-10 01:25:17,300 - INFO - 192.168.0.152 -     ret = callback()

2019-09-10 01:25:17,308 - INFO - 192.168.0.152 -   File "/usr/local/lib/python3.7/dist-packages/tornado/ioloop.py", line 767, in _discard_future_result

2019-09-10 01:25:17,344 - INFO - 192.168.0.152 -     future.result()

2019-09-10 01:25:17,373 - INFO - 192.168.0.152 -   File "/usr/local/lib/python3.7/dist-packages/tornado/gen.py", line 742, in run

2019-09-10 01:25:17,379 - INFO - 192.168.0.152 -     yielded = self.gen.send(value)

2019-09-10 01:25:17,394 - INFO - 192.168.0.152 -   File "/usr/local/lib/python3.7/dist-packages/distributed/worker.py", line 796, in heartbeat

2019-09-10 01:25:17,411 - INFO - 192.168.0.152 -     if response["status"] == "missing":

2019-09-10 01:25:17,447 - INFO - 192.168.0.152 - TypeError: 'NoneType' object is not subscriptable

【问题讨论】：

您是否考虑过在github 上提出问题？

标签： dask dask-distributed dask-delayed

【解决方案1】：

我们共同测试和共同发布 Dask 的相关子包。我们努力做到这一点，以便在任何时候，所有软件包的最新版本都处于良好的工作状态。

我们有时可能会失败，但如果我们这样做了，那就是一个错误。在这些情况下，我建议在 Github 上提交错误报告。

【讨论】：