在 Dask.distributed 中使用 client.scatter(df) 时引发异常答案

【问题标题】：Exception raised when using client.scatter(df) in Dask.distributed在 Dask.distributed 中使用 client.scatter(df) 时引发异常
【发布时间】：2019-02-21 22:11:40
【问题描述】：

我正在使用 stable/dask 存储库中的 Helm Chart 在 Kubernetes 上使用 Dask。使用分布式客户端并调用 client.scatter(ddf) 时，我得到一个异常如下：

例外：没有名为“pandas.core.internals.managers”的模块； 'pandas.core.internals' 不是一个包

查看已安装的软件包显示 Python 3.7 上的 Pandas==0.24.1 & dask-core==1.1.1。

查看工作人员的内存消耗表明没有任何内容发送给工作人员，当我添加关键字='broadcast'时，我可以观察到第二个工作人员的内存使用量短期上升，但随后我得到了上面提到的错误。

对我做错了什么有什么建议，或者这是 Dask/Pandas 的问题吗？

谢谢。

【问题讨论】：

标签： dask dask-distributed

【解决方案1】：

我的猜测是你在不同机器上的 Pandas 版本不同。您可以使用以下命令进行检查。

client.get_versions(check=True)

【讨论】：

原来是客户端安装的Pandas版本。谢谢！