懒惰地从 PostgreSQL / Cassandra 创建 Dask DataFrame

Question

据我了解，Dask DataFrame 是处理表格数据之类的正确方法。 我在 PostgreSQL 中有一个表，我知道如何将它加载到 pandas.Dataframe。

我知道，odo 可用于将pandas.DataFrame 转换为 dask.dataframe。 但 这不是惰性操作：这种转换强制将整个 PostgeSQL 表加载到内存中，这很糟糕。我更喜欢一个一个或一个块地阅读项目。如何做到这一点？

1. Cassandra 的类似问题。但 Cassandra 就像分布式存储，可以针对分布式访问进行优化。但是如何使用 Dask 做到这一点？

Answer 1

对于 MongoDB，我创建了以下解决方案： https://gist.github.com/Sklavit/747e292fc17f6c9b400470006ff1c567

主要思想是创建一个目标名称包，然后将这些参数传递给加载器。