Pandas Dataframe 中的大数据加载

Question

由于我是大数据平台的新手，我想对我的数据进行一些特征工程。数据库大小约为 30-50 Gb。是否可以在像熊猫数据框这样的数据框中加载完整数据（30-50Gb）？

这里使用的数据库是 Oracle。我试图加载它，但出现内存不足错误。此外，我喜欢在 Python 中工作。

Answer 1

pandas 不好，如果你有 GBS 的数据，最好使用分布式架构来提高速度和效率。有一个名为 DASK 的库，可以加载大数据并使用分布式架构。