熊猫 to_hdf() 溢出警告

Question

我需要将一个大数据帧保存到 hdf5 文件，所以我使用了：

self.feature_concated.to_hdf(self.h5_result_name, key='feature_data', mode='a', format='table')

然后会出现运行时警告：

F:\Anaconda3\lib\site-packages\tables\leaf.py:357: RuntimeWarning: overflow encountered in long_scalars

expected_mb = (expectedrows * rowsize) // MB

但是当我不使用灵活格式的hdf时，就不会有这样的问题了。

self.feature_concated.to_hdf(self.h5_result_name, key='feature_data', mode='a')

我想知道这个问题的原因是什么，我该如何解决？

Answer 1

嗯，我在保存 pandas 数据帧时收到了同样的消息：

RuntimeWarning: overflow encountered in long_scalars expected_mb = (expectedrows * rowsize) // MB

我已经解决了设置数字列的dtypes：

df_book[["year","bnumber","cnumber","vnumber"]] = \
    df_book[["year","bnumber","cnumber","vnumber"]].apply(pd.to_numeric)

就我而言，我以前知道这些类型。