从 pandas DataFrame 转换为原始 numpy 数组可以提高 ML 性能吗？

Question

熊猫DataFrame 有固定整数数据类型的限制（int64）。 NumPy 数组没有这个限制；例如，我们可以使用np.int8（我们也有不同的浮点大小可用）。（不再存在限制。）

如果我们首先将 DataFrame 转换为具有减小数据类型的原始 NumPy 数组（例如从 np.float64 到 np.float16），scikit-learn 的性能一般会提高吗？ 如果是这样，这种可能的性能提升是否只有在内存有限时才会发挥作用？

相对于计算量和复杂性，看起来非常高的浮点精度通常对 ML 并不重要。

如果需要更多上下文，我正在考虑将像 RandomForestRegressor 这样的集成学习器应用于大型数据集（4-16GB，数千万条记录，包含约 10-50 个特征）。不过，我对一般情况最感兴趣。

Answer 1

RandomForestRegressor 的文档指出，输入样本将在内部转换为 dtype=np.float32。

---

以下是原始答案，它解决了在 Pandas 中使用自定义 numpy 类型的问题（问题的划线部分）

您可以在 Pandas 中使用numpy dtypes。这是导入具有指定列 dtypes 的 .csv 文件的示例（来自我的脚本）：

df = pd.read_csv(filename, usecols=[0, 4, 5, 10],
                 dtype={0: np.uint8,
                        4: np.uint32,
                        5: np.uint16,
                        10: np.float16})

您可以使用 Series.astype() 更改现有 Series 或现有 DataFrame 中列的 dtype：

s = pd.Series(...)
s = s.astype(np.float16)

df = pd.DataFrame(...)
df['col1'] = df['col1'].astype(np.float16)

如果要更改 DataFrame 中多个列的 dtypes，甚至更改所有列的 dtype，请使用 DataFrame.astype()：

df = pd.DataFrame(...)
df[['col1', 'col2']] = df[['col1', 'col2']].astype(np.float16)