将大型 csv 文件加载到 rapidminer 中的问题

Question

我正在尝试将一个大的 csv 文件（大约 18G）加载到 rapidminer 中以构建分类模型。 “导入配置向导”似乎很难加载数据。因此，我选择使用“编辑参数列表：数据集元数据信息”来设置属性和标签信息。但是，UI 界面只允许我逐列设置这些信息。我的 csv 文件有大约 80000 列。我应该如何处理这种情况？谢谢。

Answer 1

我自己还没有尝试过，但是您应该能够将 CSV 加载到 MySQL 数据库中。然后，您可以使用流数据库运算符来避免大小限制。以下是 RapidMiner 的描述：

与将数据加载到主内存中的Read Database算子相比，Stream Database算子将数据保存在数据库中并批量执行数据读取。这允许 RapidMiner 访问任意大小的数据集而没有任何大小限制。