在 Java 中读取大量数据

Question

我正在使用 Java 读取和处理来自 UCI Machine Learning Repository 的一些数据集。 我开始为每个数据集创建一个类并使用特定的类文件。数据集中的每个属性都由所需类型的类中的相应数据成员表示。这种方法效果很好，直到没有。归因于

问题： 我现在必须处理很多大型数据集。具有> 20-30个属性的那些以这种方式工作非常乏味。我不需要查询。我的数据离散化算法只需要对数据进行 4 次扫描即可对其进行离散化。我的工作在离散化后立即结束。这里有什么有效的策略？

我希望我能够清楚地说明我的问题。

Answer 1

一些选项：

1. 编写代码生成器，读取文件的元数据，生成等效的类文件。
2. 不用上课；将数据保存在 Object 或 String 的数组中，并根据需要进行转换。
3. 为您需要的所有类型创建一个包含 DataElements 和子类 DataElements 集合的类，并使用元数据在运行时创建正确的类。

Answer 2

我在我的一个项目中做了类似的事情；大量可变数据，就我而言，我是从互联网上获取数据的。由于我需要查询、排序等，我花了一些时间设计一个数据库来适应数据的所有变化（并非所有条目都具有相同数量的属性）。确实需要一段时间，但最后我使用相同的代码来获取任何条目的数据（在我的例子中使用 JPA）。我的 IDE (NetBeans) 直接使用数据库模式创建了大部分代码。

从你的问题来看，不清楚你打算如何使用这些数据，所以我根据个人经验来回答。

Answer 3

创建一个包含如下成员的简单 DataSet 类：

 public class DataSet {
     private List<Column> columns = new ArrayList<Column>();
     private List<Row> rows = new ArrayList<Row>();

     public void parse( File file ) {
         // routines to read CSV data into this class
     }
 }

 public class Row {
     private Object[] data;

     public void parse( String row, List<Column> columns ) {
         String[] row = data.split(",");
         data = new Object[row.length];

         int i = 0;
         for( Column column : columns ) {
             data[i] = column.convert(row[i]);
             i++;
         }
     }
 }

 public class Column {
     private String name;
     private int index;
     private DataType type;

     public Object convert( String data ) {
         if( type == DataType.NUMERIC ) {
            return Double.parseDouble( data );
         } else {
            return data;
         }
     }
 }

 public enum DataType {
     CATEGORICAL, NUMERIC
 }

这将处理您希望使用的任何数据集。唯一的问题是用户必须通过将列及其各自的数据类型定义到 DataSet 来定义数据集。您可以在代码中执行此操作，也可以从文件中读取任何您认为更容易的方法。您可能可以默认很多配置数据（例如 CATEGORICAL），或者尝试解析字段，如果失败，它必须是 CATEGORICAL 否则它的数字。通常，该文件包含一个标题，您可以解析以查找列的名称，然后您只需通过查看该列中的数据来确定数据类型。猜测数据类型的简单算法对您有很大帮助。本质上，这是每个其他包用于此类数据的完全相同的数据结构（例如 R、Weka 等）。