java：一次读取所有csv文件并对元素/行求和

Question

我有这个函数，它假设打开一个文件并读取第一个元素[第一行][第一列]，将它存储在一个 3D 数组中[文件索引][行][列]，然后打开下一个文件并执行相同的过程。此操作应一直运行，直到所有文件中的所有行和列都存储在 3D 数组中。 我的问题是，这个函数完成了这项工作，但它只读取每个文件的第一行（行）并停在那里！！ 任何专家都可以帮助我弄清楚我的功能发生了什么吗？我已经使用 java 大约两个月了：/

public static double[][][] fetch_data(int start, int end, int column) throws IOException{
    // start and end are for files start and end index. 
    int length = file_length(start); // since all files have the same length. The file_length() function just determine the length.
    data = new double [number_of_files][length][number_of_columns];
    int sum = 0;
    for (int i = 0; i < length; i++){
        for (int index = start; index < end; index++){
            Scanner scan = new Scanner (new BufferedReader(new FileReader(file_call(index)))); // file_call() is a function that lookup the file dir.
            scan.nextLine();
                String scanedData = scan.nextLine();
                String [] array = scanedData.split(",");
                data[index][i][colum] = Double.parseDouble(array[index]);
                sum += data[index][i][colum];
                System.out.println(" element " + data[index][i][column]); // just to test the loop
            }
        }
        return data;
    }

数据文件如下所示： 文件（1）：

A, B, C, D 
1, 2, 3, 4
13, 2, 3, 4
1, 2, 3, 4
...

文件（2）：

A, B, C, D 
5, 6, 7, 8
55, 6, 7, 8
5, 6, 7, 8
...

文件（3）：

A, B, C, D 
9, 10, 11, 12
9, 10, 11, 12
91, 10, 11, 12
...

预期的输出（我们忽略了上面代码中的第一行“A，B C，D”）：

1+5+9,  2+6+10, ...
13+55+9, 2+6+10, ...
1+5+91,  2+6+10,  ...
...

我希望找到一个java专家，他可以教我如何让我for循环遍历每个文件的所有行，例如读取所有文件中的第一行并再次返回并读取所有文件中的第二行等等。

非常感谢你们的帮助。

最好的

Answer 1

这不是loop：

if (scan.hasNext()){

由于您每次都在重新创建扫描程序，因此您每次都是从文件顶部重新开始。你有几个选择。要么：

1. （低效）为每个文件的每次迭代创建一个新的 Scanner，并跳到正确的行
2. 维护一个扫描器列表并一起读取所有文件
3. 维护一个文件内容列表并顺序读取每个文件

如果您选择选项 3，则需要在之后使用另一个循环处理结果。

Answer 2

private static double[][] getCsv(Path path) {
  try {
    return Files.lines(path).map(line -> 
      Arrays.stream(line.split(",")).mapToDouble(Double::valueOf).toArray()
    ).toArray(double[][]::new);
  } catch (IOException e) { 
    throw new UncheckedIOException(e); 
  }
}

...

Path[] paths = ...

double[][][] result = Arrays.stream(paths).map(
    path -> getCsv(path)
).toArray(double[][][]::new);

Answer 3

我可以在这里看到一些错误的东西：

1. 在data[index][i][colum] = Double.parseDouble(array[index]); 行中，变量colum 未定义（拼写错误？）

2. 在同一行中，array[index] 可能不正确，因为您必须从 array 读取所有值，而不仅仅是单个值。此外，index 是文件索引，而不是array 内的索引。您应该遍历array，其中column 是列索引。即：

   for (int column = 0; column < array.length; column++) {
       data[index][i][column] = Double.parseDouble(array[column]);
   }
   

Answer 4

好的，我设法通过编写以下函数解决了我的小问题。 下面的函数，去读取每个文件中的第一列，并将其视为为 x 轴存储的值。在这个函数中，我们不会遍历文件索引，因为所有文件的第一列都是相同的，所以从任何文件中获取第一列就足够了。如果您的文件不同，则只需遍历文件索引，如下面的第二个函数解释 y 轴。

//================================= Generate x-data for x-axis
    public static double[][] get_x_data(int start, int end, int node) throws IOException{
        // start: for start file, end: for end file, node: for column
        // storing the volt column from the first file, we call it base experiment
        // base file is specified by the user or the machine will take the first file as base by default
        int base_index = 0; // should be implemented in the gui later

        if (base_index == 0){
            index = 1;
            @SuppressWarnings("resource")
            int length =  data_vault.file_length(index); // "file_length" is a function that determine the length of the file.
            String filename = data_vault.file_call(index); // "file_call" is a function that seek the name of the file from some directory. But you can insert you file directly here!
            data_x = new double [length][end];
            Scanner scan = new Scanner (new BufferedReader(new FileReader(filename)));
            scan.nextLine();
            for (int i = 0; i < length; i++){
                String scanedData = scan.nextLine();
                String [] array = scanedData.split(",");
                data_x[i][index] = Double.parseDouble(array[0]);
                x_value = data_x[i][index]; // no need for this
                //System.out.println("x-axis " + data_x[i][index] + " file index " + index + " read " + i);
            }
        }
        return data_x;
    }

下面的函数独立查找每一列并将其视为 y 轴值：它有一个内部循环，贯穿每个文件的行（我从零运行到文件的最后一行，长度）。这个“i”循环被另一个循环包裹，该循环在文件索引（file_1、file_2、...、file_n）上运行。然后所有函数都被一个在列上运行的循环包裹。下面是生成 y 轴实体的函数：

//================================= Generate y-data for y-axis
public static double[][] get_y_data(int start, int end, int node) throws IOException{

    for (int index = start; index < end; index++){
        @SuppressWarnings("resource")
        int length =  data_vault.file_length(index);
        data_y = new double [length][end];
        String filename = data_vault.file_call(index);
        Scanner scan = new Scanner (new BufferedReader(new FileReader(filename)));
        scan.nextLine();
        for (int i = 0; i < length; i++){
            String scanedData = scan.nextLine();
            String [] array = scanedData.split(",");
            data_y[i][index] = Double.parseDouble(array[node]);
            y_value = data_y[i][index]; // no need for this
            //System.out.println(" y-axis " + y_value);
        }
    }
    return data_y;
}

注意这里的'index'允许用户选择从哪里开始读取他的文件，从第一个或'n'文件开始。索引循环将从'int start' 开始并循环到'int end'。

然后你基本上可以用这些矩阵做任何你想做的事情。我希望这个解决方案对某人有所帮助。

最适合你们。

Answer 5

如果我理解正确，您的代码中有一些不必要的部分。我会这样做：

• 初始化一个四列十行的双精度数组（我不知道大小是否应该固定——现在我们假设它是固定的——你会更容易地扩展它以使其更通用）：

  double[][] m = new double[10][4];

这是一个零数组。

• 现在，假设n 是您要读取的文件数，因此您在for 循环中读取（将执行n 次）所有文件，一个接一个。在for 循环中，您使用while 循环和hasNext() 方法作为条件。在while 循环中，您读取另一行，将其拆分为数字，然后将相应的数字添加到一行中的每个单元格（您将需要额外的迭代器来指定下一行）。

独立行的大部分操作都是在您发布的代码中完成的，因此对您来说应该不是问题。

这只是一个想法。

第二种方法

我可以想到一种没有while 循环的方法。考虑使用Scanner 类，使用useDelimeter() 方法，您会将文件拆分为单独的行，然后将单独的行拆分为数字。您需要数组n x r x c，其中n 是文件数，r 行数，c 列数。在那里，您将存储文件中的数据。有了这个三维数组，您可以轻松地以任何您想要的方式添加值。