惰性 CSV 过滤/解析 - 提高性能

Question

延迟过滤 CSV 文件

我需要过滤存储为大量 CSV 文件的数百万条日志记录。记录的大小大大超出了我的可用内存，所以我想采用一种懒惰的方法。

Java 8 流 API

使用jdk8，我们拥有与Apache commons-csv 配对的Streams API，让我们可以轻松完成此任务。

public class LazyFilterer {

    private static Iterable<CSVRecord> getIterable(String fileName) throws IOException {
        return CSVFormat
                .DEFAULT
                .withFirstRecordAsHeader()
                .parse(new BufferedReader(new FileReader(fileName)));
    }

    public static void main(String[] args) throws Exception {
        File dir = new File("csv");

        for (File file : dir.listFiles()) {
            Iterable<CSVRecord> iterable = getIterable(file.getAbsolutePath());

            StreamSupport.stream(iterable.spliterator(), true)
                    .filter(c -> c.get("API_Call").equals("Updates"))
                    .filter(c -> c.get("Remove").isEmpty())
                    .forEach(System.out::println);
        }
    }
}

性能

这张来自 VisualVM 的图表显示了使用比上图更复杂的过滤管道¹ 解析 2.3 GB CSV 文件期间的内存使用情况。

如您所见，内存使用量在过滤发生时基本保持不变²。

你能找到另一种方法来更快地完成相同的任务，同时不增加代码复杂性吗？

欢迎任何语言，Java 不一定是首选！

脚注

[1] - 例如对于与"API_Call" 匹配的每个CSVRecord，我可能需要进行一些JSON 反序列化并在此之后进行额外的过滤，或者甚至为某些记录创建一个对象以促进额外的计算。

[2] - 图表开头的空闲时间是 System.in.read()，用于确保 VisualVM 在计算开始之前已完全加载。

Answer 1

这对于仅 2.3GB 的数据来说太可怕了，我可以建议您尝试使用 uniVocity-parsers 以获得更好的性能吗？试试这个：

CsvParserSettings settings = new CsvParserSettings();
settings.setHeaderExtractionEnabled(true); // grabs headers from input

//select the fieds you are interested in. The filtered ones get in front to make things easier
settings.selectFields("API_Call", "Remove"/*, ... and everything else you are interested in*/);

//defines a processor to filter the rows you want
settings.setProcessor(new AbstractRowProcessor() {
    @Override
    public void rowProcessed(String[] row, ParsingContext context) {
        if (row[0].equals("Updates") && row[1].isEmpty()) {
            System.out.println(Arrays.toString(row));
        }
    }
});

// create the parser
CsvParser parser = new CsvParser(settings);

//parses everything. All rows will be sent to the processor defined above
parser.parse(file, "UTF-8"); 

我知道它不起作用，但处理我创建的一个 4 GB 文件来测试它需要 20 秒，同时消耗 不到 75mb 整个时间的记忆。从您的图形来看，您当前的方法似乎需要 1 分钟来处理较小的文件，并且需要 10 倍的内存。

试试这个例子，相信会有很大帮助。

免责声明，我是这个库的作者，它是开源免费的（Apache 2.0 许可）