功能解析/组装文件

Question

我有一个要解析的 sql 文件。我可以轻松加载整个文件 string.split(";") 并正确分隔文件。但是，从挑战和学习的角度来看，我想应用一些功能 foo 和一些流来处理任意大小的文件。但这会变得很棘手。

基本上我需要：

1. 加载任意数据缓冲区（假设是一行，因为我可以使用 Java 的 BufferedReader 流式传输这些
2. 继续连接这些行直到有分隔符;
3. 发出连接的结果
4. 在分隔符后开始新的 sql 命令
5. 最终结果：List<String>代表所有要执行的sql命令

这是一个示例：

CREATE SCHEMA HelloWorld;

USE HelloWorld;

CREATE TABLE HelloWorldTest (
  id int PRIMARY KEY NOT NULL AUTO_INCREMENT,
  message VARCHAR(32)
);

INSERT INTO HelloWorldTest (message) VALUES ('Hello world!');
INSERT INTO HelloWorldTest (message) VALUES ('this is a test!');

Java 效率低下：

 String fileData = IOUtils.toString(sqlFile);
 List<String> sqlStats = stream(fileData.split(";")).filter(s -> s.length() > 0)
        .collect(toList());

如何使用流和函数式编程来处理任何大小的文件？欢迎使用非 Java 的答案，因为 Java 可能无法使用本机库完成这项工作

Answer 1

使用扫描仪：

try (Scanner s = new Scanner(new File("/path/to/file.txt"))) {
    s.useDelimiter(";");
    Spliterator<String> splt = Spliterators.spliterator(s, Long.MAX_VALUE, Spliterator.ORDERED | Spliterator.NONNULL);
    StreamSupport.stream(splt, false).filter(x -> !x.isEmpty()).forEach(executeSql);
}