Flink CsvTableSource 流式处理

Question

我想流式传输 csv 文件并使用 flink 执行 sql 操作。但是我写的代码只读了一次就停止了。它不流式传输。提前致谢，

StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

StreamTableEnvironment tableEnv = StreamTableEnvironment.getTableEnvironment(env);

CsvTableSource csvtable = CsvTableSource.builder()
    .path("D:/employee.csv")
    .ignoreFirstLine()
    .fieldDelimiter(",")
    .field("id", Types.INT())
    .field("name", Types.STRING())
    .field("designation", Types.STRING())
    .field("age", Types.INT())
    .field("location", Types.STRING())
    .build();

tableEnv.registerTableSource("employee", csvtable);

Table table = tableEnv.scan("employee").where("name='jay'").select("id,name,location");
//Table table1 = tableEnv.scan("employee").where("age > 23").select("id,name,age,location");

DataStream<Row> stream = tableEnv.toAppendStream(table, Row.class);

//DataStream<Row> stream1 = tableEnv.toAppendStream(table1, Row.class);

stream.print();
//stream1.print();

env.execute();

Answer 1

CsvTableSource 基于 FileInputFormat，它逐行读取和解析引用的文件。结果行被转发到流式查询中。所以CsvTableSource 是流式传输的，因为行被连续读取和转发。但是，CsvTableSource 在文件末尾终止。因此，它会发出一个有界流。

我假设您期望的行为是CsvTableSource 读取文件直到其结束，然后等待追加写入文件。 但是，这不是CsvTableSource 的工作方式。为此，您需要实现自定义 TableSource。