带有 Predicate 类型逻辑的 Flink DataStream API

Question

我想编写一个使用 DataStream API 的 Flink Streaming 应用程序。我想做一些类似于 KStream 提供的东西。

例如，我想做这样的事情：

dataStream.map(...).filter(new CustomPredicateFilterFunction<>()).toSink();

CustomPredicateFilterFunction 接受 Predicate 类型作为输入。 Predicate 基本上是一个表达式树，遍历并决定过滤条件。

这可能吗？我想使用 SQL 解析器并将其自定义为这种方式。这有意义还是我应该只使用 Flink SQL？

Answer 1

使用 Flink SQL，修改查询将需要重新编译和重新启动作业。您的建议是可行的，但似乎需要付出很多努力才能避免一些停机时间。