Apache Flink：为 DataStream API 添加侧输入

Question

在我的 Java 应用程序中，我有 三个 DataStreams。例如，一个流数据是从 Kafka 消费的，另一个流数据是从 Apache Nifi 消费的。对于这两个流的对象类型是不同的。例如Stream-1对象类型为Person，Stream-2对象类型为Address。

第三个是广播流（因为这个数据是从Kafka消费的）。

现在我想在 Job 类中组合 Stream-1 和 Stream-2，并希望在任务流程元素中进行拆分。如何实现？

注意： Stream-1 是主流，Stream-2 是侧输入。 MainStream 不断从 Kafka 获取数据。对于 Side Input，最初在应用程序启动时，所有表数据都从 DB 加载，然后在表数据更新时（不频繁）读取新数据。

示例结构：

DataStream<Person> stream-1 = env.addSource(read data from kafka)....
DataStream<Address> stream-2 = env.addSource(read data from nifi)....
BroadcastStream<String> BroadCastStream = stream-3.broadcast(read data from kafka);

我被称为以下链接。

FLIP-17 Side Inputs for DataStream API

jira/browse/FLINK-6131

我的用例是：

使用缓慢演变的数据加入流：我们用于丰富的辅助输入随着时间的推移而演变（从数据库中读取数据）。这可以通过在处理主输入之前等待一些初始数据可用并在新数据到达时不断将新数据引入内部侧输入结构来完成。

Answer 1

根据最新的回复，@Arvid 的推荐实际上正是这里所需要的。

答案的核心：

即使stream1和stream2不同，您也可以轻松加入 类型。然后你可以将广播添加到结果中

链接到doc 和example，以及文档中的相关sn-p（示例太长，无法包含在此处）：

import org.apache.flink.api.java.functions.KeySelector;
import org.apache.flink.streaming.api.windowing.assigners.TumblingEventTimeWindows;
import org.apache.flink.streaming.api.windowing.time.Time;
 
...

DataStream<Integer> orangeStream = ...
DataStream<Integer> greenStream = ...

orangeStream.join(greenStream)
    .where(<KeySelector>)
    .equalTo(<KeySelector>)
    .window(TumblingEventTimeWindows.of(Time.milliseconds(2)))
    .apply (new JoinFunction<Integer, Integer, String> (){
        @Override
        public String join(Integer first, Integer second) {
            return first + "," + second;
        }
    });