Flink：使用kafka流加入文件答案

【问题标题】：Flink: join file with kafka streamFlink：使用kafka流加入文件
【发布时间】：2017-12-25 22:00:48
【问题描述】：

我有一个问题，我真的无法弄清楚。所以我有一个 kafka 流，其中包含一些这样的数据：

{"adId":"9001", "eventAction":"start", "eventType":"track", "eventValue":"", "timestamp":"1498118549550"}

我想用另一个值“bookingId”替换“adId”。这个值位于一个 csv 文件中，但我真的不知道如何让它工作。

这是我的映射 csv 文件：

9001;8
9002;10

所以我的输出最好是这样的

{"bookingId":"8", "eventAction":"start", "eventType":"track", "eventValue":"", "timestamp":"1498118549550"}

这个文件可以至少每小时刷新一次，所以它应该接受对它的更改。

我目前有这段代码对我不起作用：

final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
env.enableCheckpointing(30000); // create a checkpoint every 30 seconds
env.setStreamTimeCharacteristic(TimeCharacteristic.ProcessingTime);

DataStream<String> adToBookingMapping = env.readTextFile(parameters.get("adToBookingMapping"));

DataStream<Tuple2<Integer,Integer>> input = adToBookingMapping.flatMap(new Tokenizer());

//Kafka Consumer
Properties properties = new Properties();
properties.setProperty("bootstrap.servers", parameters.get("bootstrap.servers"));
properties.setProperty("group.id", parameters.get("group.id"));

FlinkKafkaConsumer010<ObjectNode> consumer = new FlinkKafkaConsumer010<>(parameters.get("inbound_topic"), new JSONDeserializationSchema(), properties);

consumer.setStartFromGroupOffsets();

consumer.setCommitOffsetsOnCheckpoints(true);

DataStream<ObjectNode> logs = env.addSource(consumer);

DataStream<Tuple4<Integer,String,Integer,Float>> parsed = logs.flatMap(new Parser());

// output -> bookingId, action, impressions, sum
DataStream<Tuple4<Integer, String,Integer,Float>> joined = runWindowJoin(parsed, input, 3);


public static DataStream<Tuple4<Integer, String, Integer, Float>> runWindowJoin(DataStream<Tuple4<Integer, String, Integer, Float>> parsed,
      DataStream<Tuple2<Integer, Integer>> input,long windowSize) {

  return parsed.join(input)
          .where(new ParsedKey())
          .equalTo(new InputKey())
          .window(TumblingProcessingTimeWindows.of(Time.of(windowSize, TimeUnit.SECONDS)))
          //.window(TumblingEventTimeWindows.of(Time.milliseconds(30000)))
          .apply(new JoinFunction<Tuple4<Integer, String, Integer, Float>, Tuple2<Integer, Integer>, Tuple4<Integer, String, Integer, Float>>() {

              private static final long serialVersionUID = 4874139139788915879L;

              @Override
              public Tuple4<Integer, String, Integer, Float> join(
                              Tuple4<Integer, String, Integer, Float> first,
                              Tuple2<Integer, Integer> second) {
                  return new Tuple4<Integer, String, Integer, Float>(second.f1, first.f1, first.f2, first.f3);
              }
          });
}

代码只运行一次然后停止，因此它不会使用 csv 文件转换 kafka 中的新条目。关于如何使用 csv 文件中的最新值处理来自 Kafka 的流的任何想法？

亲切的问候，

暗恋

【问题讨论】：

标签： apache-kafka apache-flink

【解决方案1】：

您的目标似乎是将流式数据与变化缓慢的目录（即侧输入）结合起来。我认为join 操作在这里没有用，因为它不会跨窗口存储目录条目。此外，文本文件是一个有界输入，其行被读取一次。

考虑使用connect 创建连接流，并将目录数据存储为托管状态以执行查找。运算符的并行度需要为 1。

您可能会通过研究“辅助输入”并查看人们今天使用的解决方案来找到更好的解决方案。见FLIP-17 和Dean Wampler's talk at Flink Forward。

【讨论】：