【发布时间】:2017-05-18 19:17:17
【问题描述】:
现在,在我的场景中,flink 每次都从 kafka 读取最新数据。 例如, 卡夫卡产品:
日志1
日志2
日志3
读取时,只需要log3。
Kafka 消费者 API,seekToEnd() 可以做到。
FlinkKafkaConsumer 有同样的功能吗?
【问题讨论】:
-
log3是什么意思?这是主题还是数据记录? -
这是一条数据记录。
现在,在我的场景中,flink 每次都从 kafka 读取最新数据。 例如, 卡夫卡产品:
日志1
日志2
日志3
读取时,只需要log3。
Kafka 消费者 API,seekToEnd() 可以做到。
FlinkKafkaConsumer 有同样的功能吗?
【问题讨论】:
log3 是什么意思?这是主题还是数据记录?
Flink 1.3 有这个功能。
FlinkKafkaConsumer09 flinkKafkaConsumer09 = new FlinkKafkaConsumer09(properties.getProperty("topic"), new RowDeserializationSchema(properties.getProperty("separator"), resultType), properties);
flinkKafkaConsumer09.setStartFromLatest();
【讨论】: