【问题标题】:How can flink reads newest data from kafkaflink如何从kafka读取最新数据
【发布时间】:2017-05-18 19:17:17
【问题描述】:

现在,在我的场景中,flink 每次都从 kafka 读取最新数据。 例如, 卡夫卡产品:

日志1

日志2

日志3

读取时,只需要log3。

Kafka 消费者 API,seekToEnd() 可以做到。

FlinkKafkaConsumer 有同样的功能吗?

【问题讨论】:

  • log3 是什么意思?这是主题还是数据记录?
  • 这是一条数据记录。

标签: apache-kafka apache-flink


【解决方案1】:

Flink 1.3 有这个功能。

FlinkKafkaConsumer09 flinkKafkaConsumer09 = new FlinkKafkaConsumer09(properties.getProperty("topic"), new RowDeserializationSchema(properties.getProperty("separator"), resultType), properties);

flinkKafkaConsumer09.setStartFromLatest();

【讨论】:

    猜你喜欢
    • 2016-11-08
    • 2018-02-01
    • 2014-10-19
    • 2018-05-09
    • 2017-05-06
    • 2019-08-01
    • 1970-01-01
    • 1970-01-01
    • 2018-05-13
    相关资源
    最近更新 更多