使用 KafkaItemReader 从特定日期范围内的 Kafka 主题中获取记录（Spring 批处理作业以读取 kafka 流）

【问题标题】：Fetch the records from Kafka topic within specific date range using KafkaItemReader (Spring batch job to read kafka streams)使用 KafkaItemReader 从特定日期范围内的 Kafka 主题中获取记录（Spring 批处理作业以读取 kafka 流）
【发布时间】：2020-06-01 07:59:49
【问题描述】：

有没有一种方法可以在春季批处理作业中读取来自 Kafka 主题的记录，该作业使用 KafkaItemReader 用于特定日期范围？

【问题讨论】：

日期范围是什么意思？您指的是消息时间戳（参见stackoverflow.com/questions/24768429）吗？如果没有 Spring Batch，你会怎么做？
是的，这意味着消息首次发布到主题上的时间。

标签： spring-batch kafka-consumer-api

【解决方案1】：

暂时不支持，需要编写自定义阅读器或使用项目处理器来过滤掉超出范围的消息（过滤数据是项目处理器的典型用例：https://docs.spring.io/spring-batch/docs/4.2.x/reference/html/readersAndWriters.html#filteringRecords）

【讨论】：

我的问题陈述基本上是在我的春季批次的一次运行中阅读特定日期的消息，第二天我想阅读下一个日期的消息。我不想一口气读完它们，然后再过滤。我想有选择地阅读消息并在不过滤的情况下发送给 ItemWriter。
这是有道理的，我相信这是KafkaItemReader 的典型用例。如果您设法在没有 Spring Batch 的情况下做到这一点，请分享您的发现。我们可以看看如何改进当前的KafkaItemReader 来支持它。

猜你喜欢

2016-10-27
1970-01-01
2016-06-13
1970-01-01
1970-01-01
1970-01-01
1970-01-01
2021-10-18
2021-04-22

相关资源

下载 2021-06-06
下载 2022-11-30
下载 2022-12-31

最近更新更多

热门标签

Java Python linux javascript Mysql C# Docker 算法前端 SpringBoot Redis Vue spring 设计模式 .net core .net kubernetes c++ 数据库数据结构大数据 js 机器学习微服务 Android Go 程序员面试 JVM ASP.net core 云原生人工智能后端 PHP git CSS golang k8s Nginx Django mybatis 深度学习多线程 React 架构 devops 爬虫云计算 Spring Boot LeetCode