【发布时间】：2018-09-27 12:33:27
【问题描述】：
我正在尝试使用 Apache Flink 1.6.0 从 kafka 主题中读取一些消息，对其进行转换，最后将它们发送到另一个 kafka 主题。我使用保存点来保存应用程序的状态，以防取消和重新启动。问题是我在重新启动后阅读消息时重复。 kafka 版本是 011。感谢任何有用的评论。
【问题讨论】：
标签： apache-kafka apache-flink savepoints
【发布时间】：2018-09-27 12:33:27
【问题描述】：
为避免重复，设置kafka生产者时需要传递Semantic.EXACTLY_ONCE。有关使用 Kafka 时数据丢失和重复的更多详细信息，请参阅the documentation。
【讨论】：
-
感谢您的回答。当我将 Semantic.EXACTLY_ONCE 参数传递给生产者时，我收到以下错误消息：“此时挂起的记录计数必须为零：1”
-
错误是因为我将“value.serializer”设置为“org.apache.kafka.common.serialization.StringSerializer”而不是“org.apache.kafka.common.serialization.ByteArraySerializer”