【问题标题】:Akka.Kafka - warning message - Resuming partitionsAkka.Kafka - 警告消息 - 恢复分区
【发布时间】:2017-04-22 12:09:15
【问题描述】:

在恢复所有主题的分区时,我会不断收到调试消息。如下所示。此消息每毫秒在我的服务器上连续打印一次。

08:44:34.850 [default-akka.kafka.default-dispatcher-10] DEBUG o.a.k.clients.consumer.KafkaConsumer - Resuming partition test222-7
08:44:34.850 [default-akka.kafka.default-dispatcher-10] DEBUG o.a.k.clients.consumer.KafkaConsumer - Resuming partition test222-6
08:44:34.850 [default-akka.kafka.default-dispatcher-10] DEBUG o.a.k.clients.consumer.KafkaConsumer - Resuming partition test222-9
08:44:34.850 [default-akka.kafka.default-dispatcher-10] DEBUG o.a.k.clients.consumer.KafkaConsumer - Resuming partition test222-8

这个 这是代码

val zookeeperHost = "localhost"
val zookeeperPort = "9092"
// Kafka queue settings
 val consumerSettings = ConsumerSettings(system, new ByteArrayDeserializer, new StringDeserializer)
       .withBootstrapServers(zookeeperHost + ":" + zookeeperPort)
       .withGroupId((groupName))
       .withProperty(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "latest")

 // Streaming the Messages from Kafka queue
 Consumer.committableSource(consumerSettings, Subscriptions.topics(topicName))
     .map(msg => {
       consumed(msg.record.value)
     })
     .runWith(Sink.ignore)

请帮助正确进行分区以停止调试消息。

【问题讨论】:

  • 你有没有连续调用KafkaConsumer.resume方法?
  • 我没有调用 KafkaConsumer.resume 方法。我在我的主课上调用了一次Consumer.committableSource
  • 我需要为 Akka-Kafka 做分区配置吗?提前致谢!

标签: scala akka apache-kafka kafka-consumer-api akka-stream


【解决方案1】:

似乎reactive-kafka code 在开始获取之前恢复了每个分区:

consumer.assignment().asScala.foreach { tp =>
  if (partitionsToFetch.contains(tp)) consumer.resume(java.util.Collections.singleton(tp))
  else consumer.pause(java.util.Collections.singleton(tp))
}
def tryPoll{...}
checkNoResult(tryPoll(0))

如果分区之前没有暂停,KafkaConsumer.resume 方法是无操作的。

【讨论】:

  • 我没有暂停我的代码中的分区。但是我正在不断地恢复分区。有没有办法阻止这种情况?我该如何处理?请有任何建议。提前致谢!
  • @ArunKannan 你解决了吗?我有同样的问题
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 2011-10-08
  • 1970-01-01
  • 1970-01-01
  • 2021-01-19
  • 1970-01-01
  • 2018-07-05
  • 2016-02-25
相关资源
最近更新 更多