如何处理 Kafka Consumer 中的多条记录？

Question

您好，我正在开发 Confluent Kafka Consumer。我的经纪人有多个记录。我现在想处理所有的记录。下面是我的消费者实现。

public ConsumeResult<string, GenericRecord> Consume(string topic)
    {
      ConsumeResult<string, GenericRecord> result;
      try
      {
        result = consumer.Consume();
        Commit(result);
        return result;
      }
      catch (Exception e)
      {
        this.logger.Error("KafkaClient", $"Error sending message '{e.Message}'");
        return null;
      }
    }

如果 Broker 中有多个记录，那么我将使用 GenericRecord 获得一个事件/消息。如果有多个记录那么如何有效地处理消费者呢？任何帮助，将不胜感激。谢谢

Answer 1

你只会循环。看例子

https://github.com/confluentinc/confluent-kafka-dotnet/blob/master/examples/AvroGeneric/Program.cs

while (true)
{
    try
    {
        var consumeResult = consumer.Consume(cts.Token);

        Console.WriteLine($"Key: {consumeResult.Message.Key}\nValue: {consumeResult.Value}");
    }
    catch (ConsumeException e)
    {
        Console.WriteLine($"Consume error: {e.Error.Reason}");
    }
}