如何通过 SimpleConsumer 在 Kafka 中获取没有获取请求的消息的大小（元数据）？

Question

我正在使用 SimpleConsumer 并尝试使用 spark 明智地提取消息大小（字节）。

我能够使用元数据请求获取最早和最新的偏移量，但不知道如何获取 kafka (0.8.0) 中的字节数。

我真的不想使用 fetch 请求，因为想要检查足够的数据然后只会运行 spark 作业（而不是流式传输）来执行操作。

Answer 1

从元数据响应无法获取大小，获取大小需要下载无意义的消息。