【问题标题】:KafkaSpout(Storm) uncompression messagesKafkaSpout(Storm) 解压消息
【发布时间】:2016-06-29 10:57:58
【问题描述】:

我正在使用 KafkaSpout 来使用来自 Kafka 的消息。

消息由org.apache.kafka.clients.producer.KafkaProducer 生成 带gzip压缩props.put(ProducerConfig.COMPRESSION_TYPE_CONFIG, "gzip");

如何在 KafkaSpout 中设置压缩类型来消费未压缩的消息?

【问题讨论】:

  • 根据this page,它可能会自动为您处理。你有错误吗?

标签: apache-kafka apache-storm kafka-consumer-api


【解决方案1】:

gzip 压缩是自动处理的。 如果它是一个文本文件,那么您可以直接使用输入流进行读取,或者对于 XML 文件,您可以将其解析为常规文件。

属性props.put(ProducerConfig.COMPRESSION_TYPE_CONFIG, "gzip"); 不是必需的。

如果有任何错误,请发布。

【讨论】:

    猜你喜欢
    • 2021-03-20
    • 2019-02-16
    • 1970-01-01
    • 2018-07-03
    • 2017-10-25
    • 1970-01-01
    • 2015-07-25
    • 2016-06-29
    • 1970-01-01
    相关资源
    最近更新 更多