【问题标题】:Push files to Kafka Programaticaaly以编程方式将文件推送到 Kafka
【发布时间】:2018-09-12 05:53:15
【问题描述】:

我想将多个 json 文件(大约 20 万个文件)推送到 kafka 主题以进行测试。我想将每个文件作为消息推送到 kafka 主题。方法是什么?

【问题讨论】:

  • @ErwinBolwidt 您提到的线程是使用命令行,对于单个文件也是如此。我希望它以编程方式从目录中推送大约 20 万个文件
  • 你在哪里写了你的问题中的要求?现在它说“我想将整个文件作为 a 消息推送”。另外,请将您编写的代码显示为minimal reproducible example,并指出问题所在。
  • 对不起@ErwinBolwidt 这是我的错误。现在编辑问题。
  • 理想情况下,您将文件中的 JSON 对象作为单独的消息推送。不要尝试推送整个文件

标签: java apache-kafka kafka-producer-api


【解决方案1】:

将 Kafka Connect 与 kafka-connect-spooldir 连接器一起使用。您可以在here 中看到它。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2019-01-10
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多