【问题标题】:CSV data streaming using kafka connect使用 kafka 连接的 CSV 数据流
【发布时间】:2020-05-25 18:16:40
【问题描述】:

我们有一个 CSV 文件格式的业务事件,需要使用 Kafka 将其附加到数据库(在我们的例子中是雪花)。

我们是否需要将 csv 文件转换为 JSON 格式(使用 python),然后将值传递给 kafka-producer 主题?

【问题讨论】:

    标签: apache-kafka apache-kafka-connect snowflake-cloud-data-platform


    【解决方案1】:

    使用Kafka Connect

    1. 使用 Kafka Connect spooldir 等连接器将 CSV 文件读入 Kafka(请参阅 example
    2. 使用 Snowflake's connector for Kafka Connect 从 Kafka 主题流式传输到 Snowflake(请参阅 example

    this talk 中了解有关 Kafka Connect 的更多信息。

    【讨论】:

    • 感谢 Robin 分享信息。如果有任何问题,我们会调查并回复您。
    • 请发布一个新问题,并附上您的安装、版本等详细信息。谢谢。
    • Robin,我已经下载了 spool dir 插件并在 share/kafka/plugins/ 中解压。将插件路径添加到以下属性文件:1)/etc/kafka/connect-standalone.properties 2)/etc/schema-registry/connect-avro-standalone.properties 和 /etc/kafka/connect-file-source。属性给出了很好的名称,但是当我启动服务“connect-standalone ./kafka/connect-standalone.properties ./schema-registry/connect-avro-standalone.properties ./etc/kafka/connect-file-source.properties”我得到 key.converter.schema.registry.url=localhost:8081} 不包含连接器类型错误。你能帮我吗
    猜你喜欢
    • 1970-01-01
    • 2018-11-23
    • 2019-03-10
    • 2021-11-27
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2022-07-04
    • 2019-10-08
    相关资源
    最近更新 更多