【问题标题】:kafka connector for "Ctrl+A" delimited files用于“Ctrl+A”分隔文件的 kafka 连接器
【发布时间】:2020-09-04 05:50:43
【问题描述】:

我学会了通过 Confluent SpoolDir 连接器使用 Kafka 连接来使用 CSV 文件。有没有办法为“Ctrl+A”分隔文件使用此连接器(或是否存在任何其他此类连接器)?

我要使用的(源)文件中的记录用换行符分隔,而列用“Ctrl+A”分隔。

【问题讨论】:

    标签: apache-kafka apache-kafka-connect confluent-platform


    【解决方案1】:

    您可以使用file pulse connector 提取文件。您只需要使用 confluent 工具安装它并设置相应的配置。

    您需要配置DelimitedRowFilter Filter 才能准确解析CSV 文件。应该可以使用“Ctrl+A”。

    一切设置正确后,您可以将 CSV 文件复制到给定目录中。在配置的时间间隔内读取文件并将内容复制到主题中。

    【讨论】:

    • 谢谢。我将对此进行探索。通过设置csv.separator.char=01,我能够使用 SpoolDir 连接器本身完成所需的任务。
    【解决方案2】:

    我能够使用 SpoolDir 连接器通过创建 SpoolDirCsvSourceConnector 并在文件源属性中设置 csv.separator.char=01(01 是 Ctrl-A 的 ASCII)来做到这一点。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2023-03-16
      • 2019-09-01
      • 2020-10-19
      • 2018-11-23
      • 2017-02-02
      • 2014-11-05
      • 2020-12-12
      • 1970-01-01
      相关资源
      最近更新 更多