【发布时间】:2020-09-04 05:50:43
【问题描述】:
我学会了通过 Confluent SpoolDir 连接器使用 Kafka 连接来使用 CSV 文件。有没有办法为“Ctrl+A”分隔文件使用此连接器(或是否存在任何其他此类连接器)?
我要使用的(源)文件中的记录用换行符分隔,而列用“Ctrl+A”分隔。
【问题讨论】:
标签: apache-kafka apache-kafka-connect confluent-platform
我学会了通过 Confluent SpoolDir 连接器使用 Kafka 连接来使用 CSV 文件。有没有办法为“Ctrl+A”分隔文件使用此连接器(或是否存在任何其他此类连接器)?
我要使用的(源)文件中的记录用换行符分隔,而列用“Ctrl+A”分隔。
【问题讨论】:
标签: apache-kafka apache-kafka-connect confluent-platform
您可以使用file pulse connector 提取文件。您只需要使用 confluent 工具安装它并设置相应的配置。
您需要配置DelimitedRowFilter Filter 才能准确解析CSV 文件。应该可以使用“Ctrl+A”。
一切设置正确后,您可以将 CSV 文件复制到给定目录中。在配置的时间间隔内读取文件并将内容复制到主题中。
【讨论】:
csv.separator.char=01,我能够使用 SpoolDir 连接器本身完成所需的任务。
我能够使用 SpoolDir 连接器通过创建 SpoolDirCsvSourceConnector 并在文件源属性中设置 csv.separator.char=01(01 是 Ctrl-A 的 ASCII)来做到这一点。
【讨论】: