使用 Spring Cloud Data Flow 流式处理分隔文件

Question

我正在尝试从远程 Linux 服务器加载一个制表符分隔的文件，并使用 Spring Cloud Data Flow 将其加载到 Postgres 数据库中，但一直选择合适的源和接收器。

对于源，我尝试使用文件源以及 SFTP 源。文件源似乎没有连接到远程 Linux 服务器的任何选项，而 SFTP 源具有这些选项，但它似乎主要用于传输文件而不是解析文件。

对于 Sink，我已经安装了 PgCopy sink 并计划使用它来加载数据。我想知道这是否适合我的用例。

谢谢。

Answer 1

您可以使用sftp source 和--mode lines 将文件内容按行拆分，并为每一行发送一条消息。

然后，您可以使用 CSV 解析器解析每一行。我做了a processor，它能够使用给定a configuration 的jackson-csv 将每一行拆分为java.util.Map。我认为您可以将其用作您自己的基础，或者像我在this video（法语）中展示的那样使用它。

最后，您可以使用 jdbc-sink 将每个地图发布到您的 pgsql 表中，就像我在给定视频中使用 this configuration 所做的那样。