使用Spring Cloud Data Flow的流式分隔文件

问题描述 投票:1回答:1

我正试图从远程Linux服务器加载一个以标签分隔的文件,并使用Spring Cloud Data Flow将其加载到Postgres数据库中,但在选择适当的源和汇方面遇到了困难。

对于源,我尝试使用文件源和SFTP源。File source似乎没有任何连接到远程Linux服务器的选项,而SFTP source有这些选项,但它似乎主要是用来传输文件而不是解析文件。

对于Sink,我已经安装了PgCopy sink并打算用它来加载数据。我想知道这是否是适合我的使用情况的汇。

谢谢。

spring-cloud-stream spring-cloud-dataflow
1个回答
0
投票

你可以使用 sftp源--mode lines 来按行分割文件内容,并为每行发送一条消息。

然后,你可以使用CSV解析器解析每一行。我做了 处理器 能够使用给定的jackson-csv将每一行分割成一个java.util.Map。套路. 我想你可以用它作为你自己的基础,或者像我在 "我 "中展示的那样使用它。本视频 (法语)。

完成后,你可以将每个地图发布到你的pgsql表中,使用 jdbc-sink 正如我在给定的视频中所做的 此配置.

© www.soinside.com 2019 - 2024. All rights reserved.