Spring批处理用于处理大型处理csv文件

问题描述 投票:0回答:1

我有一个5GB的CSV文件,我试图用Spring Batch处理(读取,处理,将数据发布到JMS)。最好的方法是什么,请记住,不要将文件拆分成较小的文件,并且必须处理所有记录? Spring Batch是否能够在从源流式传输数据时处理和写入数据?有没有办法告诉Spring Batch从文件中读取X行,处理和写入(提交),然后从文件中获取下一行X行,同时跟踪它已处理的行

请帮帮我。

spring-batch
1个回答
0
投票

是。这是弹簧批次的基本特征。为此使用commit-interval。建议在这里阅读全部细节。

https://docs.spring.io/spring-batch/trunk/reference/html/configureStep.html

© www.soinside.com 2019 - 2024. All rights reserved.