如何使用Java处理1亿条记录插入db2表中

问题描述 投票:1回答:1

作为我们应用程序开发的一部分,我们需要读取1亿条记录,进行处理,然后将它们插入DB2表中。

我们在主键上使用索引,但不确定插入过程是否需要很长时间,例如数小时。

我们正在对目标表的字段名称进行哈希处理,以在不同节点之间分配数据。因此,如果我们想到分区表/字段数据的散列,那么插入将无济于事]

我想知道有什么可用的选项可以使用Java有效地处理1亿条记录插入DB2数据库表中。我们正在使用春季批处理(一次批处理9k条记录)。

提前感谢。

我们需要读取1亿条记录,对其进行处理,然后将其插入DB2表中,这是我们应用程序开发的一部分。我们在主键上使用索引,但不确定...

java sql db2 spring-batch
1个回答
0
投票

我认为您可以尝试对源表进行分区。这将有很大帮助,但会带来一些牺牲,例如您将无法更新选择分区的列。另外,您必须选择合适的列进行分区。您不想最终得到1000个分区。相反,您希望对可能没有任何关系的分段数据进行分区。例如,如果源中有CITY列,则可以尝试在CITY上进行分区。因此,如果您有50个城市的数据,最终可能会有50个分区。这很有帮助。您尝试按日期范围或一年中的季度进行分区。

© www.soinside.com 2019 - 2024. All rights reserved.