在 NodeJs 中将大量行(包括重复行)插入 Postgresql 数据库的最快方法是什么?

问题描述 投票:0回答:0

我有以下问题:我正在使用 Web 要素服务 (WFS) 提取大量我想存储在 Postgresql 数据库表中的 geojson 要素。这些特征存储在几百个 geojson 文件中并且不是唯一的,即相同的特征可以包含在两个或多个文件中。将它们插入数据库的过程非常缓慢。我怎样才能加快速度?

我有大约 200 万个特征,我可以在 1.6 小时内处理它们。

我目前的解决方案如下:我要插入的表的模型有一个具有唯一值的列(一个唯一的字符串)。对于每个 geojson 文件,我遍历特征并一个一个地插入它们,忽略插入过程中的唯一约束冲突。这样,我最终得到一个只包含唯一特征而没有重复的表。

关于如何改进这个的任何想法?

javascript node.js postgresql geojson wfs
© www.soinside.com 2019 - 2024. All rights reserved.