从 CSV 导入 Postgres 时缺少 python 中的一些行

Question

我一直在尝试每 10 分钟后将大规模数据从 csv 导入到 Postgres。 在芹菜的帮助下，我同时安排了几项工作。

不。导入 postgres 后，csv 中的行不匹配。

我一直使用

df.to_sql()

方法将 CSV 写入数据库，它没有抛出任何错误，但数据库中仍然缺少一些行。

根据我的观察，表大小的增加会导致行丢失。

是Postgres的限制吗？ 或者是作业的重叠时间表导致了锁定或其他什么情况？

Answer 1

在我的 CSV 文件的一列中，我有以下格式的数据：

“abc，xyz”

所以，使用

quotechar='"'

帮助我解决了我的问题。

谢谢大家的想法和建议。

Answer 2

好的，我花了几个小时尝试用这里和其他地方提到的所有可能的方法来解决这个问题。但最后我发现有人分享了他的经验/战斗相同的问题并建议使用“DBeaver”，你猜怎么着？一切都很完美。

下载DBeaver
观看 https://www.youtube.com/watch?v=LEx96-CkB1Q&t=192s 连接到您的 PgAdmin / MySQL 从文件导入 CSV 数据，没有任何问题和缺失值。

享受吧。