多线程是 Dynamodb BatchWriteItem 25 条记录限制的最佳解决方法吗

问题描述 投票:0回答:1

我需要将几百万条记录写入 DynamoDB 表。该应用程序是使用 golang 和 aws-sdk v2 编写的。我目前已使用 BatchWriteItem 一次写入 25 个项目。这能够每天向数据库插入 100 万个项目,我需要更快地完成此操作,我正在考虑仅针对代码中的数据库插入部分实现多线程。我是 golang 编码新手。

我的问题是,

  1. golang 允许多线程吗?
  2. 还有另一种方法可以更快地实现数据库插入吗? (而不是使用多线程)

我还没试过。

amazon-web-services multithreading go amazon-dynamodb
1个回答
0
投票

每天1M?即每秒 11 个项目。单线程 BatchWrite 至少可以轻松做到 10 倍。

您绝对可以使用多线程,这将大大提高您的性能。确保这样做不会导致限制,否则您将无法完全意识到好处。

© www.soinside.com 2019 - 2024. All rights reserved.