有没有一种方法可以写一批记录,期望有些记录失败?

问题描述 投票:0回答:1

说发生系统故障;由于某些原因,每100页访问1页的记录未进入您的Spanner实例。可能是质量检查人员的错。无论如何,您拥有不同的数据存储,可以从中存储到Spanner。大!假设您有大量记录,可以将它们分批处理,也许一次发送1000条。但是,这1000个扳手中可能已有990个,因此您的插入操作将失败。您可以一个接一个地上传,但是为此您付出了巨大的努力。您甚至可以尝试一些自适应的批处理大小,但是最终变得更加复杂。

是否有解决此问题的简便方法?我想要dbClient.writeAtLeastOnceIgnoreErrors(Iterable<Mutation>),但我认为没有这种可用的东西。我错了吗?

google-cloud-spanner
1个回答
0
投票

如果我正确理解了您的问题,您希望能够将1,000个突变(插入)发送给Spanner,因为您知道这1000条记录中有许多已经存在于Spanner中。最简单的方法是使用像这样的InsertOrUpdate突变:

© www.soinside.com 2019 - 2024. All rights reserved.