是否存在用于合并来自两个并行脚本的数据的标准算法？

Question

我有两个脚本，它们侦听同一websocket，并将接收到的程序包写入数据库。原则上，这些脚本会接收相同的程序包，但可能会出现停机等情况。我现在想将两个流合并为一个可靠的流，删除重复项。

但是，这些软件包没有时间戳记或编号，因此仅查看软件包就无法确定哪个软件包先出现。不能排除某些软件包是故意相同的。程序包到达服务器时会加上时间戳。

是否有一种标准的，有原则的方法来解决此问题？

Answer 1

我建议使用diff算法解决此问题。 Diff Algorithm?的答案可能有助于您理解如何实现。