在 MariaDB ColumnStorage 中批量插入期间处理重复行

Question

在我的应用程序中，我想聚合临时 InnoDB 表中的一些数据，然后使用 INSER INTO ... SELECT FROM 查询将该数据复制到列存储表。之后，我截断临时表并聚合新行以进行复制。问题是，在某些情况下，某些行可能已经被复制到列式表中。在本例中，我想合并数据并在柱状表中更新它。两个表中都没有任何键或约束，并且 MariaDB 会忽略“ON DUPLICATE KEY”语句。在这种情况下，最佳做法是什么？

Answer 1

在不知道你的架构的情况下，我建议尝试类似的方法

INSERT INTO target 
SELECT FROM query 
EXCEPT SELECT FROM target

参见 https://mariadb.com/kb/en/ except/