避免在大型数据集中进行N + 1查询

问题描述 投票:0回答:1

我有一个迁移,它使用新的属性值更新现有记录。该模型称为“MyRecord”。它在数据库中有数百万条记录,新的unit_id列为null。我想用特定值更新该unit_id列:

MyRecord.find_each do |record|
  unit_id = Unit.calculate_unit_from_old_columns(record.legacy_column_1, record.legacy_column_2).first.id
  record.update unit_id: unit_id
end

这会产生很多N + 1个查询:

SELECT units.* FROM units WHERE units.item_1 = 'Electronics' AND units.item_2 = 'Auto' 
UPDATE my_records SET unit_id='43' WHERE legacy_column_1 = 'Legacy Electronics' AND legacy_column_2 = 'Legacy Auto';

其中一些N + 1查询是重复的。我在日志中看到了很多这样的事情:

SELECT units.* FROM units WHERE units.item_1 = 'Electronics' AND units.item_2 = 'Auto' 
SELECT units.* FROM units WHERE units.item_1 = 'Electronics' AND units.item_2 = 'Auto' 

我熟悉通过包括的急切加载。但是,当运行此迁移以更新现有数据时,将不会有任何关联。所以我不能这样做:

record.includes(:unit)

如何消除N + 1查询并缓存查询,以便在重复查询时不会再次命中数据库?

mysql sql ruby-on-rails
1个回答
0
投票

使用简单的查询,如果运行时间太长,您可以考虑对其进行批处理:

MyRecord.connection.execute(
  "UPDATE my_records, units 
   SET unit_id = units.id 
   WHERE units.item_1 = legacy_column_1 AND units.item_2 = legacy_column_2"
)
© www.soinside.com 2019 - 2024. All rights reserved.