MySQL 在大表中添加列的性能

问题描述 投票:0回答:5

我在 Ubuntu 13.10 上使用 apt-get 在本地安装了带有 InnoDB 的 MySQL 5.5.37。我的台式机是i7-3770+32Gb内存+SSD硬盘。对于仅包含 150 万条记录的表“mytable”,以下 DDL 查询需要超过 20 分钟(!):

ALTER TABLE mytable ADD some_column CHAR(1) NOT NULL DEFAULT 'N';

有什么办法可以改善吗? 我检查过

show processlist;

它表明它出于某种原因正在复制我的表格。 这是非常不方便的。有没有办法关闭这个副本? 是否有其他方法可以提高向大表添加列的性能?

除此之外,我的数据库相对较小,转储大小只有 1.3Gb。因此(理论上)它应该 100% 适合内存。

是否有可以提供帮助的设置? 迁移到 Precona 会给我带来什么改变吗?

补充:我有

innodb_buffer_pool_size = 134217728
mysql performance database-performance ddl
5个回答
40
投票

还有其他方法可以提高向大表添加列的性能吗?

简短回答:不。您可以立即添加 ENUM 和 SET 值,并且可以添加二级索引,同时仅锁定写入,但更改表结构始终需要表副本。

长答案:你真正的问题不是性能,而是锁定时间。慢一点并不重要,重要的是在你的 ALTER TABLE 完成之前其他客户端无法执行查询。在这种情况下有一些选择:

  1. 您可以使用 Percona 工具包中的 pt-online-schema-change。先备份数据!这是最简单的解决方案,但可能不适用于所有情况。

  2. 如果您不使用外键并且由于有很多索引而速度很慢,那么您可能会更快地创建包含所需更改但没有二级索引的表副本,然后用数据填充它,并在最后使用单个更改表创建所有索引。

  3. 如果您可以轻松创建副本,例如您托管在 Amazon RDS 上,您可以创建一个主-主副本,在那里运行更改表,让它恢复同步,并在完成后切换实例。

更新

正如其他人提到的,MySQL 8.0 INNODB 添加了对即时列添加的支持。这不是一个神奇的解决方案,它有局限性和副作用——表不能有全文索引等——但在很多情况下应该有帮助。

您可以指定显式的

ALGORITHM=INSTANT LOCK=NONE
参数,如果无法即时更改架构,MySQL 将因错误而失败,而不是回退到
INPLACE
COPY
。示例:

ALTER TABLE mytable
ADD COLUMN mycolumn varchar(36) DEFAULT NULL,
ALGORITHM=INPLACE, LOCK=NONE;

https://mysqlserverteam.com/mysql-8-0-innodb-now-supports-instant-add-column/


6
投票

MariaDb 10.3、MySQL 8.0 以及可能的其他 MySQL 变体都具有“即时添加列”功能,可以立即添加大多数列(有一些限制,请参阅文档),无需重建表。


6
投票

我知道这是一个相当老的问题,但今天我遇到了类似的问题。我决定创建一个新表并将旧表导入新表中。比如:

CREATE TABLE New_mytable  LIKE mytable ;

ALTER TABLE New_mytable  ADD some_column CHAR(1) NOT NULL DEFAULT 'N';

insert into New_mytable  select * from mytable ;

然后

START TRANSACTION;
insert into New_mytable  select * from mytable where id > (Select max(id) from New_mytable) ;

RENAME TABLE mytable TO Old_mytable;

RENAME TABLE New_mytable TO mytable;
COMMIT;

这不会使更新过程变得更快,但它确实最大限度地减少了停机时间。

希望这有帮助。



1
投票

由于结构发生变化,在添加或删除列时无法避免复制表。您可以添加或删除二级索引,而无需表副本。

您的表数据不驻留在内存中。索引可以驻留在内存中。

150万条记录并不是很多行,20分钟看起来很长,但也许你的行很大并且你有很多索引。

复制表格时,您仍然可以从表格中选择行。但是,如果您尝试进行任何更新,它们将被阻止,直到

ALTER
完成。

© www.soinside.com 2019 - 2024. All rights reserved.