MySQL 8.0.31并行構建索引特性管窺
MySQL 8.0.31于2022.10.11發布了,比我預計的日期早了一周,先贊一個。
看了下 release notes ,新增的東西不算多,感覺MySQL官方對8.0版本已經進入維穩的后半段了,英文不好的同學可以戳此查看 徐軼韜老師針對8.0.31做的快速解讀?。另外,根據 徐老師的最新推文,也了解到MySQL針對8.0版本延長了標準支持(Premier Support)時長,從原來的2023.4延長到了2025.4,不過延伸支持(Extended Support)的期限沒有改變,仍然是2026.4。
本次發布的8.0.31新特性中,我注意到有一句不太起眼的說明:
InnoDB: InnoDB now supports parallel index builds, which improves index build performance. In particular, loading sorted index entries into a B-tree is now multithreaded. Previously, this action was performed by a single thread.
只有這么簡單的一句,沒更多擴展解釋說明。簡言之,就是支持并行構建索引,提升索引構建性能。
并行構建索引測試
還是直接做個測試看看吧。
利用sysbench構建一個有400萬行記錄的測試表,只有一個主鍵索引時,表空間物理文件大小為1044381696 Bytes,添加完測試索引后,表空間物理文件大小漲到1434451968 Bytes,增加了37.35%。
接下來,我分別針對GreatSQL 8.0.25-16、MySQL 8.0.31做重建索引的測試,每個數據庫跑10次,計算其每次耗時,去掉最大最小偏差值,取剩下的8次求平均值。都先采用默認設置,最后得到的結果如下表:
GreatSQL 8.0.25-16 | MySQL 8.0.31 | |
平均耗時(秒) | 42.529 | 31.202 |
可以看到,使用MySQL 8.0.31重建索引的效率提升了約36%,還是相當可觀的,如果是線上環境有大表可能提升效果更可觀。
進一步提高索引構建效率
從MySQL 8.0.27開始,新增選項 innodb_ddl_buffer_size?,其作用是作為Online DDL期間的buffer(代替 innodb_sort_buffer_size? 的作用),用于提升輔助索引構建的效率。這是Online DDL期間總共可以使用的buffer,如果有多個DDL并發線程,則每個線程最大可用的buffer是 innodb_ddl_buffer_size / innodb_ddl_threads。其默認值是1MB,明顯太低了,我在本案中嘗試修改成64M、128MB、256MB、512MB、1GB,再對比測試其效果。
選項 innodb_ddl_threads 也是從8.0.27開始新增的,用于定義Online DDL的并發線程數,默認值是4,可根據實際情況調整。
模式 | 平均耗時(秒) | 提升比例 |
GreatSQL 8.0.25-16默認值 | 42.529 | |
MySQL 8.0.31默認值 | 31.202 | 36.30% |
64M | 23.448 | 81.38% |
64M + 8thds | 21.202 | 100.59% |
128M | 22.856 | 86.07% |
128M + 8thds | 21.456 | 98.21% |
256M | 22.047 | 92.90% |
256M + 8thds | 21.266 | 99.99% |
512M | 22.885 | 85.84% |
512M + 8thds | 23.227 | 83.10% |
1G | 25.239 | 68.51% |
1G + 8thds | 24.486 | 73.69% |
上面表格中,64M表示innodb_ddl_buffer_size=64M?,8thds表示innodb_ddl_threads=8,其他以此類推。
可以看到,當 innodb_ddl_buffer_size? 及 innodb_ddl_threads 值適當加大后,重建索引的耗時明顯降低,最好的情況下,索引重建效率可提升1倍;不過其效率也并不隨著值增加而線性提高。看起來,線上生產環境需要根據實測情況進行調整。
循環自動測試的shell腳本也順便分享出來:
并行構建索引的限制
最后,再來看下并行構建索引新特性都有哪些限制:
不支持虛擬列(virtual columns)。
不支持全文索引(full-text index)。
不支持空間索引(spatial index )。
期待MySQL 8.0未來新版本中繼續推出更多實用的新特性吧。
延伸閱讀
- Changes in MySQL 8.0.31,https://dev.mysql.com/doc/relnotes/mysql/8.0/en/news-8-0-31.html
- Configuring Parallel Threads for Online DDL Operations,https://dev.mysql.com/doc/refman/8.0/en/online-ddl-parallel-thread-configuration.html
- Online DDL Memory Management,https://dev.mysql.com/doc/refman/8.0/en/online-ddl-memory-management.html