MySQL 5.7臨時(shí)表空間如何玩才能不掉坑里詳解

導(dǎo)讀

MySQL 5.7的目標(biāo)是成為發(fā)布以來最安全的MySQL服務(wù)器，其在SSL/TLS和全面安全開發(fā)方面有一些重要的改變。

MySQL 5.7起支持獨(dú)立臨時(shí)表空間，但個(gè)別時(shí)候也可能會(huì)踩坑的。

MySQL 5.7起，開始采用獨(dú)立的臨時(shí)表空間（和獨(dú)立的undo表空間不是一回事喲），命名ibtmp1文件，初始化12M，且默認(rèn)無上限。

選項(xiàng) innodb_temp_data_file_path 可配置臨時(shí)表空間相關(guān)參數(shù)。

innodb_temp_data_file_path = ibtmp1:12M:autoextend

臨時(shí)表空間的幾點(diǎn)說明

• 臨時(shí)表空間不像普通InnoDB表空間那樣，不支持裸設(shè)備（raw device）。
• 臨時(shí)表空間使用動(dòng)態(tài)的表空間ID，因此每次重啟時(shí)都會(huì)變化（每次重啟時(shí)，都會(huì)重新初始化臨時(shí)表空間文件）。
• 當(dāng)選項(xiàng)設(shè)置錯(cuò)誤或其他原因（權(quán)限不足等原因）無法創(chuàng)建臨時(shí)表空間時(shí)，mysqld實(shí)例也無法啟動(dòng)。
• 臨時(shí)表空間中存儲(chǔ)這非壓縮的InnoDB臨時(shí)表，如果是壓縮的InnoDB臨時(shí)表，則需要單獨(dú)存儲(chǔ)在各自的表空間文件中，文件存放在 tmpdir（/tmp）目錄下。
• 臨時(shí)表元數(shù)據(jù)存儲(chǔ)在 INFORMATION_SCHEMA.INNODB_TEMP_TABLE_INFO 視圖中。

有時(shí)執(zhí)行SQL請(qǐng)求時(shí)會(huì)產(chǎn)生臨時(shí)表，極端情況下，可能導(dǎo)致臨時(shí)表空間文件暴漲，幫人處理過的案例中最高漲到快300G，比以前遇到的 ibdata1 文件暴漲還要猛…

臨時(shí)表使用的幾點(diǎn)建議

• 設(shè)置 innodb_temp_data_file_path 選項(xiàng)，設(shè)定文件最大上限，超過上限時(shí)，需要生成臨時(shí)表的SQL無法被執(zhí)行（一般這種SQL效率也比較低，可借此機(jī)會(huì)進(jìn)行優(yōu)化）。
• 檢查 INFORMATION_SCHEMA.INNODB_TEMP_TABLE_INFO，找到最大的臨時(shí)表對(duì)應(yīng)的線程，kill之即可釋放，但 ibtmp1 文件則不能釋放（除非重啟）。
• 擇機(jī)重啟實(shí)例，釋放 ibtmp1 文件，和 ibdata1 不同，ibtmp1 重啟時(shí)會(huì)被重新初始化而 ibdata1 則不可以。
• 定期檢查運(yùn)行時(shí)長(zhǎng)超過N秒（比如N=300）的SQL，考慮干掉，避免垃圾SQL長(zhǎng)時(shí)間運(yùn)行影響業(yè)務(wù)。

附：臨時(shí)表測(cè)試案例

表DDL

CREATE TEMPORARY TABLE `tmp1` (
 `id` int(10) unsigned NOT NULL DEFAULT '0',
 `name` varchar(50) NOT NULL DEFAULT '',
 `aid` int(10) unsigned NOT NULL AUTO_INCREMENT,
 `nid` int(11) unsigned GENERATED ALWAYS AS ((`id` + 1)) VIRTUAL NOT NULL,
 `nnid` int(11) unsigned GENERATED ALWAYS AS ((`id` + 1)) STORED NOT NULL,
 PRIMARY KEY (`aid`),
 KEY `name` (`name`),
 KEY `id` (`id`),
 KEY `nid` (`nid`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8

原表大小只有 120MB，從這個(gè)表直接 INSERT…SELECT 導(dǎo)數(shù)據(jù)到tmp1表。

-rw-r----- 1 yejr imysql 120M Apr 14 10:52 /data/mysql/test/sid.ibd

生成臨時(shí)表（去掉虛擬列，臨時(shí)表不支持虛擬列，然后寫入數(shù)據(jù)），還更大了（我也不解，以后有機(jī)會(huì)再追查原因）。

-rw-r----- 1 yejr imysql 140M Jun 25 09:55 /Users/yejinrong/mydata/ibtmp1

查看臨時(shí)表元數(shù)據(jù)信息

yejr@imysql.com [test]>select * from 
 INFORMATION_SCHEMA.INNODB_TEMP_TABLE_INFO\G
*********************** 1. row ***********************
   TABLE_ID: 405
    NAME: #sql14032_300000005_3
    N_COLS: 6
    SPACE: 421
PER_TABLE_TABLESPACE: FALSE
  IS_COMPRESSED: FALSE

再刪除索引，結(jié)果，又更大了

-rw-r----- 1 yejr imysql 204M Jun 25 09:57 /data/mysql/ibtmp1

第二次測(cè)試刪除索引后，變成了200M（因?yàn)榈诙螠y(cè)試時(shí)，我設(shè)置了臨時(shí)表最大200M）

innodb_temp_data_file_path = ibtmp1:12M:autoextend:max:200M

-rw-r----- 1 yejr imysql 200M Jun 25 10:15 /data/mysql/ibtmp1

執(zhí)行一個(gè)會(huì)產(chǎn)生臨時(shí)表的慢SQL。

注：MySQL 5.7起，執(zhí)行UNION ALL不再產(chǎn)生臨時(shí)表（除非需要額外排序）。

yejr@imysql.com [test]>explain select * from tmp1 union 
 select id,name,aid from sid\G
*************************** 1. row ***************************
   id: 1
 select_type: PRIMARY
  table: tmp1
 partitions: NULL
   type: ALL
possible_keys: NULL
   key: NULL
  key_len: NULL
   ref: NULL
   rows: 3986232
  filtered: 100.00
  Extra: NULL
*************************** 2. row ***************************
   id: 2
 select_type: UNION
  table: sid
 partitions: NULL
   type: ALL
possible_keys: NULL
   key: NULL
  key_len: NULL
   ref: NULL
   rows: 802682
  filtered: 100.00
  Extra: NULL
*************************** 3. row ***************************
   id: NULL
 select_type: UNION RESULT
  table: union1,2>
 partitions: NULL
   type: ALL
possible_keys: NULL
   key: NULL
  key_len: NULL
   ref: NULL
   rows: NULL
  filtered: NULL
  Extra: Using temporary

文件漲到588M還沒結(jié)束，我直接給卡了

-rw-r----- 1 yejr imysql 588M Jun 25 10:07 /data/mysql/ibtmp1

第二次測(cè)試時(shí)，設(shè)置了臨時(shí)表空間文件最大200M，再執(zhí)行會(huì)報(bào)錯(cuò)：

yejr@imysql.com [test]>select * from tmp1 union 
 select id,name,aid from sid;
ERROR 1114 (HY000): The table '/var/folders/bv/j4tjn6k54dj5jh1tl8yn6_y00000gn/T/#sql14032_5_8' is full

總結(jié)

以上就是這篇文章的全部?jī)?nèi)容了，希望本文的內(nèi)容對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，如果有疑問大家可以留言交流，謝謝大家對(duì)腳本之家的支持。

參考

[MySQL FAQ]系列 — 什么情況下會(huì)用到臨時(shí)表

FAQ系列 | 如何避免ibdata1文件大小暴漲

https://dev.mysql.com/doc/refman/5.7/en/temporary-files.html

https://dev.mysql.com/doc/refman/5.7/en/internal-temporary-tables.html

https://dev.mysql.com/doc/refman/5.7/en/innodb-parameters.html#sysvar_innodb_temp_data_file_path

https://dev.mysql.com/doc/refman/5.7/en/innodb-temporary-tablespace.html