關于MySQL數據庫性能優化方法,看這一篇文章就夠了
數據庫大量應用程序開發項目中,大多數情況下,數據庫的操作性能成為整個應用的性能瓶頸。數據庫的性能是程序員需要去關注的事情,當設計數據庫表結構以及操作數據庫(尤其是查詢數據時),都需要注意數據操作的性能。本文我們以MySQL數據庫為例進行討論。
一、數據庫優化目標
1. 減少 IO 次數
IO永遠是數據庫最容易瓶頸的地方,這是由數據庫的職責所決定的,大部分數據庫操作中超過90%的時間都是 IO 操作所占用的,減少 IO 次數是 SQL 優化中需要第一優先考慮,當然,也是收效最明顯的優化手段。
2. 降低 CPU 計算
除了 IO 瓶頸之外,SQL優化中需要考慮的就是 CPU 運算量的優化了。order by,group by,distinct … 都是消耗 CPU 的大戶(這些操作基本上都是 CPU 處理內存中的數據比較運算)。當我們的 IO 優化做到一定階段之后,降低 CPU計算也就成為了我們 SQL 優化的重要目標。
MySql查詢過程
二、數據庫優化方法
1. SQL語句優化
明確了優化目標之后,我們需要確定達到我們目標的方法。對于SQL語句來說,達到上述2個優化目標的方法其實只有一個,那就是改變SQL的執行計劃,讓他盡量“少走彎路”,盡量通過各種“捷徑”來找到我們需要的數據,以達到“減少IO次數”和“降低CPU計算”的目標。
(1) 盡量少 join。MySQL 的優勢在于簡單,但這在某些方面其實也是其劣勢。MySQL優化器效率高,但是由于其統計信息的量有限,優化器工作過程出現偏差的可能性也就更多。對于復雜的多表 Join,一方面由于其優化器受限,再者在Join這方面所下的功夫還不夠,所以性能表現離Oracle等關系型數據庫前輩還是有一定距離。但如果是簡單的單表查詢,這一差距就會極小甚至在有些場景下要優于這些數據庫前輩。
(2) 盡量少排序
(3) 排序操作會消耗較多的 CPU 資源,所以減少排序可以在緩存命中率高等 IO 能力足夠的場景下會較大影響 SQL的響應時間。
(4) 盡量避免 select *,并盡量用join代替子查詢
(5) 盡量少使用“or”關鍵字
當 where 子句中存在多個條件以“或”并存的時候,MySQL 的優化器并沒有很好的解決其執行計劃優化問題,再加上 MySQL 特有的 SQL 與 Storage 分層架構方式,造成了其性能比較低下,很多時候使用 union all 或者是union(必要的時候)的方式來代替“or”會得到更好的效果。
(6) 盡量用 union all 代替 union
union 和 union all 的差異主要是前者需要將兩個(或者多個)結果集合并后再進行唯一性過濾操作,這就會涉及到排序,增加大量的 CPU 運算,加大資源消耗及延遲。所以當我們可以確認不可能出現重復結果集或者不在乎重復結果集的時候,盡量使用 union all 而不是 union。
(7) 避免類型轉換
(8) 能用DISTINCT的就不用GROUP BY
(9) 盡量不要用SELECT INTO語句 ?
(10) 從全局出發優化,而不是片面調整
SQL 優化不能是單獨針對某一個進行,而應充分考慮系統中所有的 SQL,尤其是在通過調整索引優化 SQL的執行計劃的時候,千萬不能顧此失彼,因小失大。
2. 表結構優化
MySQL數據庫是基于行(Row)存儲的數據庫,而數據庫操作 IO 的時候是以 page(block)的方式,也就是說,如果我們每條記錄所占用的空間量減小,就會使每個page中可存放的數據行數增大,那么每次 IO 可訪問的行數也就增多了。反過來說,處理相同行數的數據,需要訪問的 page 就會減少,也就是 IO 操作次數降低,直接提升性能。
(1) 數據類型選擇
原則是:數據行的長度不要超過8020字節,如果超過這個長度的話在物理頁中這條數據會占用兩行從而造成存儲碎片,降低查詢效率;字段的長度在最大限度的滿足可能的需要的前提下,應該盡可能的設得短一些,這樣可以提高查詢的效率,而且在建立索引的時候也可以減少資源的消耗。
- 數字類型:非萬不得已不要使用DOUBLE,不僅僅只是存儲長度的問題,同時還會存在精確性的問題。同樣,固定精度的小數,也不建議使用DECIMAL,建議乘以固定倍數轉換成整數存儲,可以大大節省存儲空間,且不會帶來任何附加維護成本。
- 字符類型:定長字段,建議使用 CHAR 類型(char查詢快,但是耗存儲空間,可用于用戶名、密碼等長度變化不大的字段),不定長字段盡量使用VARCHAR(varchar查詢相對慢一些但是節省存儲空間,可用于評論等長度變化大的字段),且僅僅設定適當的最大長度,而不是非常隨意的給一個很大的最大長度限定,因為不同的長度范圍,MySQL也會有不一樣的存儲處理。
- 時間類型:盡量使用TIMESTAMP類型,因為其存儲空間只需要DATETIME 類型的一半。對于只需要精確到某一天的數據類型,建議使用DATE類型,因為他的存儲空間只需要3個字節,比TIMESTAMP還少。不建議通過INT類型類存儲一個unix timestamp 的值,因為這太不直觀,會給維護帶來不必要的麻煩,同時還不會帶來任何好處。
- ENUM &SET:對于狀態字段,可以嘗試使用 ENUM 來存放,因為可以極大的降低存儲空間,而且即使需要增加新的類型,只要增加于末尾,修改結構也不需要重建表數據。
(2) 字符編碼
字符集直接決定了數據在MySQL中的存儲編碼方式,由于同樣的內容使用不同字符集表示所占用的空間大小會有較大的差異,所以通過使用合適的字符集,可以幫助我們盡可能減少數據量,進而減少IO操作次數。
(3) 盡量使用 NOT NULL
NULL 類型比較特殊,SQL 難優化。雖然 MySQL NULL類型和 Oracle 的NULL有差異,會進入索引中,但如果是一個組合索引,那么這個NULL 類型的字段會極大影響整個索引的效率。雖然 NULL空間上可能確實有一定節省,倒是帶來了很多其他的優化問題,不但沒有將IO量省下來,反而加大了SQL的IO量。所以盡量確保 DEFAULT 值不是 NULL,也是一個很好的表結構設計優化習慣。
3. 數據庫架構優化
分布式和集群化:
- 負載均衡。負載均衡集群是由一組相互獨立的計算機系統構成,通過常規網絡或專用網絡進行連接,由路由器銜接在一起,各節點相互協作、共同負載、均衡壓力,對客戶端來說,整個群集可以視為一臺具有超高性能的獨立服務器。MySQL一般部署的是高可用性負載均衡集群,具備讀寫分離,一般只對讀進行負載均衡。
- 讀寫分離。讀寫分離簡單的說是把對數據庫讀和寫的操作分開對應不同的數據庫服務器,這樣能有效地減輕數據庫壓力,也能減輕io壓力。主數據庫提供寫操作,從數據庫提供讀操作,其實在很多系統中,主要是讀的操作。當主數據庫進行寫操作時,數據要同步到從的數據庫,這樣才能有效保證數據庫完整性。
- 數據切分。通過某種特定的條件,將存放在同一個數據庫中的數據分散存放到多個數據庫上,實現分布存儲,通過路由規則路由訪問特定的數據庫,這樣一來每次訪問面對的就不是單臺服務器了,而是N臺服務器,這樣就可以降低單臺機器的負載壓力。
4. 其他優化
(1) 適當使用視圖加速查詢。
把表的一個子集進行排序并創建視圖,有時能加速查詢(特別是要被多次執行的查詢)。它有助于避免多重排序操作,而且在其他方面還能簡化優化器的工作。視圖中的行要比主表中的行少,而且物理順序就是所要求的順序,減少了磁盤I/O,所以查詢工作量可以得到大幅減少。
(2) 算法優化。
盡量避免使用游標,因為游標的效率較差,如果游標操作的數據超過1萬行,那么就應該考慮改寫。使用基于游標的方法或臨時表方法之前,應先尋找基于集的解決方案來解決問題,基于集的方法通常更有效。與臨時表一樣,游標并不是不可使用。對小型數據集使用 FAST_FORWARD 游標通常要優于其他逐行處理方法,尤其是在必須引用幾個表才能獲得所需的數據時。
(3)封裝存儲過程。
經編譯和優化后存儲在數據庫服務器中,運行效率高,可以降低客戶機和服務器之間的通信量,有利于集中控制,易于維護。