MySQL數據庫的優化(上)單機MySQL數據庫的優化
原創【51CTO獨家特稿】公司網站訪問量越來越大, MySQL 的壓力越來越大了,第一步自然想到的是 MySQL 系統參數的優化,我們不可能指望 MySQL 默認的系統參數能夠讓 MySQL運行得非常順暢。在Apache(Nginx)、PHP、 MySQL的體系架構中,MySQL對于性能的影響最大,也是關鍵的核心部分。MySQL也是優化難度最大的一個部分,不但需要理解一些MySQL專業知識,同時還需要長時間的觀察統計并且根據經驗 進行判斷,然后設置合理的參數。
下面我們了解一下MySQL優化的一些建議,單機MySQL的優化我分為三個部分,一是服務器物理硬件的優化,二是MySQL安裝時的編譯優化,三是自身配置文件my.cnf的優化;如果單機的優化也解決不了你的數據庫的壓力的話,那這個時候就只有考慮采用集群架構的方法,這個我在后面也會重點說明。
單機MySQL數據庫的優化
一、服務器硬件對MySQL性能的影響
- 磁盤尋道能力(磁盤I/O),我們現在上的都是SAS15000轉的硬盤。MySQL每秒鐘都在進行大量、復雜的查詢操作,對磁盤的讀寫量可想而知。所以,通常認為磁盤I/O是制約MySQL性能的最大因素之一,對于日均訪 問量在100萬PV以上的Discuz!論壇,由于磁盤I/O的制約,MySQL的性能會非常低下!解決這一制約因素可以考慮以下幾種解決方案: 使用RAID1+0磁盤陣列,注意不要嘗試使用RAID-5,MySQL在RAID-5磁盤陣列上的效率不會像你期待的那樣快;
- CPU 對于MySQL應用,推薦使用DELL R710,E5620 @2.40GHz(4 core)* 2 ,我現在比較喜歡DELL R710,也在用其作Linux虛擬化應用;
- 物理內存對于一臺使用MySQL的Database Server來說,服務器內存建議不要小于2GB,推薦使用4GB以上的物理內存,不過內存對于現在的服務器而言可以說是一個可以忽略的問題,工作中遇到高端服務器基本上內存都超過了32G。我們工作中用得比較多的數據庫服務器是HP DL580G5和DELL R710,穩定性和性能都不錯;特別是DELL R710,我發現許多同行都是采用它作數據庫的服務器,所以重點推薦下。
二、MySQL的線上安裝
我建議采取編譯安裝的方法,這樣性能上有較大提升,服務器系統我建議用64bit的Centos5.5,源碼包的編譯參數會默認以Debgu模式生成二進制代碼,而Debug模式給MySQL帶來的性能損失是比較大的,所以當我們編譯準備安裝的產品代碼時,一定不要忘記使用“—without-debug”參數禁用Debug模式。
而如果把—with-mysqld-ldflags和—with-client-ldflags二個編譯參數設置為—all-static的話,可以告訴編譯器以靜態方式編譯和編譯結果代碼得到最高的性能。使用靜態編譯和使用動態編譯的代碼相比,性能差距可能會達到5%至10%之多。我參考了簡朝陽先生的編譯參數,特列如下,供大家參考
- ./configure –prefix=/usr/local/mysql –without-debug –without-bench –enable-thread-safe-client –enable-assembler –enable-profiling –with-mysqld-ldflags=-all-static –with-client-ldflags=-all-static –with-charset=latin1 –with-extra-charset=utf8,
- gbk –with-innodb –with-csv-storage-engine –with-federated-storage-engine –with-mysqld-user=mysql –without-embedded-server –with-server-suffix=-community –with-unix-socket-path=/usr/local/mysql/sock/mysql.sock
當解決了上述服務器硬件制約因素后,讓我們看看MySQL自身的優化是如何操作的。對 MySQL自身的優化主要是對其配置文件my.cnf中的各項參數進行優化調整。下面我們介紹一些對性能影響較大的參數。
下面,我們根據以上硬件配置結合一份已經優化好的my.cnf進行說明:
#vim /etc/my.cnf以下只列出my.cnf文件中[mysqld]段落中的內容,其他段落內容對MySQL運行性能影響甚微,因而姑且忽略。
- [mysqld]
- port = 3306
- serverid = 1
- socket = /tmp/mysql.sock
- skip-locking
#避免MySQL的外部鎖定,減少出錯幾率增強穩定性。
- skip-name-resolve
#禁止MySQL對外部連接進行DNS解析,使用這一選項可以消除MySQL進行DNS解析的時間。但需要注意,如果開啟該選項,則所有遠程主機連接授權都要使用IP地址方式,否則MySQL將無法正常處理連接請求!
- back_log = 384
#back_log參數的值指出在MySQL暫時停止響應新請求之前的短時間內多少個請求可以被存在堆棧中。 如果系統在一個短時間內有很多連接,則需要增大該參數的值,該參數值指定到來的TCP/IP連接的偵聽隊列的大小。不同的操作系統在這個隊列大小上有它自 己的限制。 試圖設定back_log高于你的操作系統的限制將是無效的。默認值為50。對于Linux系統推薦設置為小于512的整數。
- key_buffer_size = 384M
#key_buffer_size指定用于索引的緩沖區大小,增加它可得到更好的索引處理性能。對于內存在4GB左右的服務器該參數可設置為256M或384M。注意:該參數值設置的過大反而會是服務器整體效率降低!
- max_allowed_packet = 4M
- thread_stack = 256K
- table_cache = 614K
- sort_buffer_size = 6M
#查詢排序時所能使用的緩沖區大小。注意:該參數對應的分配內存是每連接獨占,如果有100個連接,那么實際分配的總共排序緩沖區大小為100 × 6 = 600MB。所以,對于內存在4GB左右的服務器推薦設置為6-8M。
- read_buffer_size = 4M
#讀查詢操作所能使用的緩沖區大小。和sort_buffer_size一樣,該參數對應的分配內存也是每連接獨享。
- join_buffer_size = 8M
#聯合查詢操作所能使用的緩沖區大小,和sort_buffer_size一樣,該參數對應的分配內存也是每連接獨享。
- myisam_sort_buffer_size = 64M
- table_cache = 512
- thread_cache_size = 64
- query_cache_size = 64M
#指定MySQL查詢緩沖區的大小。可以通過在MySQL控制臺觀察,如果Qcache_lowmem_prunes的值非常大,則表明經常出現緩沖不夠 的情況;如果Qcache_hits的值非常大,則表明查詢緩沖使用非常頻繁,如果該值較小反而會影響效率,那么可以考慮不用查詢緩沖;Qcache_free_blocks,如果該值非常大,則表明緩沖區中碎片很多。
- tmp_table_size = 256M
- max_connections = 768
#指定MySQL允許的最大連接進程數。如果在訪問論壇時經常出現Too Many Connections的錯誤提 示,則需要增大該參數值。
- max_connect_errors = 1000
- wait_timeout = 10
#指定一個請求的最大連接時間,對于4GB左右內存的服務器可以設置為5-10。
- thread_concurrency = 8
#該參數取值為服務器邏輯CPU數量*2,在本例中,服務器有2顆物理CPU,而每顆物理CPU又支持H.T超線程,所以實際取值為4*2=8;這個目前也是雙四核主流服務器配置。
- skip-networking
#開啟該選項可以徹底關閉MySQL的TCP/IP連接方式,如果WEB服務器是以遠程連接的方式訪問MySQL數據庫服務器則不要開啟該選項!否則將無法正常連接!
- table_cache=1024
#物理內存越大,設置就越大.默認為2402,調到512-1024最佳
- innodb_additional_mem_pool_size=4M
#默認為2M
- innodb_flush_log_at_trx_commit=1
#設置為0就是等到innodb_log_buffer_size列隊滿后再統一儲存,默認為1
- innodb_log_buffer_size=2M
#默認為1M
- innodb_thread_concurrency=8
#你的服務器CPU有幾個就設置為幾,建議用默認一般為8
- key_buffer_size=256M
#默認為218,調到128最佳
- tmp_table_size=64M
#默認為16M,調到64-256最掛
- read_buffer_size=4M
#默認為64K
- read_rnd_buffer_size=16M
#默認為256K
- sort_buffer_size=32M
#默認為256K
- thread_cache_size=120
#默認為60
- query_cache_size=32M
※值得注意的是:
很多情況需要具體情況具體分析
一、如果Key_reads太大,則應該把my.cnf中Key_buffer_size變大,保持Key_reads/Key_read_requests至少1/100以上,越小越好。
二、如果Qcache_lowmem_prunes很大,就要增加Query_cache_size的值。
很多時候我們發現,通過參數設置進行性能優化所帶來的性能提升,可能并不如許多人想象的那樣產生質的飛躍,除非是之前的設置存在嚴重不合理的情況。我們不能將性能調優完全依托于通過DBA在數據庫上線后進行的參數調整,而應該在系統設計和開發階段就盡可能減少性能問題。
以上是筆者針對單機MySQL數據庫提出的優化方法,如果單MySQL的優化始終還是頂不住壓力時,這個時候我們就必須考慮MySQL的集群方案了,我們應該如何優化呢?請期待下篇MySQL高可用設計方案。
【編輯推薦】
- MySQL數據庫分區管理 細節決定成敗
- 從MySQL復制功能中得到一舉三得實惠
- 降低鎖競爭 減少MySQL用戶等待時間
- 給數據減肥 讓MySQL數據庫跑的更快
- DBA必備:MySQL數據庫常用操作和技巧