淺談數(shù)據(jù)庫、JVM、緩存、SQL等性能調優(yōu)方法和原則
***:Web網(wǎng)站調優(yōu)
1、盡可能減少HTTP請求:圖片合并 (css sprites),Js腳本文件合并、css文件合并。
2、減少DNS查詢
3、將css放在頁面最上面,將js放在頁面最下面
4、壓縮js和css
減少文件體積,去除不必要的空白符、格式符、注釋(即對代碼進行格式化)
5、把js和css提取出來放在外部文件中
這一條要靈活運用,把js和css提取出來放在外部文件的優(yōu)點是:減少html體積,提高了js和css的復用性,提高日后的可維護性
缺點:增加了http請求,不過這一點可以通過緩存來解決。
什么情況下將js和css寫在頁面內呢,可以分為幾種情況:js和css代碼比較少;這個頁面不怎么會訪問
6、避免重定向
重定向就是用戶請求的頁面被轉移到了別的地方,瀏覽器向服務請請求一個頁面,服務器告訴瀏覽器請求的頁面已經(jīng)被轉移到另外一個頁面,并告知另一個頁面地址,瀏覽器就再發(fā)送請求到重定向的地址。這樣會增加服務器和瀏覽器之間的往返次數(shù),影響網(wǎng)站性能。
重定向狀態(tài)碼有:301***重定向 302臨時重定向。304 not modified 并不是真的重定向,它是用來告訴瀏覽器get請求的文件在緩存中,避免重新下載。
7、移除重復腳本
8、使用ajax緩存
ajax的get和post方法:
只要是瀏覽器的get請求,瀏覽器都會使用緩存,對于同一地址的請求,服務器會發(fā)送304狀態(tài)碼到瀏覽器,瀏覽器就會使用緩存中的數(shù)據(jù)
post的請求每次都會被執(zhí)行,瀏覽器不會緩存
9、使用Gzip壓縮
10、使用CDN(內容分發(fā)網(wǎng)絡)
第二:數(shù)據(jù)庫調優(yōu)
數(shù)據(jù)庫的調優(yōu),總的來說分為以下三部分:
1.SQL調優(yōu):主要集中在索引、減少跨表與大數(shù)據(jù)join查詢等。
2.數(shù)據(jù)庫端架構設計優(yōu)化:
通過讀寫分離調整對數(shù)據(jù)庫的寫操作,通過垂直拆分以及水平拆分(分庫分表)來解決數(shù)據(jù)庫端連接池瓶頸等問題。
3.連接池調優(yōu)
可以通過熟悉連接池的原理,以及具體的連接池監(jiān)控數(shù)據(jù),來不斷調試出最終的連接池參數(shù)。
第三:通過緩存減少后端壓力
目前分布式緩存已經(jīng)比較成熟,常見的有redis、memcached以及開源的淘寶分布式tair等。
選型考慮
如果數(shù)據(jù)量小,并且不會頻繁地增長又清空(這會導致頻繁地垃圾回收),那么可以選擇本地緩存。具體的話,如果需要一些策略的支持(比如緩存滿的逐出策略),可以考慮Ehcache;如不需要,可以考慮HashMap;如需要考慮多線程并發(fā)的場景,可以考慮ConcurentHashMap。
緩存是否會滿,緩存滿了怎么辦?
對于一個緩存服務,理論上來說,隨著緩存數(shù)據(jù)的日益增多,在容量有限的情況下,緩存肯定有一天會滿的。如何應對?
① 給緩存服務,選擇合適的緩存逐出算法,比如最常見的LRU。
② 針對當前設置的容量,設置適當?shù)木渲担热?0G的緩存,當緩存數(shù)據(jù)達到8G的時候,就開始發(fā)出報警,提前排查問題或者擴容。
③ 給一些沒有必要長期保存的key,盡量設置過期時間。
第四:數(shù)據(jù)請求改造為異步
使用場景
用戶并不關心或者用戶不需要立即拿到這些事情的處理結果,這種情況就比較適合用異步的方式處理,這里的原則就是能異步就異步。
常見做法
一種做法,是額外開辟線程,這里可以采用額外開辟一個線程或者使用線程池的做法,在IO線程(處理請求響應)之外的線程來處理相應的任務,在IO線程中讓response先返回。
如果異步線程處理的任務設計的數(shù)據(jù)量非常巨大,那么可以引入阻塞隊列BlockingQueue作進一步的優(yōu)化。具體做法是讓一批異步線程不斷地往阻塞隊列里扔數(shù)據(jù),然后額外起一個處理線程,循環(huán)批量從隊列里拿預設大小的一批數(shù)據(jù),來進行批處理(比如發(fā)一個批量的遠程服務請求),這樣進一步提高了性能。
另一種做法,是使用消息隊列(MQ)中間件服務,MQ天生就是異步的。
第五:JVM調優(yōu)
什么時候調?
通過監(jiān)控系統(tǒng)對一些機器關鍵指標(gc time、gc count、各個分代的內存大小變化、機器的Load值與CPU使用率、JVM的線程數(shù)等)的監(jiān)控報警,也可以看gc log和jstat等命令的輸出,再結合線上JVM進程服務的一些關鍵接口的性能數(shù)據(jù)和請求體驗,基本上就能定位出當前的JVM是否有問題,以及是否需要調優(yōu)。
調優(yōu)工具:
Jconsole,jProfile,VisualVM
Jconsole :jdk自帶,功能簡單,但是可以在系統(tǒng)有一定負荷的情況下使用。對垃圾回收算法有很詳細的跟蹤。詳細說明參考這里
JProfiler:商業(yè)軟件,需要付費。功能強大。詳細說明參考這里
VisualVM:JDK自帶,功能強大,與JProfiler類似。推薦。
如何調優(yōu)?
觀察內存釋放情況、集合類檢查、對象樹
上面這些調優(yōu)工具都提供了強大的功能,但是總的來說一般分為以下幾類功能
堆信息查看
可查看堆空間大小分配(年輕代、年老代、持久代分配)
提供即時的垃圾回收功能
垃圾監(jiān)控(長時間監(jiān)控回收情況)
查看堆內類、對象信息查看:數(shù)量、類型等
對象引用情況查看
有了堆信息查看方面的功能,我們一般可以順利解決以下問題:
--年老代年輕代大小劃分是否合理
--內存泄漏
--垃圾回收算法設置是否合理
線程監(jiān)控
線程信息監(jiān)控:系統(tǒng)線程數(shù)量。
線程狀態(tài)監(jiān)控:各個線程都處在什么樣的狀態(tài)下
Dump線程詳細信息:查看線程內部運行情況
死鎖檢查
熱點分析
CPU熱點:檢查系統(tǒng)哪些方法占用的大量CPU時間
內存熱點:檢查哪些對象在系統(tǒng)中數(shù)量***(一定時間內存活對象和銷毀對象一起統(tǒng)計)
這兩個東西對于系統(tǒng)優(yōu)化很有幫助。我們可以根據(jù)找到的熱點,有針對性的進行系統(tǒng)的瓶頸查找和進行系統(tǒng)優(yōu)化,而不是漫無目的的進行所有代碼的優(yōu)化。
快照
快照是系統(tǒng)運行到某一時刻的一個定格。在我們進行調優(yōu)的時候,不可能用眼睛去跟蹤所有系統(tǒng)變化,依賴快照功能,我們就可以進行系統(tǒng)兩個不同運行時刻,對象(或類、線程等)的不同,以便快速找到問題
舉例說,我要檢查系統(tǒng)進行垃圾回收以后,是否還有該收回的對象被遺漏下來的了。那么,我可以在進行垃圾回收前后,分別進行一次堆情況的快照,然后對比兩次快照的對象情況。
內存泄漏檢查
內存泄漏是比較常見的問題,而且解決方法也比較通用,這里可以重點說一下,而線程、熱點方面的問題則是具體問題具體分析了。
內存泄漏一般可以理解為系統(tǒng)資源(各方面的資源,堆、棧、線程等)在錯誤使用的情況下,導致使用完畢的資源無法回收(或沒有回收),從而導致新的資源分配請求無法完成,引起系統(tǒng)錯誤。
內存泄漏對系統(tǒng)危害比較大,因為他可以直接導致系統(tǒng)的崩潰。
性能調優(yōu)總結:
大型網(wǎng)站的性能瓶頸大部分瓶頸都在數(shù)據(jù)庫端,所以性能調優(yōu)總是沿著如何減少對后端的壓力來操作,數(shù)據(jù)庫端的瓶頸經(jīng)常會造成應用端的雪崩(比如:sql查詢過長,長事務)等,所以需要及時解決后端性能。
1.通過讀寫分離、垂直拆分、水平拆分降低對數(shù)據(jù)庫后端的壓力。
2.通過優(yōu)化sql語句,索引等,縮短對sql的查詢時間。
2.通過緩存以及CDN來解決對圖片、文件等的讀操作,避免對數(shù)據(jù)庫產(chǎn)生壓力。
3.通過對web端的優(yōu)化,js、css等壓縮,提高大文件讀取時間,盡量依賴CDN。
4.還有一個重點就是監(jiān)控:對JVM、線程、sql查詢時間等健康指標就行及時監(jiān)控,通過監(jiān)控及時發(fā)現(xiàn)瓶頸,及時優(yōu)化。