如何分析 Node.js 中的內(nèi)存泄漏？
內(nèi)存泄漏(Memory Leak)指由于疏忽或錯(cuò)誤造成程序未能釋放已經(jīng)不再使用的內(nèi)存的情況。如果內(nèi)存泄漏的位置比較關(guān)鍵，那么隨著處理的進(jìn)行可能持有越來越多的無用內(nèi)存，這些無用的內(nèi)存變多會(huì)引起服務(wù)器響應(yīng)速度變慢，嚴(yán)重的情況下導(dǎo)致內(nèi)存達(dá)到某個(gè)極限(可能是進(jìn)程的上限，如 v8 的上限;也可能是系統(tǒng)可提供的內(nèi)存上限)會(huì)使得應(yīng)用程序崩潰。
傳統(tǒng)的 C/C++ 中存在野指針，對象用完之后未釋放等情況導(dǎo)致的內(nèi)存泄漏。而在使用虛擬機(jī)執(zhí)行的語言中如 Java、JavaScript 由于使用了 GC (Garbage Collection，垃圾回收)機(jī)制自動(dòng)釋放內(nèi)存，使得程序員的精力得到的極大的解放，不用再像傳統(tǒng)語言那樣時(shí)刻對于內(nèi)存的釋放而戰(zhàn)戰(zhàn)兢兢。
但是，即便有了 GC 機(jī)制可以自動(dòng)釋放，但這并不意味這內(nèi)存泄漏的問題不存在了。內(nèi)存泄漏依舊是開發(fā)者們不能繞過的一個(gè)問題，今天讓我們來了解如何分析 Node.js 中的內(nèi)存泄漏。
GC in Node.js
Node.js 使用 V8 作為 JavaScript 的執(zhí)行引擎，所以討論 Node.js 的 GC 情況就等于在討論 V8 的 GC。在 V8 中一個(gè)對象的內(nèi)存是否被釋放，是看程序中是否還有地方持有改對象的引用。
在 V8 中，每次 GC 時(shí)，是根據(jù) root 對象 (瀏覽器環(huán)境下的 window，Node.js 環(huán)境下的 global ) 依次梳理對象的引用，如果能從 root 的引用鏈到達(dá)訪問，V8 就會(huì)將其標(biāo)記為可到達(dá)對象，反之為不可到達(dá)對象。被標(biāo)記為不可到達(dá)對象(即無引用的對象)后就會(huì)被 V8 回收。更多細(xì)節(jié)，可以參見 alinode 的 解讀 V8 GC。
了解上述的點(diǎn)之后，你就會(huì)知道，在 Node.js 中內(nèi)存泄露的原因就是本該被清除的對象，被可到達(dá)對象引用以后，未被正確的清除而常駐內(nèi)存。
內(nèi)存泄漏的幾種情況
一、全局變量
- a = 10;
- //未聲明對象。
- global.b = 11;
- //全局變量引用
這種比較簡單的原因，全局變量直接掛在 root 對象上，不會(huì)被清除掉。
二、閉包
- function out() {
- const bigData = new Buffer(100);
- inner = function () {
- void bigData;
- }
- }
閉包會(huì)引用到父級函數(shù)中的變量，如果閉包未釋放，就會(huì)導(dǎo)致內(nèi)存泄漏。上面例子是 inner 直接掛在了 root 上，從而導(dǎo)致內(nèi)存泄漏(bigData 不會(huì)釋放)。
需要注意的是，這里舉得例子只是簡單的將引用掛在全局對象上，實(shí)際的業(yè)務(wù)情況可能是掛在某個(gè)可以從 root 追溯到的對象上導(dǎo)致的。
三、事件監(jiān)聽
Node.js 的事件監(jiān)聽也可能出現(xiàn)的內(nèi)存泄漏。例如對同一個(gè)事件重復(fù)監(jiān)聽，忘記移除(removeListener)，將造成內(nèi)存泄漏。這種情況很容易在復(fù)用對象上添加事件時(shí)出現(xiàn)，所以事件重復(fù)監(jiān)聽可能收到如下警告：
- (node:2752)Warning:PossibleEventEmitter memory leak detected。11 haha listeners added。Use emitter。setMaxListeners() to increase limit
例如，Node.js 中 Agent 的 keepAlive 為 true 時(shí)，可能造成的內(nèi)存泄漏。當(dāng) Agent keepAlive 為 true 的時(shí)候，將會(huì)復(fù)用之前使用過的 socket，如果在 socket 上添加事件監(jiān)聽，忘記清除的話，因?yàn)?socket 的復(fù)用，將導(dǎo)致事件重復(fù)監(jiān)聽從而產(chǎn)生內(nèi)存泄漏。
原理上與前一個(gè)添加事件監(jiān)聽的時(shí)候忘了清除是一樣的。在使用 Node.js 的 http 模塊時(shí)，不通過 keepAlive 復(fù)用是沒有問題的，復(fù)用了以后就會(huì)可能產(chǎn)生內(nèi)存泄漏。所以，你需要了解添加事件監(jiān)聽的對象的生命周期，并注意自行移除。
關(guān)于這個(gè)問題的實(shí)例，可以看 Github 上的 issues(node Agent keepAlive 內(nèi)存泄漏)
四、其他原因
還有一些其他的情況可能會(huì)導(dǎo)致內(nèi)存泄漏，比如緩存。在使用緩存的時(shí)候，得清楚緩存的對象的多少，如果緩存對象非常多，得做限制最大緩存數(shù)量處理。還有就是非常占用 CPU 的代碼也會(huì)導(dǎo)致內(nèi)存泄漏，服務(wù)器在運(yùn)行的時(shí)候，如果有高 CPU 的同步代碼，因?yàn)镹ode.js 是單線程的，所以不能處理處理請求，請求堆積導(dǎo)致內(nèi)存占用過高。
定位內(nèi)存泄漏
一、重現(xiàn)內(nèi)存泄漏情況
想要定位內(nèi)存泄漏，通常會(huì)有兩種情況：
- 對于只要正常使用就可以重現(xiàn)的內(nèi)存泄漏，這是很簡單的情況只要在測試環(huán)境模擬就可以排查了。
- 對于偶然的內(nèi)存泄漏，一般會(huì)與特殊的輸入有關(guān)系。想穩(wěn)定重現(xiàn)這種輸入是很耗時(shí)的過程。如果不能通過代碼的日志定位到這個(gè)特殊的輸入，那么推薦去生產(chǎn)環(huán)境打印內(nèi)存快照了。需要注意的是，打印內(nèi)存快照是很耗 CPU 的操作，可能會(huì)對線上業(yè)務(wù)造成影響。
快照工具推薦使用 heapdump 用來保存內(nèi)存快照，使用 devtool 來查看內(nèi)存快照。使用 heapdump 保存內(nèi)存快照時(shí)，只會(huì)有 Node.js 環(huán)境中的對象，不會(huì)受到干擾(如果使用 node-inspector 的話，快照中會(huì)有前端的變量干擾)。
PS：安裝 heapdump 在某些 Node.js 版本上可能出錯(cuò)，建議使用 npm install heapdump -target=Node.js 版本來安裝。
二、打印內(nèi)存快照
將 heapdump 引入代碼中，使用 heapdump.writeSnapshot 就可以打印內(nèi)存快照了了。為了減少正常變量的干擾，可以在打印內(nèi)存快照之前會(huì)調(diào)用主動(dòng)釋放內(nèi)存的 gc() 函數(shù)(啟動(dòng)時(shí)加上 —expose-gc 參數(shù)即可開啟)。
- const heapdump = require('heapdump');
-
- const save = function () {
- gc();
- heapdump.writeSnapshot('./' + Date.now() + '.heapsnapshot');
- }
在打印線上的代碼的時(shí)候，建議按照內(nèi)存增長情況來打印快照。heapdump 可以使用 kill 向程序發(fā)送信號來打印內(nèi)存快照(只在 *nix 系統(tǒng)上提供)。
- kill -USR2 <pid>
推薦打印 3 個(gè)內(nèi)存快照，一個(gè)是內(nèi)存泄漏之前的內(nèi)存快照，一個(gè)是少量測試以后的內(nèi)存快照，還有一個(gè)是多次測試以后的內(nèi)存快照。
第一個(gè)內(nèi)存快照作為對比，來查看在測試后有哪些對象增長。在內(nèi)存泄漏不明顯的情況下，可以與大量測試以后的內(nèi)存快照對比，這樣能更容易定位。
三、對比內(nèi)存快照找出泄漏位置
通過內(nèi)存快照找到數(shù)量不斷增加的對象，找到增加對象是被誰給引用，找到問題代碼，改正之后就行，具體問題具體分析，這里通過我們在工作中遇到的情況來講解。
- const {EventEmitter} = require('events');
- const heapdump = require('heapdump');
-
- global.test = new EventEmitter();
- heapdump.writeSnapshot('./' + Date.now() + '.heapsnapshot');
-
- function run3() {
- const innerData = new Buffer(100);
- const outClosure3 = function () {
- void innerData;
- };
- test.on('error', () => {
- console.log('error');
- });
- outClosure3();
- }
-
- for(let i = 0; i < 10; i++) {
- run3();
- }
- gc();
-
- heapdump.writeSnapshot('./' + Date.now() + '.heapsnapshot');
這里是對錯(cuò)誤代碼的最小重現(xiàn)代碼。
首先使用 node —expose-gc index.js 運(yùn)行代碼，將會(huì)得到兩個(gè)內(nèi)存快照，之后打開 devtool，點(diǎn)擊 profile，載入內(nèi)存快照。打開對比，Delta 會(huì)顯示對象的變化情況，如果對象 Delta 一直增長，就很有可能是內(nèi)存泄漏了。
可以看到有三處對象明顯增長的地方，閉包、上下文以及 Buffer 對象增長。點(diǎn)擊查看一下對象的引用情況：
其實(shí)這三處對象增長都是一個(gè)問題導(dǎo)致的。test 對象中的 error 監(jiān)聽事件中閉包引用了 innerData 對象，導(dǎo)致 buffer 沒有被清除，從而導(dǎo)致內(nèi)存泄漏。
其實(shí)這里的 error 監(jiān)聽事件中沒有引用 innerData 為什么會(huì)閉包引用了 innerData 對象，這個(gè)問題很是疑惑，后來弄清是 V8 的優(yōu)化問題，在文末會(huì)額外講解一下。對于對比快照找到問題，得看你對代碼的熟悉程度，還有眼力了。
如何避免內(nèi)存泄漏
文中的例子基本都可以很清楚的看出內(nèi)存泄漏，但是在工作中，代碼混合上業(yè)務(wù)以后就不一定能很清楚的看出內(nèi)存泄漏了，還是得依靠工具來定位內(nèi)存泄漏。另外下面是一些避免內(nèi)存泄漏的方法。
ESLint 檢測代碼檢查非期望的全局變量。
使用閉包的時(shí)候，得知道閉包了什么對象，還有引用閉包的對象何時(shí)清除閉包。最好可以避免寫出復(fù)雜的閉包，因?yàn)閺?fù)雜的閉包引起的內(nèi)存泄漏，如果沒有打印內(nèi)存快照的話，是很難看出來的。
綁定事件的時(shí)候，一定得在恰當(dāng)?shù)臅r(shí)候清除事件。在編寫一個(gè)類的時(shí)候，推薦使用 init 函數(shù)對類的事件監(jiān)聽進(jìn)行綁定和資源申請，然后 destroy 函數(shù)對事件和占用資源進(jìn)行釋放。
額外說明
在做了很多測試以后得到下面關(guān)于閉包的總結(jié)。
- class Test{};
- global.test = new Test()
- function run5(bigData) {
- const innerData = new Buffer(100);
-
- // 被閉包引用，創(chuàng)建一個(gè) context: context1。
- // context1 引用 bigData，innerData。
- // closure 為 function run5()
- // run5函數(shù)沒有 context，所以 context1 沒有previous。
- // 在 run5中新建的函數(shù)將綁定上 context1。
-
- test.outClosure5 = function () {
-
- // 此函數(shù)閉包 context 指向 context1。
-
- void bigData;
- const closureData = new Buffer(100);
-
- // 被閉包使用，創(chuàng)建 context: context2。
- // outClosure5 函數(shù)有 context1，previous 指向 context1。
- // 在 outClosure5 中新建的函數(shù)將綁定上context2。
-
- test.innerClosure5 = function () {
-
- // 此函數(shù)閉包 context 指向 context2。
-
- void innerData;
- }
- test.innerClosure5_1 = function () {
-
- // 此函數(shù)閉包 context 指向 context2。
-
- void closureData;
- }
- };
- test.outClosure5_1 = function () {
-
- }
- test.outClosure5();
- }
-
- run5(new Buffer(1000));
V8 會(huì)生成一個(gè) context 內(nèi)部對象來實(shí)現(xiàn)閉包。下面是 V8 生成 context 的規(guī)則。
V8 會(huì)在被閉包引用變量聲明處創(chuàng)建一個(gè) context2，如果被閉包的變量所在函數(shù)擁有 context1 ，則創(chuàng)建的 context2 的 previous指向函數(shù) context1。在被閉包引用變量的函數(shù)內(nèi)新建的函數(shù)將會(huì)綁定上 context2。
由于這個(gè)和 V8版本相關(guān)，這里只測試了 v6.2.2 和 v6.10.1 還有 v7.7.1，都是相同的情況。如果想實(shí)踐測試可以在這個(gè) repo 上了解更多。
