在Linux的網(wǎng)絡(luò)調(diào)優(yōu)方面，如果你發(fā)現(xiàn)網(wǎng)絡(luò)流量上不去，那么有一個(gè)方面需要去查一下：網(wǎng)卡處理網(wǎng)絡(luò)請(qǐng)求的中斷是否被綁定到單個(gè)CPU或跟處理其它中斷的是同一個(gè)CPU。

網(wǎng)卡與操作系統(tǒng)的交互方式

網(wǎng)卡與操作系統(tǒng)的交互一般有兩種方式：

1. 中斷IRQ

網(wǎng)卡在收到了網(wǎng)絡(luò)信號(hào)之后，主動(dòng)發(fā)送中斷到CPU，而CPU將會(huì)立即停下手邊的活以便對(duì)這個(gè)中斷信號(hào)進(jìn)行分析;

2. DMA(Direct Memory Access)

也就是允許硬件在無(wú)CPU干預(yù)的情況下將數(shù)據(jù)緩存在指定的內(nèi)存空間內(nèi)，在CPU合適的時(shí)候才處理;

​ 現(xiàn)在的對(duì)稱多核處理器(SMP)上，一塊網(wǎng)卡的IRQ還是只有一個(gè)CPU來(lái)響應(yīng)，其它CPU無(wú)法參與，如果這個(gè)CPU還要忙其它的中斷(其它網(wǎng)卡或者其它使用中斷的外設(shè)(比如磁盤))，那么就會(huì)形成瓶頸。

檢查環(huán)境

​ 首先，讓網(wǎng)絡(luò)跑滿。如：對(duì)于MySQL/MongoDB服務(wù)，可以通過(guò)客戶端發(fā)起密集的讀操作 或執(zhí)行一個(gè)大文件傳送任務(wù)。查明是不是某個(gè)CPU在一直忙著處理IRQ?

從 mpstat -P ALL 1 輸出里面的 %irq一列即說(shuō)明了哪個(gè)CPU忙于處理中斷的時(shí)間占比;

上面的例子中，第四個(gè)CPU有25.63%時(shí)間在忙于處理中斷，后面 intr/s 也說(shuō)明了CPU每秒處理的中斷數(shù)。從上面的數(shù)據(jù)可以看出，其它幾個(gè)CPU都不怎么處理中斷。

那么，這些忙于處理中斷的CPU都在處理哪些中斷?

這里記錄的是自啟動(dòng)以來(lái)，每個(gè)CPU處理各類中斷的數(shù)量。第一列是中斷號(hào)，最后一列是對(duì)應(yīng)的設(shè)備名。從上面可以看到： eth0所出發(fā)的中斷全部都是 CPU0在處理，而CPU0所處理的中斷請(qǐng)求中，主要是eth0和LOC中斷。有時(shí)我們會(huì)看到幾個(gè)CPU對(duì)同一個(gè)中斷類型所處理的的請(qǐng)求數(shù)相差無(wú)幾(比如上面的LOC)，這并不一定是說(shuō)多個(gè)CPU會(huì)輪流處理同一個(gè)中斷，而是因?yàn)檫@里記錄的是“自啟動(dòng)以來(lái)”的統(tǒng)計(jì)，中間可能因?yàn)閕rq balancer重新分配過(guò)處理中斷的CPU。

解決思路

​ 現(xiàn)在的多數(shù)Linux系統(tǒng)中都有IRQ Balance這個(gè)服務(wù)(服務(wù)程序一般是 /usr/sbin/irqbalance)，它可以自動(dòng)調(diào)節(jié)分配各個(gè)中斷與CPU的綁定關(guān)系，以避免所有中斷的處理都集中在少數(shù)幾個(gè)CPU上。在某些情況下，這個(gè)IRQ Balance反而會(huì)導(dǎo)致問(wèn)題，會(huì)出現(xiàn) irqbalance 這個(gè)進(jìn)程反而自身占用了較高的CPU(當(dāng)然也就影響了業(yè)務(wù)系統(tǒng)的性能)。

​ 首先要看該網(wǎng)卡的中斷當(dāng)前是否已經(jīng)限定到某些CPU了?具體是哪些CPU?

根據(jù)上面 /proc/interrupts 的內(nèi)容我們可以看到 eth0 的中斷號(hào)是74，然后我們來(lái)看看該中斷號(hào)的CPU綁定情況或者說(shuō)叫親和性 affinity。

$ sudo cat /proc/irq/74/smp_affinity 
ffffff 

​ 這個(gè)輸出是一個(gè)16進(jìn)制的數(shù)值，0xffffff = '0b111111111111111111111111'，這就意味著這里有24個(gè)CPU，所有位都為1表示所有CPU都可以被該中斷干擾。

​ 修改配置的方法:(設(shè)置為2表示將該中斷綁定到CPU1上，0x2 = 0b10，而第一個(gè)CPU為CPU0)

echo 2 > /proc/irq/74/smp_affinity