大流量、高負(fù)載LVS系統(tǒng)優(yōu)化注意事項(xiàng)
編者按：本文對(duì)大流量、高負(fù)載LVS系統(tǒng)優(yōu)化提供了參考意見(jiàn)，從IPVS、網(wǎng)卡、TCP/IP配置、硬件資源配置等方面進(jìn)行了闡述。文章重點(diǎn)關(guān)注了IPVS connection hash table的參數(shù)計(jì)算過(guò)程。
Linux環(huán)境
CentOS 5.5
名詞
LVS : Linux Virtual Server
IPVS : IP Virtual Server，IPVS 是 LVS 實(shí)現(xiàn)的關(guān)鍵。
IPVS connection hash table : IPVS連接哈希表，用來(lái)“跟蹤”進(jìn)來(lái)、出去的網(wǎng)絡(luò)包（for input and output packets lookups of IPVS)。
ip_vs_conn 結(jié)構(gòu)體： 定義在內(nèi)核檔 include/net/ip_vs.h 中。該結(jié)構(gòu)體（對(duì)象）是 IPVS 的調(diào)度對(duì)象。在 32 位系統(tǒng)上 128字節(jié)，64位系統(tǒng)上 192 字節(jié)。
IPVS connection hash table
內(nèi)核中的代碼：net/netfilter/ipvs/ip_vs_conn.c
int ip_vs_conn_tab_bits;
編譯時(shí)可以定，Kconfig文件中說(shuō)明該值的大小應(yīng)該在 8 到 20 之間。當(dāng)ip_vs_conn_tab_bits=20 時(shí)，哈希表的的大小（條目）為 pow(2,20)，即 1048576，約 104 萬(wàn)，足夠用了。
int ip_vs_conn_tab_size;
IPVS哈希連接表的條目數(shù)（list_head結(jié)構(gòu)數(shù)）。
ip_vs_conn_tab_size = 1 << ip_vs_conn_tab_bits;
哈希表的大小（條目數(shù)）是 2 的 ip_vs_conn_tab_bits 次方。
ip_vs_conn_tab = vmalloc(ip_vs_conn_tab_size * sizeof(struct list_head));
其中 IPVS連接哈希表占用的內(nèi)存大小是 ip_vs_conn_tab_size * sizeof(struct list_head)
內(nèi)核Kconfig文件中說(shuō)一個(gè)哈希條目點(diǎn)用8個(gè)字節(jié)，但是實(shí)示上，一個(gè)條目占用的內(nèi)存大小是和 list_head 結(jié)構(gòu)體的大小相關(guān)， （可能）在32位的內(nèi)核里是8個(gè)字節(jié)，64位的內(nèi)核里是16個(gè)字節(jié)。當(dāng)加載ip_vs模塊的時(shí)候，使用dmesg可以看到具體的信息：
在32位系統(tǒng)上
IPVS: Registered protocols (TCP, UDP, AH, ESP)
IPVS: Connection hash table configured (size=4096, memory=32Kbytes)
IPVS: ipvs loaded.
在64位的系統(tǒng)上：
IPVS: Registered protocols (TCP, UDP, AH, ESP)
IPVS: Connection hash table configured (size=4096, memory=64Kbytes)
IPVS: ipvs loaded.
哈希沖突，是哈希算法的致命傷。“IPVS”使用“鏈表策略”(chaining scheme) 解決哈希沖突。當(dāng)有大量的連接時(shí)，一個(gè)大的 “IPVS連接哈希表”將大大減少?zèng)_突。減少了沖突，意為著IPVS定位 ip_vs_conn 對(duì)象的速度更快。
下圖示意了哈希表（Hash Table）這種數(shù)據(jù)結(jié)構(gòu)。引用
如上圖所示，首先分配一個(gè)指針數(shù)組，數(shù)組的每個(gè)元素是一個(gè)鏈表的頭指針，每個(gè)鏈表稱為一個(gè)槽（Slot）。哪個(gè)數(shù)據(jù)應(yīng)該放入哪個(gè)槽中由哈希函數(shù)決定，在這個(gè)例子中我們簡(jiǎn)單地選取哈希函數(shù)h(x) = x % 11，這樣任意數(shù)據(jù)x都可以映射成0~10之間的一個(gè)數(shù)，就是槽的編號(hào)，將數(shù)據(jù)放入某個(gè)槽的操作就是鏈表的插入操作。
如果每個(gè)槽里至多只有一個(gè)數(shù)據(jù)，可以想像這種情況下search、insert和delete操作的時(shí)間復(fù)雜度都是O(1)，但有時(shí)會(huì)有多個(gè)數(shù)據(jù)被哈希函數(shù)映射到同一個(gè)槽中，這稱為碰撞（Collision），設(shè)計(jì)一個(gè)好的哈希函數(shù)可以把數(shù)據(jù)比較均勻地分布到各個(gè)槽中，盡量避免碰撞。如果能把n個(gè)數(shù)據(jù)比較均勻地分布到m個(gè)槽中，每個(gè)糟里約有n/m個(gè)數(shù)據(jù)，則search、insert和delete和操作的時(shí)間復(fù)雜度都是O(n/m)，如果n和m的比是常數(shù)，則時(shí)間復(fù)雜度仍然是O(1)。一般來(lái)說(shuō)，要處理的數(shù)據(jù)越多，構(gòu)造哈希表時(shí)分配的槽也應(yīng)該越多，所以n和m成正比這個(gè)假設(shè)是成立的。
關(guān)聯(lián)到IPVS，ip_vs_conn_tab_size 指的就是“槽”的數(shù)量。 N 指的應(yīng)該是所有的調(diào)度對(duì)象 struct ip_vs_conn 的數(shù)量。
確定 ip_vs_conn_tab_bits 的***值：
假如你的 LVS 上每秒有 W 個(gè)“連接”建立， 平均每個(gè)“連接”將要保持 S 秒，即每個(gè)連接工作 S 秒，*** ip_vs_conn_tab_bits 值應(yīng)該滿足 2 的 ip_vs_conn_tab_bits 次方靠近 W*S。***的 ip_vs_conn_tab_bits = log(W*S,2).
還有一個(gè)容易的方法：
使用 slabtop 觀察 ip_vs_conn 結(jié)構(gòu)的數(shù)量（OBJS），當(dāng)然，應(yīng)該是在系統(tǒng)流量***的時(shí)候取得這個(gè)值，對(duì)該值求以 2為底 的對(duì)數(shù)，log(OBJS,2)。
獲取ip_vs_conn OBJS的值：awk ‘/ip_vs_conn/{print $3}’ /proc/slabinfo
這個(gè)***值，以我理解，就是上面 “哈希表”結(jié)構(gòu)說(shuō)明中提到的M值，而 OBJS 就是 N 值 ，當(dāng)M接近 N的時(shí)候，哈希表的復(fù)制度為O(1)，為***狀態(tài)。
使我不解的是，這里為什么不設(shè)置的更大一些，僅僅是浪費(fèi)一些內(nèi)存而且（一個(gè)條目用去8或者16個(gè)字節(jié)）。即使取***值 20,在64位內(nèi)核上，也才只占去16M的內(nèi)存，在32位的內(nèi)核上，占去8M內(nèi)存。
IPVS的默認(rèn)值是12，32位機(jī)用掉 32K，64位機(jī)用掉 64K內(nèi)存。假如不是因?yàn)樾?nèi)存容易使用CPU緩存，那么就一定是為了節(jié)省內(nèi)存，在服務(wù)器上，這樣的策略，明顯落后了。
問(wèn)題的關(guān)鍵是查明 vmalloc() 函數(shù)的作用。
vmalloc() 函數(shù)的作用：
申請(qǐng)邏輯地址連續(xù)的內(nèi)存，返回首內(nèi)存地址。
看來(lái)IPVS連接哈希表的大小，與使用的內(nèi)存（是高速緩存，還是普通內(nèi)存）并無(wú)影響。
調(diào)整 ip_vs_conn_tab_bits的方法：
新的IPVS代碼，允許調(diào)整 ip_vs_conn_bits 的值。而老的IPVS代碼則需要通過(guò)重新編譯來(lái)調(diào)整。
在發(fā)行版里，IPVS通常是以模塊的形式編譯的。
確認(rèn)能否調(diào)整使用命令 modinfo -p ip_vs（查看 ip_vs 模塊的參數(shù)），看有沒(méi)有 conn_tab_bits 參數(shù)可用。假如可以用，那么說(shuō)時(shí)可以調(diào)整，調(diào)整方法是加載時(shí)通過(guò)設(shè)置 conn_tab_bits參數(shù)：
在 /etc/modprobe.conf 添加下面一行
options ip_vs conn_tab_bits=20
假如沒(méi)有 conn_tab_bits 參數(shù)可用，則需要重新調(diào)整編譯選項(xiàng)，重新編譯。
很不幸，即使將CentOS內(nèi)核升級(jí)到***版，也不支持這個(gè)參數(shù)，只能自定義編譯了（沒(méi)有編譯成功，很郁悶）。
另外，假如IPVS支持調(diào)整 ip_vs_conn_tab_bits，而又將IPVS集成進(jìn)了內(nèi)核，那么只能通過(guò)重啟，向內(nèi)核傳遞參數(shù)來(lái)調(diào)整了。在引導(dǎo)程序的 kernel 相關(guān)的配置行上，添加：ip_vs.conn_tab_bits=20 ，然后，重啟。
最終建意：
增大哈希表，調(diào)到 ip_vs_conn_tab_bits 到 20 。有一種說(shuō)法是哈希表過(guò)大，會(huì)影響性能。但是根據(jù)我對(duì)哈希算法的理解，這種說(shuō)法沒(méi)有道理。
另一個(gè)有力的證據(jù)是，IPVS的作者也是這樣配置的。
Network
增加LVS主機(jī)的網(wǎng)絡(luò)吞吐能力，有利于提高LVS的處理速度和能力。
1. 使用更快的網(wǎng)卡，比如使用千兆、萬(wàn)兆的網(wǎng)卡。
2. 可以進(jìn)一步將兩塊或多塊網(wǎng)卡綁定（多塊網(wǎng)卡的綁定有待驗(yàn)證），bonding 時(shí) mode=0 （balance-rr）或者 mode=4（802.3ad，需要交換機(jī)支持聚合端口），miimon=80或者 miimon=100（毫秒）。
TCP/IP
/etc/sysctl.conf
net.core.netdev_max_backlog = 60000
Hardware
IPVS的運(yùn)行，使用的服務(wù)器資源主要是 CPU、內(nèi)存I/O、網(wǎng)絡(luò)I/O；IPVS完全運(yùn)行在內(nèi)存中，并且運(yùn)行在內(nèi)核態(tài)。
當(dāng)IPVS的應(yīng)用在DR模式時(shí)，即不耗CPU，也不耗I/O，運(yùn)行非常快，所以系統(tǒng)負(fù)載非常的低，跟據(jù)我的經(jīng)驗(yàn)，一般負(fù)載總是0。所以 LVS 應(yīng)用對(duì)服務(wù)器的配置要求非常低。以為 LVS 很重要，所以配置一個(gè)相當(dāng)高端的服務(wù)器，實(shí)在是一種浪費(fèi)。
其實(shí)我們可以做一下計(jì)算：
以64位系統(tǒng)為例，一個(gè)哈希表?xiàng)l目，16個(gè)字節(jié)，一個(gè) ip_vs_conn 結(jié)構(gòu) 192字節(jié)。以哈希表的沖突盡可能的少為場(chǎng)景（將 ip_vs_conn_tab_bits 設(shè)置為***值 20 ），那么：
pow(2,20)=1048576
pow(2,20)*(16+192)/1024/1024 = 208 M
就是說(shuō)，當(dāng)系統(tǒng)當(dāng)前有100 萬(wàn)連接的時(shí)候，才用去內(nèi)存 208 M，所以 IPVS 的主機(jī)，即使是1G的內(nèi)存，也足以承載負(fù)載。
原文：http://www.bsdmap.com/2010/10/17/lvs-performance/
【編輯推薦】
