負載均衡實例：如何解放晝夜不眠的網管？
原創【51CTO.com獨家特稿】筆者曾為客戶設計過一系列項目方案，在真正施工時發現：如果客戶方有24小時監控人員時，單臺Nginx也是沒問題的(很多為客戶設計的1+2架構就能滿足客戶需求)，如果機器多的話，建議用Keepalived作雙Nginx負載均衡器的HA。Nginx作負載均衡器的優點許多，簡單概括為:①實現了可彈性化的架構，在壓力增大的時候可以臨時添加tomcat服務器添加到這個架構里面去;②upstream具有負載均衡能力，可以自動判斷下面的機器，并且自動踢出不能正常提供服務的機器；③相對于lvs而言，正則分發和重定向更為靈活。而Keepalvied可保證單個nginx負載均衡器的有效性，避免單點故障，整個拓補如下：
布置整個環境用到的軟件為:
- apache-tomcat-6.0.20.tar.gz
- jdk-6u16-linux-i586.bin
- nginx-0.7.17.tar.gz
- prce-7.7.tar.gz
①首先分別在3臺tomcat主機上布置java環境，安裝tomcat，具體步驟如下（apache-tomcat-6.0.tar.gz可在apache.org上下載，jdk-6u16-linux-i586.bin可是用文件挖掘者直接搜索下載http://www.fdigg.net/search_jdk-6-linux-i586.htm）：
第一步，安裝java環境。
JDK的安裝
- #chmod +x jdk-6u16-linux-i586.bin
- #./jdk-6u16-linux-i586.bin
到此JDK已經安裝完成
建立符號鏈接
- # ln -s /usr/local/jdk-1.6.0-16/bin/java /usr/bin/java
- # ln -s /usr/local/jdk-1.6.0-16/bin/javac /usr/bin/javac
- ln -s /usr/local/jdk-1.6.0-16 /usr/local/jdk
- ln -s /usr/local/jdk-1.6.0-16/jre /usr/local/jre
TOMCAT的安裝
- #tar zxvf apache-tomcat-6.0.20.tar.gz
- #mv apache-tomcat-6.0.20 /usr/local/tomcat
設置環境變量: vim /etc/rc.d/rc.local，以追加的形式添加如下內容
- JAVA_HOME=/usr/local/jdk
- export JAVA_HOME
- JRE_HOME=/usr/local/jre
- export JRE_HOME
- CLASSPATH=/usr/local/tomcat/common/lib/:/usr/local/jdk/lib:/usr/local/jre/lib
- export CLASSPATH
- PATH=$PATH:/usr/local/tomcat/bin/:/usr/local/apache/bin:/usr/local/jdk/bin:/usr/local/jre/bin
- export PATH
- TOMCAT_HOME=/usr/local/tomcat
- export TOMCAT_HOME
重啟服務器，啟動tomcat以檢查是否存在錯誤：
- #cd /usr/local/tomcat/bin
- #./startup.sh
http://IP地址:8080 可以看到貓頭:)成功了。#p#
②分別在二臺nginx負載均衡器上安裝nginx及配置
下載及安裝nginx:
- wget ftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre/pcre-7.7.tar.gz
- tar zxvf pcre-7.7.tar.gz
- cd pcre-7.7/
- ./configure
- make && make install
- wget http://sysoev.ru/nginx/nginx-0.7.17.tar.gz
- tar zxvf nginx-0.7.17.tar.gz
- cd nginx-0.7.17/
- ./configure --prefix=/usr/local/nginx --with-http_stub_status_module
- make && make install
這里貼上nginx.conf配置文件，不加任何說明，方便用X-shell直接粘貼，很人性化的噢:)二個nginx負載均衡器的文件一樣，配置完成后分別用/usr/local/nginx/sbin/nginx啟動。
- user www www;
- worker_processes 8;
- pid /usr/local/nginx/logs/nginx.pid;
- worker_rlimit_nofile 51200;
- events
- {
- use epoll;
- worker_connections 51200;
- }
- http{
- include mime.types;
- default_type application/octet-stream;
- server_names_hash_bucket_size 128;
- client_header_buffer_size 32k;
- large_client_header_buffers 4 32k;
- client_max_body_size 8m;
- sendfile on;
- tcp_nopush on;
- keepalive_timeout 60;
- tcp_nodelay on;
- fastcgi_connect_timeout 300;
- fastcgi_send_timeout 300;
- fastcgi_read_timeout 300;
- fastcgi_buffer_size 64k;
- fastcgi_buffers 4 64k;
- fastcgi_busy_buffers_size 128k;
- fastcgi_temp_file_write_size 128k;
- gzip on;
- gzip_min_length 1k;
- gzip_buffers 4 16k;
- gzip_http_version 1.0;
- gzip_comp_level 2;
- gzip_types text/plain application/x-javascript text/css application/xml;
- gzip_vary on;
- upstream backend
- {
- server 192.168.1.102:8080;
- server 192.168.1.103:8080;
- server 192.168.1.105:8080;
- }
- server {
- listen 80;
- server_name www.yuhongchun027.com;
- location / {
- root /var/www ;
- index index.jsp index.htm index.html;
- proxy_redirect off;
- proxy_set_header Host $host;
- proxy_set_header X-Real-IP $remote_addr;
- proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
- proxy_pass http://backend;
- }
- #location /nginx {
- #access_log on;
- #auth_basic "NginxStatus";
- #auth_basic_user_file /usr/local/nginx/htpasswd;
- #}
- log_format access '$remote_addr - $remote_user [$time_local] "$request" '
- '$status $body_bytes_sent "$http_referer" '
- '"$http_user_agent" $http_x_forwarded_for';
- access_log /var/log/access.log access;
- }
- }
③在二臺Nginx機上安裝及配置keepalived，做雙機互備。
- #wget http://www.keepalived.org/software/keepalived-1.1.15.tar.gz
- #tar zxvf keepalived-1.1.15.tar.gz
- #cd keepalived-1.1.15
- #./configure
- #make
- #make install
將keepalived做成啟動腳務，方便管理:
- #cp /usr/local/etc/rc.d/init.d/keepalived /etc/rc.d/init.d/
- #cp /usr/local/etc/sysconfig/keepalived /etc/sysconfig/
- #mkdir /etc/keepalived
- #cp /usr/local/etc/keepalived/keepalived.conf /etc/keepalived/
- #cp /usr/local/sbin/keepalived /usr/sbin/
- #service keepalived start|stop
在二臺Nginx上，我分別貼出keepalived.conf配置文件，配置完成后分別用service keepalived start啟動。檢驗keepalived是否成功可用命令ip a
- vrrp_instance VI_INET1 {
- state MASTER
- interface eth0
- virtual_router_id 53
- priority 200
- advert_int 1
- authentication {
- auth_type pass
- auth_pass yourpass
- }
- virtual_ipaddress {
- 192.168.1.108
- }
- }
- vrrp_instance VI_INET1 {
- state BACKUP
- interface eth0
- virtual_router_id 53
- priority 100
- advert_int 1
- authentication {
- auth_type pass
- auth_pass yourpass
- }
- virtual_ipaddress {
- 192.168.1.108
- }
- }
#p#
項目實施過程中遇到的問題:
1、session復制問題
以前用apache做負載均衡的時候，是選擇了用 session sticky的模式，這樣的話，用戶每次進來都會是同一個服務器中的session，不會被轉發到其他的服務器上。在這樣的情況下，tomcat即使不做session復制也不會影響用戶訪問;Nginx有個類似模塊ip_hash能解決此問題，但采用了ip_hash后，nginx就不能正常地用輪詢將客戶的要求平等的分發到后端tomcat服務器，所幸客戶對并發要求不高，他們更關心的是后端的tomcat的高可用問題。
2、頁面同步
辦法①可以采用rsync自動同步的辦法。
辦法②后端采用存儲，讀數據采用同一個源。
辦法③在程序上實現動態的調取數據(如圖片及文字)采用后端的唯一數據庫。
3、關于測試
公司的測試組用的測試工具為windows2003下的Load Runner，很強大的一款，但有時采用了ip_hash后，結果并不準確；解決為：在多臺服務器上，采用多種測試工具，如:webbench、Load Runner來進行交叉測試。此外，生產環境下，并發1000就是一個很大的數值，用戶數為100萬的用戶系統往往并未達到此數，這點也是讓我們很驚異的；
4、安全方面：最前端建議放置Cisco四層防火墻+web防火墻的方法，效果相當好；整個系統出口帶寬建議為100M，cisco防火墻映射整個系統的vip地址及80端口，系統內所有服務器均關閉iptables防火墻。
5、監控方面：用傳說中的監控之神Nagios吧，配合139郵箱，效果不錯。另，簽于生產環境下的嚴謹性，歡迎來信交流撫琴煮酒：yuhongchun027@163.com。
