用 HAProxy 實現(xiàn)網(wǎng)絡(luò)流量的負(fù)載平衡
安裝、配置和運(yùn)行 HAProxy,在幾個網(wǎng)絡(luò)或應(yīng)用服務(wù)器之間分配網(wǎng)絡(luò)流量。
不是只有在一個大型公司工作才需要使用負(fù)載平衡器。你可能是一個業(yè)余愛好者,用幾臺樹莓派電腦自我托管一個網(wǎng)站。也許你是一個小企業(yè)的服務(wù)器管理員;也許你確實在一家大公司工作。無論你的情況如何,你都可以使用 ??HAProxy?? 負(fù)載平衡器來管理你的流量。
HAProxy 被稱為“世界上最快和使用最廣泛的軟件負(fù)載平衡器”。它包含了許多可以使你的應(yīng)用程序更加安全可靠的功能,包括內(nèi)置的速率限制、異常檢測、連接排隊、健康檢查以及詳細(xì)的日志和指標(biāo)。學(xué)習(xí)本教程中所涉及的基本技能和概念,將有助于你使用 HAProxy 建立一個更強(qiáng)大的、遠(yuǎn)為強(qiáng)大的基礎(chǔ)設(shè)施。
為什么需要一個負(fù)載平衡器?
負(fù)載平衡器是一種在幾個網(wǎng)絡(luò)或應(yīng)用服務(wù)器之間輕松分配連接的方法。事實上,HAProxy 可以平衡任何類型的傳輸控制協(xié)議(??TCP??)流量,包括 RDP、FTP、WebSockets 或數(shù)據(jù)庫連接。分散負(fù)載的能力意味著你不需要因為你的網(wǎng)站流量比谷歌大就購買一個擁有幾十萬 G 內(nèi)存的大型網(wǎng)絡(luò)服務(wù)器。
負(fù)載平衡器還為你提供了靈活性。也許你現(xiàn)有的網(wǎng)絡(luò)服務(wù)器不夠強(qiáng)大,無法滿足一年中繁忙時期的峰值需求,你想增加一個,但只是暫時的。也許你想增加一些冗余,以防一個服務(wù)器出現(xiàn)故障。有了 HAProxy,你可以在需要時向后端池添加更多的服務(wù)器,在不需要時刪除它們。
你還可以根據(jù)情況將請求路由到不同的服務(wù)器。例如,你可能想用幾個緩存服務(wù)器(如 ??Varnish??)來處理你的靜態(tài)內(nèi)容,但把任何需要動態(tài)內(nèi)容的東西,如 API 端點,路由到一個更強(qiáng)大的機(jī)器。
在這篇文章中,我將通過設(shè)置一個非常基本的 HAProxy 環(huán)境,使用 HTTPS 來監(jiān)聽安全端口 443,并利用幾個后端 Web 服務(wù)器。它甚至?xí)⑺羞M(jìn)入預(yù)定義 URL(如 ??/api/?
?)的流量發(fā)送到不同的服務(wù)器或服務(wù)器池。
安裝 HAProxy
要開始安裝,請啟動一個新的 CentOS 8 服務(wù)器或?qū)嵗⑹瓜到y(tǒng)達(dá)到最新狀態(tài):
$ sudo yum update -y
這通常會持續(xù)一段時間。在等待的時候給自己拿杯咖啡。
這個安裝有兩部分:第一部分是安裝 yum 版本的 HAProxy,第二部分是編譯和安裝你的二進(jìn)制文件,用最新的版本覆蓋以前的 HAProxy。用 yum 安裝,在生成 systemd 啟動腳本等方面做了很多繁重的工作,所以運(yùn)行 ??yum install?
?,然后從源代碼編譯,用最新的版本覆蓋 HAProxy 二進(jìn)制:
$ sudo yum install -y haproxy
啟用 HAProxy 服務(wù):
$ sudo systemctl enable haproxy
要升級到最新版本(??版本 2.2??,截至本文寫作為止),請編譯源代碼。許多人認(rèn)為從源代碼編譯和安裝一個程序需要很高的技術(shù)能力,但這是一個相當(dāng)簡單的過程。首先,使用 ??yum?
? 安裝一些提供編譯代碼工具的軟件包:
$ sudo yum install dnf-plugins-core
$ sudo yum config-manager --set-enabled PowerTools
$ sudo yum install -y git ca-certificates gcc glibc-devel \
lua-devel pcre-devel openssl-devel systemd-devel \
make curl zlib-devel
使用 ??git?
? 獲得最新的源代碼,并改變到 ??haproxy?
? 目錄:
$ git clone http://git.haproxy.org/git/ haproxy
$ cd haproxy
運(yùn)行以下三個命令來構(gòu)建和安裝具有集成了 Prometheus 支持的 HAProxy:
$ make TARGET=linux-glibc USE_LUA=1 USE_OPENSSL=1 USE_PCRE=1 \
PCREDIR= USE_ZLIB=1 USE_SYSTEMD=1 \
EXTRA_OBJS="contrib/prometheus-exporter/service-prometheus.o"
$ sudo make PREFIX=/usr install # 安裝到 /usr/sbin/haproxy
通過查詢版本來測試它:
$ haproxy -v
你應(yīng)該看到以下輸出:
HA-Proxy version 2.2.4-b16390-23 2020/10/09 - https://haproxy.org/
創(chuàng)建后端服務(wù)器
HAProxy 并不直接提供任何流量,這是后端服務(wù)器的工作,它們通常是網(wǎng)絡(luò)或應(yīng)用服務(wù)器。在這個練習(xí)中,我使用一個叫做 ??Ncat?? 的工具,它是網(wǎng)絡(luò)領(lǐng)域的“瑞士軍刀”,用來創(chuàng)建一些極其簡單的服務(wù)器。安裝它:
$ sudo yum install nc -y
如果你的系統(tǒng)啟用了 ??SELinux??,你需要啟用端口 8404,這是用于訪問 HAProxy 統(tǒng)計頁面的端口(下面有解釋),以及你的后端服務(wù)器的端口:
$ sudo dnf install policycoreutils-python-utils
$ sudo semanage port -a -t http_port_t -p tcp 8404
$ sudo semanage port -a -t http_port_t -p tcp 10080
$ sudo semanage port -a -t http_port_t -p tcp 10081
$ sudo semanage port -a -t http_port_t -p tcp 10082
創(chuàng)建兩個 Ncat 網(wǎng)絡(luò)服務(wù)器和一個 API 服務(wù)器:
$ while true ;
do
nc -l -p 10080 -c 'echo -e "HTTP/1.1 200 OK\n\n This is Server ONE"' ;
done &
$ while true ;
do
nc -l -p 10081 -c 'echo -e "HTTP/1.1 200 OK\n\n This is Server TWO"' ;
done &
$ while true ;
do
nc -l -p 10082 -c 'echo -e "HTTP/1.1 200 OK\nContent-Type: application/json\n\n { \"Message\" :\"Hello, World!\" }"' ;
done &
這些簡單的服務(wù)器打印出一條信息(如“This is Server ONE”),并運(yùn)行到服務(wù)器停止為止。在現(xiàn)實環(huán)境中,你會使用實際的網(wǎng)絡(luò)和應(yīng)用程序服務(wù)器。
修改 HAProxy 的配置文件
HAProxy 的配置文件是 ??/etc/haproxy/haproxy.cfg?
?。你在這里進(jìn)行修改以定義你的負(fù)載平衡器。這個 ??基本配置?? 將讓你從一個工作的服務(wù)器開始:
global
log 127.0.0.1 local2
user haproxy
group haproxy
defaults
mode http
log global
option httplog
frontend main
bind *:80
default_backend web
use_backend api if { path_beg -i /api/ }
#-------------------------
# SSL termination - HAProxy handles the encryption.
# To use it, put your PEM file in /etc/haproxy/certs
# then edit and uncomment the bind line (75)
#-------------------------
# bind *:443 ssl crt /etc/haproxy/certs/haproxy.pem ssl-min-ver TLSv1.2
# redirect scheme https if !{ ssl_fc }
#-----------------------------
# Enable stats at http://test.local:8404/stats
#-----------------------------
frontend stats
bind *:8404
stats enable
stats uri /stats
#-----------------------------
# round robin balancing between the various backends
#-----------------------------
backend web
server web1 127.0.0.1:10080 check
server web2 127.0.0.1:10081 check
#-----------------------------
# API backend for serving up API content
#-----------------------------
backend api
server api1 127.0.0.1:10082 check
重啟并重新加載 HAProxy
HAProxy 可能還沒有運(yùn)行,所以發(fā)出命令 ??sudo systemctl restart haproxy?
? 來啟動(或重新啟動)它。“重啟” 的方法在非生產(chǎn)情況下是很好的,但是一旦你開始運(yùn)行,你要養(yǎng)成使用 ??sudo systemctl reload haproxy?
? 的習(xí)慣,以避免服務(wù)中斷,即使你的配置中出現(xiàn)了錯誤。
例如,當(dāng)你對 ??/etc/haproxy/haproxy.cfg?
? 進(jìn)行修改后,你需要用 ??sudo systemctl reload haproxy?
? 來重新加載守護(hù)進(jìn)程,使修改生效。如果有錯誤,它會讓你知道,但繼續(xù)用以前的配置運(yùn)行。用 ??sudo systemctl status haproxy?
? 檢查 HAProxy 的狀態(tài)。
如果它沒有報告任何錯誤,你就有一個正在運(yùn)行的服務(wù)器。在服務(wù)器上用 ??curl?
? 測試,在命令行輸入 ??curl http://localhost/?
?。如果你看到 “This is Server ONE”,那就說明一切都成功了!運(yùn)行 ??curl?
? 幾次,看著它在你的后端池中循環(huán),然后看看當(dāng)你輸入 ??curl http://localhost/api/?
? 時會發(fā)生什么。在 URL 的末尾添加 ??/api/?
? 將把所有的流量發(fā)送到你池子里的第三個服務(wù)器。至此,你就有了一個正常運(yùn)作的負(fù)載平衡器
檢查你的統(tǒng)計資料
你可能已經(jīng)注意到,配置中定義了一個叫做 ??stats?
? 的前端,它的監(jiān)聽端口是 8404:
frontend stats
bind *:8404
stats uri /stats
stats enable
在你的瀏覽器中,加載 ??http://localhost:8404/stats?
?。閱讀 HAProxy 的博客 ??學(xué)習(xí) HAProxy 的統(tǒng)計頁面??,了解你在這里可以做什么。
一個強(qiáng)大的負(fù)載平衡器
雖然我只介紹了 HAProxy 的幾個功能,但你現(xiàn)在有了一個服務(wù)器,它可以監(jiān)聽 80 和 443 端口,將 HTTP 流量重定向到 HTTPS,在幾個后端服務(wù)器之間平衡流量,甚至將匹配特定 URL 模式的流量發(fā)送到不同的后端服務(wù)器。你還解鎖了非常強(qiáng)大的 HAProxy 統(tǒng)計頁面,讓你對你的系統(tǒng)有一個很好的概覽。
這個練習(xí)可能看起來很簡單,不要搞錯了,你剛剛建立和配置了一個非常強(qiáng)大的負(fù)載均衡器,能夠處理大量的流量。
為了你方便,我把本文中的所有命令放在了 ??GitHub Gist?? 中。