Centos5.6下MySQL Proxy0.8.2的安裝及測試
原創【51CTO獨家特稿】MySQL Proxy就是這么一個中間層代理,簡單的說,MySQL Proxy就是一個連接池,負責將前臺應用的連接請求轉發給后臺的數據庫,并且通過使用lua腳本,可以實現復雜的連接控制和過濾,從而實現讀寫分離和負載平衡。對于應用來說,MySQL Proxy是完全透明的,應用則只需要連接到MySQL Proxy的監聽端口即可。當然,這樣proxy機器可能成為單點失效,但完全可以使用多個proxy機器做為冗余,在應用服務器的連接池配置中配置到多個proxy的連接參數即可。MySQL Proxy更強大的一項功能是實現“ 讀寫分離”,基本原理是讓主數據庫處理事務性查詢,讓從庫處理SELECT查詢。數據庫復制被用來把事務性查詢導致的變更同步到集群中的從庫。在生成Mysql的M-S結構后,為了實現讀寫分離,需要使用Mysql Proxy。目前Mysql Proxy的版本為0.8.2 。
MySQl Proxy目前應用的生產環境:
一、現實中很多應用環境是這樣:在程序開發初期就沒有規劃好,程序讀寫數據都只提供一個IP接口,后期由于壓力頂不住,公司要求后來的系統架構師/DBA將公司的數據庫架構更改,這樣在程序上實現比較困難,所以加進此中間層來實現。
二、建議大家還是將其應用中小型網站,特別是讀比較頻繁的網站。如果是大型網站或門戶型的網站,建議讀寫分離還是從開發層面實現。
三、建議大家采用MySQL Proxy 0.8.0以上的版本,它修正了以前不少BUG,而且穩定性也不錯。
一、MySQL Proxy0.8.2的安裝步驟如下:
先從mysql.com官方地址http://dev.mysql.com/downloads/mysql-proxy/下載源碼包到/usr/local/src/目錄下,建議大家采用***的MySQL Proxy0.8.2版本,Mysql Proxy0.8.2安裝之前有先決條件,如下:
libevent 1.x 或更高
glib2 2.6.0 或更高
lua 5.1.x 或更高
pkg-config
libtool 1.5 或更高
MySQL 5.0.x 或更高的開發庫
服務器操作系統:Centos5.6 x86_64
1.為了加速安裝進度,我們可以先yum安裝必須的庫,同時解決pkg-config、libtool和Mysql開發庫,由于mysql-proxy實際并不需要在本機上運行mysql實例,所以我們在這里用yum安裝,命令如下所示:
- yum -y install gcc gcc-c++ autoconf mysql-devel libtool pkgconfig ncurses ncurses-devel
2.libevent安裝libevent-2.0.13版本,從此處可以下載:
http://monkey.org/~provos/libevent-2.0.13-stable.tar.gz
運行如下命令進行安裝:
- tar xvf libevent-2.0.13-stable.tar.gz
- cd libevent-2.0.13-stable
- ./configure
- make && make install
3.glib2安裝glib-2.18.4版,從此處可以下載:
http://ftp.gnome.org/pub/gnome/sources/glib/2.18/glib-2.18.4.tar.gz
運行如下命令進行安裝:
- tar xvf glib-2.18.4.tar.gz
- cd glib-2.18.4
- ./configure
- make && make install
4.lua安裝5.1.4版本,安裝之前需要先安裝readline 6.1,不然會報錯缺少頭文件:
readline 6.1下載:
ftp://ftp.cwru.edu/pub/bash/readline-6.1.tar.gz
運行如下命令進行安裝:
- tar xvf readline-6.1.tar.gz
- cd readline-6.1
- ./configure
- make && make install
為了讓動態鏈接庫為系統所共享,我們這里用ldconfig
- ldconfig -v
用此選項時,ldconfig將顯示正在掃描的目錄及搜索到的動態鏈接庫,還有它所創建的連接的名字。
5.安裝lua 5.1.4,其下載地址為http://www.lua.org/ftp/lua-5.1.4.tar.gz。
- cd /usr/local/src
- tar xvf lua-5.1.4.tar.gz
- cd lua-5.1.4
# 64位系統,需在CFLAGS里加上-fPIC ,我們用vim編輯下src/Makefile文件,修改代碼如下所示:
- CFLAGS= -O2 -Wall -fPIC $(MYCFLAGS)
我們繼續用如下命令進行安裝:
- make linux
- make install
6.配置pkg-config 環境變量,命令如下所示:
- cp etc/lua.pc /usr/local/lib/pkgconfig/
- export PKG_CONFIG_PATH=$PKG_CONFIG_PATH:/usr/local/lib/pkgconfig
7.以上操作就完成了基礎文件的安裝,接下來是MySQL Proxy0.8.2安裝,下載完后運行如下命令:
- tar xvf mysql-proxy-0.8.2.tar.gz
- cd mysql-proxy-0.8.2
- ./configure –prefix=/usr/local/mysql-proxy
- make && make install
- cp lib/rw-splitting.lua /usr/local/lib/
- cp lib/admin.lua /usr/local/lib/
二、到這里MySQL-proxy已基本安裝完成,接下來就是MySQL Proxy0.8.2的測試和配置了。
MySQL Proxy環境設置說明
Master MySQL服務器:192.168.2.117
Slave MySQL服務器:192.168.192.168.2.115
MySQL Proxy服務器:192.168.2.112
1.mysql-proxy選項說明,大家也可以用mysql-proxy –help-all查看它的幫助選項,命令如下所示:
- mysql-proxy --help-all
管理功能選項:
- --admin-address=host:port 指定一個mysqo-proxy的管理端口,缺省是4041;
- --admin-username=<string> username to allow to log in
- --admin-password=<string> password to allow to log in
- --admin-lua-script=<filename> script to execute by the admin plugin
代理功能選項:
-P,--proxy-address=<host:port> 是mysql-proxy 服務器端的監聽端口,缺省是4040,建議改為3306,方便開發人員寫代碼。
-r,--proxy-read-only-backend-addresses=<host:port> 只讀Slave的地址和端口,缺省為不設置;
-b,--proxy-backend-addresses=<host:port> 遠程Master地址和端口,可設置多個做failover和load balance,缺省是127.0.0.1:3306;
--proxy-skip-profiling 關閉查詢分析功能, 缺省是打開的;
--proxy-fix-bug-25371 修正 mysql的libmysql版本大于5.1.12的一個#25371號bug;
-s,--proxy-lua-script=<file> 指定一個Lua腳本來控制mysql-proxy的運行和設置,這個腳本在每次新建連接和腳本發生修改的的時候將重新調用;
其他選項:
--defaults-file=<file>配置文件,可以把mysql-proxy的參數信息置入一個配置文件里,建議大家用這種配置MySQL Proxy0.8.2,比較方便;
--daemon mysql-proxy以守護進程方式運行;
--pid-file=file 設置mysql-proxy的存儲PID文件的路徑;
--keepalive try to restart the proxy if it crashed,保持連接啟動進程會有2個, 一號進程用來監 視二號進程, 如果二號進程死掉自動重啟proxy,這是新版MySQL Proxy的增加的Keepalived功能,它修正了以前MySQL Proxy容易死掉的bug,建議大家開啟此功能。
完整的mysql-proxy配置文件如下:
- [mysql-proxy]
- admin-username=root
- admin-password=123456
- admin-lua-script=/usr/local/lib/admin.lua
- proxy-read-only-backend-addresses=192.168.2.115
- proxy-backend-addresses=192.168.2.117
- proxy-lua-script=/usr/local/lib/rw-splitting.lua
- log-file=/var/log/mysql-proxy.log
- log-level=debug
- daemon=true
- keepalive=true
2.給用戶授權
在Master/Slave建立一個測試用戶,因為以后客戶端發送的SQL都是通過mysql-proxy服務器來轉發,所以要確保可以從mysql-proxy服務器上登錄MySQL主從庫,分別在主和從MySQL機器上執行如下所示:
- mysql> grant all privileges on *.* to 'test'@'192.168.2.117' identified by 'test' with grant option;
- mysql> grant all privileges on *.* to 'test'@'192.168.2.115' identified by 'test' with grant option;
3.做完此步我們就可以在MySQL Proxy0.8.2上進行測試了,命令如下所示:
- /usr/local/mysql-proxy/bin/mysql-proxy -P 192.168.2.112:3306 --defaults-file=/etc/mysql-proxy.cnf
我們監測下MySQL Proxy的日志,有如下字樣表示MySQL Proxy已成功啟動了(注意之前要成功啟動117和115上的mysql程序),如下所示:
2012-03-13 14:05:38: (message) added read-only backend: 192.168.2.115
2012-03-13 16:14:56: (message) proxy-plugin.c.1508: connect(192.168.2.115:3306) failed: Connection refused. Retrying with different backend.
2012-03-14 13:58:23: (message) chassis-unix-daemon.c:136: [angel] we try to keep PID=2399 alive
2012-03-14 13:58:23: (debug) chassis-unix-daemon.c:157: waiting for 2399
2012-03-14 13:58:23: (debug) chassis-unix-daemon.c:121: we are the child: 2399
2012-03-14 13:58:23: (message) mysql-proxy 0.8.2 started
2012-03-14 13:58:23: (debug) max open file-descriptors = 1024
2012-03-14 13:58:23: (message) proxy listening on port 192.168.2.112:3306
2012-03-14 13:58:23: (message) added read/write backend: 192.168.2.117
2012-03-14 13:58:23: (message) added read-only backend: 192.168.2.115
我們多開些MySQL客戶端,會發現MySQL Proxy0.8.2很容易的利用Lua腳本實現讀寫分離功能了,在進行測試前我比較擔心的一個問題是:如果主Master因故障停止服務了,MySQL Proxy會不會在從機上面寫數據呢?這樣會導致主從數據不一,事實上,我在停掉192.168.2.117上的MySQL時發現,MySQL Proxy0.8.2直接不允許寫數據了。
三、MySQL Proxy0.8.2測試中遇到的問題。
1.我們可以修改讀寫分離Lua腳本,讓測試更容易,Lua腳本默認最小4個***8個以上的客戶端連接才會實現讀寫分離(這是因為mysql-proxy會檢測客戶端連接, 當連接沒有超過min_idle_connections預設值時,不會進行讀寫分離,即查詢操作會發生到Master上),現改為最小1個***2個,我們用vim修改/usr/local/lib/rw-splitting.lua腳本,改動內容如下所示:
- if not proxy.global.config.rwsplit then
- proxy.global.config.rwsplit = {
- min_idle_connections = 1,
- max_idle_connections = 2,
- is_debug = false
- }
- end
2.MySQL Proxy0.8.2啟動后,我們看的網站頁面全是亂碼,所以我們要將主從數據庫的配置文件my.cnf加進如下代碼以避免這個問題:
- [mysqld]
- skip-character-set-client-handshake
- init-connect='SET NAMES utf8'
- default-character-set=utf8
3.配置文件的權限問題
建議使用配置文件的形式啟動,注意配置文件必須是660權限,否則無法啟動。如果有多個Slave的話,proxy-read-only-backend-addresses參數可以配置多個以逗號分隔的IP:Port從庫列表。
注意的是,雖然以前的MySQL Proxy的版本存在著這樣或那樣的問題,但新版的MySQL Proxy0.8.2基本都修正這些Bug了,而且它畢竟是MySQL官方推出的產品,而且相對于Amoeba而言,MySQL Proxy支持事務,我們在生產環境下可以嘗試將其用之于代碼已固定而且不能更改、的中小型網站。
【編輯推薦】