CentOS 7下搭建高可用集群
本文以兩臺機器實現雙集熱備高可用集群，主機名node1的IP為192.168.122.168 ，主機名node2的IP為192.168.122.169 。
一、安裝集群軟件
必須軟件pcs，pacemaker，corosync，fence-agents-all，如果需要配置相關服務，也要安裝對應的軟件
二、配置防火墻
1、禁止防火墻和selinux
- # systemctl disable firewalld
- # systemctl stop firewalld
修改/etc/sysconfig/selinux確保SELINUX=disabled，然后執行setenforce 0或者reboot服務器以生效
2、設置防火墻規則
- # firewall-cmd --permanent --add-service=high-availability
- # firewall-cmd --add-service=high-availability
三、各節點之間主機名互相解析
分別修改2臺主機名分別為node1和node2，在centos 7中直接修改/etc/hostname加入本機主機名和主機表，然后重啟網絡服務即可。
- #vi /etc/hostname
- node1
- #systemctl restart network.service
- #hostname
- node1
配置2臺主機的主機表，在/etc/hosts中加入
- 192.168.122.168 node1
- 192.168.122.169 node2
四、各節點之間時間同步
在node1和node2分別進行時間同步，可以使用ntp實現。
- [root@node1 ~]# ntpdate 172.16.0.1 //172.16.0.1 為時間服務器
五、各節點之間配置ssh的無密碼密鑰訪問。
下面的操作需要在各個節點上操作。
- # ssh-keygen -t rsa -P ‘’ #這個生成一個密碼為空的公鑰和一個密鑰，把公鑰復制到對方節點上即可
- # ssh-copy-id -i /root/.ssh/id_rsa.pub root@node2 #對方主機名用登錄用戶名
兩臺主機都要互相可以通信，所以兩臺主機都得互相生成密鑰和復制公鑰，相互的節點上的hosts文件是都要解析對方的主機名， 192.168.122.168 node1 192.168.122.169 node2
- # ssh node2 ‘date’;date #測試一下是否已經互信
六、通過pacemaker來管理高可用集群
1、創建集群用戶
為了有利于各節點之間通信和配置集群，在每個節點上創建一個hacluster的用戶，各個節點上的密碼必須是同一個。
- # passwd hacluster
- Changing password for user hacluster.
- New password:
- Retype new password:
- passwd: all authentication tokens updated successfully.
2、設置pcsd開機自啟動
- # systemctl start pcsd.service
- # systemctl enable pcsd.service
3、集群各節點之間進行認證
- # pcs cluster auth node1 node2Username: hacluster Password: node1: Authorized node2: Authorized
4、創建并啟動集群
- [root@z1 ~]# pcs cluster setup --start --name my_cluster node1 node2
- node1: Succeeded
- node1: Starting Cluster...
- node2: Succeeded
- node2: Starting Cluster...
5、設置集群自啟動
- # pcs cluster enable –all
6、查看集群狀態信息
- [root@z1 ~]# pcs cluster status
7、設置fence設備
這個可以參考<Red Hat Enterprise Linux 7 High Availability Add-On Reference>
corosync默認啟用了stonith，而當前集群并沒有相應的stonith設備，因此此默 認配置目前尚不可用，這可以通過如下命令驗證：
- #crm_verify -L -V
可以通過如下面命令禁用stonith：
- #pcs property set stonith-enabled=false（默認是true）
8、配置存儲
高可用集群既可以使用本地磁盤來構建純軟件的鏡像型集群系統，也可以使用專門的共享磁盤裝置來構建大規模的共享磁盤型集群系統，充分滿足客戶的不同需求。
共享磁盤主要有iscsi或DBRD。本文并沒有使用共享磁盤。
9、配置浮點IP
不管集群服務在哪運行,我們要一個固定的地址來提供服務。在這里我選擇192.168.122.101作為浮動IP,給它取一個好記的名字 ClusterIP 并且告訴集群 每30秒檢查它一次。
- # pcs resource create VIP ocf:heartbeat:IPaddr2 ip=192.168.122.170 cidr_netmask=24 op monitor interval=30s
- # pcs update VIP op monitor interval=15s
10、配置apache服務
在node1和node2上安裝httpd ，確認httpd開機被禁用
- # systemctl status httpd.service；
配置httpd監控頁面（貌似不配置也可以通過systemd監控），分別在node1和node2上執行
- # cat > /etc/httpd/conf.d/status.conf << EOF
- SetHandler server-status
- Order deny,allow
- Deny from all
- Allow from localhost
- EOF
首先我們為Apache創建一個主頁。在centos上面默認的Apache docroot是/var/www/html,所以我們在這個目錄下面建立一個主頁。
node1節點修改如下：
- [root@node1 ~]# cat <<-END >/var/www/html/index.html
- <html>
- <body>Hello node1</body>
- </html>
- END
node2節點修改如下：
- [root@node2 ~]# cat <<-END >/var/www/html/index.html
- <html>
- <body>Hello node2</body>
- </html>
- END
下面語句是將httpd作為資源添加到集群中：
- #pcs resource create WEB apache configfile="/etc/httpd/conf/httpd.conf" statusurl="http://127.0.0.1/server-status"
11、創建group
將VIP和WEB resource捆綁到這個group中，使之作為一個整體在集群中切換。（此配置為可選)
- # pcs resource group add MyGroup VIP
- # pcs resource group add MyGroup WEB
12、配置服務啟動順序
以避免出現資源沖突，語法：(pcs resource group add的時候也可以根據加的順序依次啟動，此配置為可選)
- # pcs constraint order [action] then [action]
- # pcs constraint order start VIP then start WEB
13、指定優先的 Location （此配置為可選)
Pacemaker 并不要求你機器的硬件配置是相同的,可能某些機器比另外的機器配置要好。這種狀況下我們會希望設置:當某個節點可用時,資源就要跑在上面之類的規則。為了達到這個效果我們創建location約束。同樣的,我們給他取一個描述性的名字(prefer-node1),指明我們想在上面跑WEB 這個服務,多想在上面跑(我們現在指定分值為50,但是在雙節點的集群狀態下,任何大于0的值都可以達到想要的效果),以及目標節點的名字:
- # pcs constraint location WEB prefers node1=50
- # pcs constraint location WEB prefers node2=45
這里指定分值越大，代表越想在對應的節點上運行。
14、資源粘性（此配置為可選)
一些環境中會要求盡量避免資源在節點之間遷移。遷移資源通常意味著一段時間內無法提供服務，某些復雜的服務，比如Oracle數據庫，這個時間可能會很長。
為了達到這個效果，Pacemaker 有一個叫做“資源粘性值”的概念，它能夠控制一個服務(資源)有多想呆在它正在運行的節點上。
Pacemaker為了達到***分布各個資源的目的，默認設置這個值為0。我們可以為每個資源定義不同的粘性值，但一般來說，更改默認粘性值就夠了。資源粘性表示資源是否傾向于留在當前節點，如果為正整數，表示傾向，負數則會離開，-inf表示負無窮，inf表示正無窮。
- # pcs resource defaults resource-stickiness=100
常用命令匯總：
查看集群狀態：#pcs status
查看集群當前配置：#pcs config
開機后集群自啟動：#pcs cluster enable –all
啟動集群：#pcs cluster start –all
查看集群資源狀態：#pcs resource show
驗證集群配置情況：#crm_verify -L -V
測試資源配置：#pcs resource debug-start resource
設置節點為備用狀態：#pcs cluster standby node1
