成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

程序員筆記 | 一次Zookeeper擴展之殤

作者：毛正衛
開發 開發工具
基于公司發展硬性需求，生產VM服務器要統一遷移到ZStack 虛擬化服務器。檢查自己項目使用的服務器，其中zookeeper集群中招，所以需要進行遷移。

背景

基于公司發展硬性需求，生產VM服務器要統一遷移到ZStack 虛擬化服務器。檢查自己項目使用的服務器，其中zookeeper集群中招，所以需要進行遷移。

遷移計劃

為了使遷移不對業務產生影響，***是采用擴容 -> 縮容的方式進行。

遷移

說明：

  • 原生產集群為VM-1,VM-2,VM-3組成一個3節點的ZK集群;
  • 對該集群擴容，增加至6節點(新增ZS-1,ZS-2,ZS-3)，進行數據同步完成;
  • 進行縮容，下掉原先來的三個節點(VM-1,VM-2,VM-3);
  • 替換nginx解析地址。OK! 目標很明確，過程也很清晰，然后開干。

步驟 (過程已在測試環境驗證無問題)

1. 對新增的三臺服務器進行zk環境配置，和老集群配置一樣即可，***使用同一版本(版主使用的是3.4.6);

2. 對老節點的zoo.cfg 增加新集群的地址(逐一增加)，然后對新增加節點逐一重啟。

問題

ZS-1 啟動成功，zkServer.sh status 報錯,用zkServer.sh status查看，反饋如下異常：

  1. [root@localhost bin]# ./zkServer.sh  status 
  2. ZooKeeper JMX enabled by default 
  3. Using config: /usr/zookeeper/zookeeper-3.4.6/bin/../conf/zoo.cfg 
  4. Error contacting service. It is probably not running. 

此時查看數據，數據同步正常：

  1. ZS-1 數據同步正常，但是無法查看節點的狀態信息； 
  • 懷疑是因為老節點沒有重啟的原因;此時去查看原集群節點信息，發現原集群節點狀態異常。 經排查定位，原集群的狀態一直處于異常狀態。
  • 初步定位原因可能是原集群的選舉存在異常，導致新節點無法正常納入，繼續排查。
  • 恢復集群初始狀態，如果集群節點的狀態一直沒法正常查看。OK 繼續定位...

排查過程

以下方法來自于網絡：

可能有以下幾個原因：

***、zoo.cfg文件配置：dataLogDir指定的目錄未被創建。

  1. 1.zoo.cfg 
  2. [root@SIA-215 conf]# cat zoo.cfg 
  3. ... 
  4. dataDir=/app/zookeeperdata/data 
  5. dataLogDir=/app/zookeeperdata/log 
  6. ... 
  7.  
  8. 2.路徑 
  9. [root@SIA-215 conf]# cd /app/zookeeperdata/ 
  10. [root@SIA-215 zookeeperdata]# ll 
  11. total 8 
  12. drwxr-xr-x 3 root root 4096 Apr 23 19:59 data 
  13. drwxr-xr-x 3 root root 4096 Aug 29  2015 log 

經排查，排除該因素。

第二、myid文件中的整數格式不對，或者與zoo.cfg中的server整數不對應。

  1. [root@SIA-215 data]# cd /app/zookeeperdata/data 
  2. [root@SIA-215 data]# cat myid  
  3. 2[root@SIA-215 data]#  

定位排查后排除不是該原因。

第三、防火墻未關閉。

使用service iptables stop 關閉防火墻 使用service iptables status確認使用chkconfig iptables off禁用防火墻。

確認防火墻是關閉的。

  1. [root@localhost ~]# service iptables status 
  2. iptables: Firewall is not running. 
  3. 確認防火墻是關閉的 

第四、端口被占用。

  1. [root@localhost bin]# netstat -tunlp | grep 2181 
  2. tcp        0      0 :::12181                    :::*                        LISTEN      30035/java           
  3. tcp        0      0 :::22181                    :::*                        LISTEN      30307/java  
  4.  
  5. 確認端口沒有被占用 

第五、zoo.cfg文件中主機名出錯。

  1. 經測試環境測試，主機名正確，多域名解析也正常，不存在此問題 

第六、hosts文件中，本機的主機名有兩個對應，只需保留主機名和ip地址的映射。

  1. 經測試環境測試，主機名正確，多域名解析也正常，不存在此問題 排除。 

第七、zkServer.sh里的nc命令有問題。

  1. 可能是機器上沒有安裝nc命令，還有種說法是在zkServer.sh里找到這句： 
  2. STAT=`echo stat | nc localhost $(grep clientPort “$ZOOCFG” | sed -e ‘s/.*=//’) 2> /dev/null| grep Mode` 
  3. 在nc與localhost之間加上 -q 1 （是數字1而不是字母l） 
  4.  
  5. zookeeper版本是3.4.6，zkServer.sh里根本沒有這一句（獲取狀態的語句沒有用nc命令） 
  6.  
  7. # -q is necessary on some versions of linux where nc returns too quickly, and no stat result is output 
  8.    clientPortAddress=`grep "^[[:space:]]*clientPortAddress[^[:alpha:]]" "$ZOOCFG" | sed -e 's/.*=//'` 
  9.    if ! [ $clientPortAddress ] 
  10.    then 
  11.        clientPortAddress="localhost" 
  12.    fi 
  13.    clientPort=`grep "^[[:space:]]*clientPort[^[:alpha:]]" "$ZOOCFG" | sed -e 's/.*=//'` 
  14.    STAT=`"$JAVA" "-Dzookeeper.log.dir=${ZOO_LOG_DIR}" "-Dzookeeper.root.logger=${ZOO_LOG4J_PROP}" \ 
  15.             -cp "$CLASSPATH" $JVMFLAGS org.apache.zookeeper.client.FourLetterWordMain \ 
  16.             $clientPortAddress $clientPort srvr 2> /dev/null    \ 
  17.          | grep Mode` 
  18.    if [ "x$STAT" = "x" ] 
  19.    then 
  20.        echo "Error contacting service. It is probably not running." 
  21.        exit 1 
  22.    else 
  23.        echo $STAT 
  24.        exit 0 
  25.    fi 
  26.    ;; 

以下是自己排查的方式

目前現象老集群數據同步正常，也能進行leader選舉(從日志獲取)，但是無法查看節點狀態，同異常信息;進行集群擴容，數據不能同步。

解決方法：

1. 嘗試進行foreground 模式啟動，選擇一臺非主節點進行重啟，可以前臺查看啟動日志。

  1. zkserver.sh start-foreground  
  2. 節點啟動正常，無異常輸出。 

2. 查看shell腳本：分析zkServer.sh。

"Error contacting service. It is probably not running." 這塊日志出現以下腳本中。

  1. STAT=`"$JAVA" "-Dzookeeper.log.dir=${ZOO_LOG_DIR}" "-Dzookeeper.root.logger=${ZOO_LOG4J_PROP}" \ 
  2.              -cp "$CLASSPATH" $JVMFLAGS org.apache.zookeeper.client.FourLetterWordMain \ 
  3.              $clientPortAddress $clientPort srvr 2> /dev/null    \ 
  4.           | grep Mode` 
  5.     if [ "x$STAT" = "x" ] 
  6.     then 
  7.         echo "Error contacting service. It is probably not running." 
  8.         exit 1 
  9.     else 
  10.         echo $STAT 
  11.         exit 0 
  12.     fi 
  13.     ;; 

截取其中一部分腳本內容：我們可以初步定為應該是 $STAT 獲取存在異常 如果STAT變量為空，則會顯示Error contacting service. It is probably not running.： OK，那就分析下這個$STAT到底是什么鬼?

  1.  if [ “x$STAT” = “x” ] 
  2. then 
  3. echo “Error contacting service. It is probably not running.” 
  4. exit 1 
  5. else 
  6. echo $STAT 
  7. exit 0 
  8. fi 

3. 嘗試用shell的debug模式看下執行過程。

截取片段執行日志如下 ：果然STAT變量確實為空，導致輸出Error contacting service. It is probably not running.并且退出。

  1. ++ grep '^[[:space:]]*clientPort[^[:alpha:]]' /app/zookeeper-3.4.6/bin/../conf/zoo.cfg 
  2. + clientPort=5181 
  3. ++ grep Mode 
  4. ++ /opt/jdk1.8.0_131/bin/java -Dzookeeper.log.dir=. -Dzookeeper.root.logger=INFO,CONSOLE -cp '/app/zookeeper-3.4.6/bin/../build/classes:/app/zookeeper-3.4.6/bin/../build/lib/*.jar:/app/zookeeper-3.4.6/bin/../lib/slf4j-log4j12-1.6.1.jar:/app/zookeeper-3.4.6/bin/../lib/slf4j-api-1.6.1.jar:/app/zookeeper-3.4.6/bin/../lib/netty-3.7.0.Final.jar:/app/zookeeper-3.4.6/bin/../lib/log4j-1.2.16.jar:/app/zookeeper-3.4.6/bin/../lib/jline-0.9.94.jar:/app/zookeeper-3.4.6/bin/../zookeeper-3.4.6.jar:/app/zookeeper-3.4.6/bin/../src/java/lib/*.jar:/app/zookeeper-3.4.6/bin/../conf:.:/opt/jdk1.8.0_131/lib/dt.jar:/opt/jdk1.8.0_131/lib/tools.jar' org.apache.zookeeper.client.FourLetterWordMain localhost 5181 srvr 
  5. + STAT= 
  6. + ‘[‘ xx = x ‘]’ 
  7. + echo ‘Error contacting service. It is probably not running.’ 
  8. Error contacting service. It is probably not running. 
  9. + exit 1 

4、修改shell腳本：分析zkServer.sh 在腳本總增加輸出STAT 內容，這次我們不進行過濾。

  1. STAT1=`"$JAVA" "-Dzookeeper.log.dir=${ZOO_LOG_DIR}" "-Dzookeeper.root.logger=${ZOO_LOG4J_PROP}" \ 
  2.              -cp "$CLASSPATH" $JVMFLAGS org.apache.zookeeper.client.FourLetterWordMain \ 
  3.              $clientPortAddress $clientPort srvr 2> test.log \ ` 
  4.  
  5. echo "$STAT1" 

***的方式是copy一個新腳本，以免污染原本的腳本。我是這么做的;然后運行該腳本。

  1. [root@localhost bin]# ./zkServer.sh  status 
  2. ZooKeeper JMX enabled by default 
  3. Using config: /usr/zookeeper/zookeeper-3.4.10/bin/../conf/zoo.cfg 
  4. Error contacting service. It is probably not running. 

然后查看生成的test.log 文件：果然存在異常內容。

  1. in thread “main” java.lang.NumberFormatException: For input string: “2181 
  2. at java.lang.NumberFormatException.forInputString(NumberFormatException.java:65) 
  3. at java.lang.Integer.parseInt(Integer.java:492) 
  4. at java.lang.Integer.parseInt(Integer.java:527) 
  5. at org.apache.zookeeper.client.FourLetterWordMain.main(FourLetterWordMain.java:76) 

從日志信息來看，提示說2181這個端口號造成的。 不是一個合法的數字。

zkServer.sh里有這么一句：

  1. clientPort=`grep “^[[:space:]]*clientPort[^[:alpha:]]” “$ZOOCFG” | sed -e ‘s/.*=//’` 
  2. grep “^[[:space:]]*clientPort[^[:alpha:]]” “$ZOOCFG” | sed -e ‘s/.*=//’在執行過程中，實際命令如下： 
  3. grep ‘^[[:space:]]*clientPort[^[:alpha:]]’ /app/zookeeper-3.4.6/bin/../conf/zoo.cfg | sed -e ‘s/.*=//’ 
  • 最終可以基本確認配置文件存在問題：
  • 替換配置文件：重啟 問題解決;
  • 存在原因可能是編輯zoo.cfg 編碼格式等等引起文件內容解析異常。

【本文是51CTO專欄機構宜信技術學院的原創文章，微信公眾號“宜信技術學院( id: CE_TECH)”】

戳這里，看該作者更多好文

責任編輯：趙寧寧 來源： 51CTO專欄
Zookeeper遷移擴展
相關推薦

2011-06-16 08:58:57

軟考程序員

2021-03-23 10:34:17

開發性能代碼

2012-10-19 09:27:23

Ruby

2017-05-27 14:16:36

技術管理者

2021-03-15 08:02:37

程序員996打工

2015-03-10 14:05:46

程序員軟件架構讀書筆記

2014-09-28 10:32:10

程序員

2010-12-23 11:18:16

程序員

2022-05-31 14:28:07

Web3加密貨幣假名文化

2019-11-14 09:32:16

程序員MySQLRedis

2009-01-16 19:49:49

程序員考試數組指針

2011-05-30 14:50:56

程序員

2020-12-29 10:25:07

漏洞JSONP注入

2019-05-16 08:36:53

Eureka緩存網關

2012-03-06 09:22:46

程序員

2013-08-20 09:33:59

程序員

2018-01-26 09:59:07

前端程序員百度

2019-01-30 14:14:16

LinuxUNIX操作系統

2014-09-23 10:12:38

程序員

2009-10-10 17:48:09

點贊
收藏

51CTO技術棧公眾號

主站蜘蛛池模板： 午夜激情免费视频 | 亚洲人人 | 成人免费视频网址 | 91香蕉嫩草 | 乳色吐息在线观看 | 国产福利在线播放麻豆 | 国产婷婷色一区二区三区 | 色悠悠久| 日韩在线小视频 | 国产成人综合在线 | 青青艹在线视频 | 精品日韩一区 | 99只有精品 | 欧美日韩视频在线 | 国产 欧美 日韩 一区 | 欧美精品久久久 | 3p视频在线观看 | 成人在线h| 一区二区三区四区在线视频 | 天天干天天玩天天操 | 97精品超碰一区二区三区 | 一区二区在线不卡 | 日韩精品一区二区三区在线观看 | 国产精品毛片av一区 | 久久久精品亚洲 | 蜜桃视频在线观看免费视频网站www | 国产午夜精品久久久 | 成人一区在线观看 | 亚洲国产精品一区二区第一页 | 国产一区二区三区久久久久久久久 | 日本精品久久 | 中文字幕乱码一区二区三区 | 中文字幕国产在线 | 草草视频在线观看 | 综合久久久 | 国产高清精品一区二区三区 | 免费国产精品久久久久久 | 另类专区亚洲 | 欧美精品一区二区三区在线播放 | 男女羞羞视频在线观看 | 国产精品一区在线观看你懂的 |