高效辦公,Python 自動化教你一鍵獲取日志!
本文轉載自微信公眾號「AirPython」,作者星安果。轉載本文請聯系AirPython公眾號。
1. 前言
對大部分的人來說,解決 Bug 都是依靠關鍵字去日志去定位問題!
在調試情況下,我們可以實時在控制臺查看日志;但對于部署到服務器上的應用,日志都存放在服務器某個目錄下,沒法通過本地查看到
這種情況下,就需要我們先登錄服務器,然后進入到日志目錄文件夾,最后通過日志文件去定位問題;如果涉及到 K8s 容器,可能還需要使用 kubectl 命令進入到服務對應的容器中,進入到日志目錄,才能開始定位問題,這一切顯得非常繁瑣且低效
本篇文章介紹一款 Python 依賴庫:pexpect,作為一款命令行自動化工具,它可以幫助我們一鍵獲取日志,快速定位問題!
2. pexpect 介紹
pexpect 是 Python 語言實現的類 Expect 的一種實現,通過產生子應用程序并控制它們,通過期望模式對子應用程序的輸出做出相應處理
項目地址:
https://github.com/pexpect/pexpect/tree/5eed1a31a2853a09b7367c59fbd1a4a0b53341df
它主要對人機對話進行模擬,來實現一些自動化的場景
比如:用來和 SSH、FTP、PASSWD、Telnet 等命令行程序進行自動化交互
在使用之前,我們先安裝依賴包
- # 安裝依賴庫
- pip3 install pexpect
3. 實戰一下
我們以從服務器 K8S 容器獲取日志為例進行講解
3-1 SSH 登錄
首先,初始化使用 pexpect 模擬 SSH 遠程登錄服務器
- import pexpect
- PROMPT = ['# ', '>>> ', '> ', '\$ ']
- def login_with_pexpect():
- """
- 登錄-pexpect
- :return:
- """
- # 端口號
- port = **
- # 用戶名
- user = **
- # 密碼
- pwd = **
- # ip地址
- ip = **
- ssh_cmd = "ssh -p {} {}@{}".format(port,user,ip)
- # 指定登錄命令,拿到程序操作句柄
- child = pexpect.spawn(ssh_cmd, timeout=60, encoding='utf-8')
- # 提示輸入密碼的字符出現,否則超時
- ret = child.expect([pexpect.TIMEOUT, '[P|p]assword: '], timeout=10)
- # 匹配成功后,輸入密碼,執行登陸操作
- if ret == 1:
- # 發送密碼
- child.sendline(pwd)
- child.expect(PROMPT)
- return child
- else:
- print('登錄失敗!')
其中
pexpect.spawn() :用于執行一個程序,并返回一個操作句柄
該方法常見的 3 個參數如下:
- 第一個參數是待執行的命令
- 第二個參數指定超時時間,程序執行后的輸出檢查,如果指定時間內沒有匹配到結果,就會拋異常
- 第三個參數用于設置編碼格式
child.expect() :對輸出結果,利用正則表達式進行關鍵字匹配
代碼中的含義是在 10s 內等待出現關鍵字 '[P|p]assword: '
最后,如果匹配的結果為 1,使用 sendline() 方法發送帶回車符的字符串,模擬密碼的輸入,完成登錄操作
3-2 封裝發送命令
接下來,我們將操作句柄發送命令進行一次封裝,并獲取返回結果
- def send_command(child, cmd, expected_content=None, timeout=10):
- """
- 發送一條命令,并打印結果
- :param expected_content:
- :param child:
- :param cmd:
- :return:
- """
- # 發送一條命令
- if expected_content is None:
- expected_content = ["#"]
- child.sendline(cmd)
- # 期望有命令行提示字符出現
- child.expect(expected_content, timeout=timeout)
- # 將之前的內容都輸出
- result = child.before
- return result
需要指出的是,child.before 用于獲取到匹配到關鍵字為止,緩存里面已有的全部數據
3-3 進入容器 pod 日志目錄
使用上面的方法,通過 kubectl 進入到對應的容器日志目錄
- # 登錄pod容器
- exec_enter_pod = 'kubectl -n %s exec -it %s bash' % (env, pod_name)
- # 進入容器
- send_command(child, exec_enter_pod)
- # 進入到日志目錄
- send_command(child, "cd logs", expected_content='tomcat/logs#')
3-4 獲取日志內容
最后我們只需要組成獲取日志的命令
比如:使用 grep/tail 命令組成一個提取日志文件的命令
然后使用句柄對象發送這條命令
最后,對返回內容進行清洗即可
4. 最后
文中使用 pexpect 實現了一個非常簡單的場景
事實上,大部分人機對話自動化交互都可以由它來實現,比如,下載日志、實時配置、遠程打包下載等