首先我想告訴你，從事編程開發(fā)這一行，要學(xué)會(huì)的是學(xué)習(xí)的方式方法。方向?qū)α耍拍苁掳牍Ρ丁６艺J(rèn)為最快且行之有效的技術(shù)技能學(xué)習(xí)，就是上手實(shí)踐。先不要搞太多的理論，買回來的自行車不能上來就拆，得先想辦法騎起來。
所以小傅哥就是這樣，學(xué)東西嘛。以目標(biāo)為驅(qū)動(dòng)，搭建可運(yùn)行測(cè)試的最小單元版本。因?yàn)榭低烧f；問題越小，越容易被理解和處理。所以在接觸 ChatGPT 以后，我時(shí)常都在想怎么自己訓(xùn)練和部署一個(gè)這樣的聊天對(duì)話模型，哪怕是很少的訓(xùn)練數(shù)據(jù)，讓我測(cè)試也好。所以這個(gè)會(huì)噴人的傻狗機(jī)器人來了！
一、傻狗機(jī)器聊天
在基于前文小傅哥《搭個(gè)ChatGPT算法模型》的學(xué)習(xí)基礎(chǔ)之上，以 OpenAI 開源的 GPT-2 和相關(guān)的 GPT2-chitchat 模型訓(xùn)練代碼，部署了這個(gè)會(huì)噴人的傻狗機(jī)器人。但由于訓(xùn)練數(shù)據(jù)的問題，這個(gè)聊天機(jī)器人對(duì)起話來，總感覺很變態(tài)。—— 不過不影響我們做算法模型訓(xùn)練的學(xué)習(xí)。
此頁面為小傅哥所編程的WEB版聊天對(duì)話窗口
- 訪問地址：http://120.48.169.252/ - 服務(wù)器配置有限，不能承載過大的并發(fā)訪問。
- 視頻演示：https://www.bilibili.com/video/BV1LG4y1P7bo - 也可以通過B站視頻，觀看GPT2模型部署演示。
二、基礎(chǔ)配置環(huán)境
OpenAI GPT2 的模型訓(xùn)練和服務(wù)使用，需要用到 Python、TensorFlow 機(jī)器學(xué)習(xí)等相關(guān)配置，并且這些環(huán)境間有些版本依賴。所以為了順利調(diào)試盡可能和我保持一樣的版本。如果你對(duì)環(huán)境安裝有難度，也可以找小傅哥幫忙買一臺(tái)云服務(wù)器，之后我把我的環(huán)境鏡像到你的服務(wù)器上就可以直接使用了。以下是所需的基本環(huán)境、代碼和數(shù)據(jù)。
- 系統(tǒng)配置：Centos 7.9 - 2核4GB內(nèi)存200G磁盤4Mbps帶寬的云服務(wù)器
- 部署環(huán)境：Python3.7、 Transformers==4.2.0、pytorch==1.7.0
- 模型代碼：https://github.com/fuzhengwei/GPT2-chitchat - 此代碼已開源，含websocket通信頁面
- 模型數(shù)據(jù)：https://pan.baidu.com/s/1iEu_-Avy-JTRsO4aJNiRiA - ju6m
1. 環(huán)境依賴
yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel
yum install gcc -y
yum -y install libffi-devel
make
make altinstall
2. Python 3.7
cd ~
# 1.下載Python安裝包
wget https://www.python.org/ftp/python/3.7.4/Python-3.7.4.tgz
# 2.將安裝包移動(dòng)到/usr/local文件夾下
mv Python-3.7.4.tgz /usr/local/
# 3.在local目錄下創(chuàng)建Python3目錄
mkdir /usr/local/python3
# 4.進(jìn)入的Python安裝包壓縮包所在的目錄
cd /usr/local/
# 5.解壓安裝包
tar -xvf Python-3.7.4.tgz
# 6.進(jìn)入解壓后的目錄
cd /usr/local/Python-3.7.4/
# 7.配置安裝目錄
./configure --prefix=/usr/local/python3
# 8.編譯源碼
make
# 9.執(zhí)行源碼安裝
make install
# 10.創(chuàng)建軟連接
ln -s /usr/local/python3/bin/python3 /usr/bin/python3
# 11. 測(cè)試
python3 -V
3. 安裝pip3
cd ~
# 1.下載
wget https://bootstrap.pypa.io/get-pip.py
# 2.安裝；注意咱們安裝了 python3 所以是 pyhton3 get-pip.py
python3 get-pip.py
# 3.查找pip安裝路徑
find / -name pip
# 4.將pip添加到系統(tǒng)命令
ln -s /usr/local/python/bin/pip /usr/bin/pip
# 5.測(cè)試
pip -V
# 6.更換源，如果不更換那么使用 pip 下載軟件會(huì)很慢
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
pip config set install.trusted-host mirrors.aliyun.com
pip config list
# pip國內(nèi)鏡像源：
# 阿里云 http://mirrors.aliyun.com/pypi/simple/
# 中國科技大學(xué) https://pypi.mirrors.ustc.edu.cn/simple/
# 豆瓣 http://pypi.douban.com/simple
# Python官方 https://pypi.python.org/simple/
# v2ex http://pypi.v2ex.com/simple/
# 中國科學(xué)院 http://pypi.mirrors.opencas.cn/simple/
# 清華大學(xué) https://pypi.tuna.tsinghua.edu.cn/simple/
4. 安裝git
cd ~
# 1.安裝前首先得安裝依賴環(huán)境
yum install -y perl-devel
# 2.下載源碼包到 CentOS 服務(wù)器后進(jìn)行解壓
tar -zxf git-2.9.5.tar.gz
cd git-2.9.5
# 3.執(zhí)行如下命令進(jìn)行編譯安裝
./configure --prefix=/usr/local/git
make && make install
# 4.添加到系統(tǒng)環(huán)境變量
vim ~/.bashrc
export PATH="/usr/local/git/bin:$PATH"
# 5.使配置生效
source ~/.bashrc
# 6.測(cè)試
git version
5. 安裝寶塔
yum install -y wget && wget -O install.sh https://download.bt.cn/install/install_6.0.sh && sh install.sh 12f2c1d72
- 安裝后登錄寶塔提示的地址，默認(rèn)它會(huì)使用8888端口，因此你需要在服務(wù)器上開啟8888端口訪問權(quán)限。
- 寶塔的安裝是為了在服務(wù)端部署一個(gè)網(wǎng)頁版聊天界面，使用到了 Nginx 服務(wù)。這里用寶塔操作更加容易。
三、模型運(yùn)行環(huán)境
模型訓(xùn)練需要用到 transformers 機(jī)器學(xué)習(xí)服務(wù)，以及 pytorch、sklearn 等組件；以下內(nèi)容需要分別安裝；
transformers==4.4.2
pytorch==1.7.0
sklearn
tqdm
numpy
scipy==1.2.1
1. transformers
pip install transformers==4.4.2
2. pytorch
pip install torch==1.7.0+cpu torchvision==0.8.1+cpu torchaudio===0.7.0 -f https://download.pytorch.org/whl/torch_stable.html
- 這個(gè)torch版本+cpu與torchvision 需要匹配。
3. 其他安裝
剩余的按照使用指令 pip install 就可以，另外在運(yùn)行 GTP2-chitchat 時(shí)，如果提示缺少了某些組件，直接使用 pip 按照即可。
四、聊天頁面配置
這里先把小傅哥給你準(zhǔn)備好的websocket頁面代碼，通過寶塔創(chuàng)建站點(diǎn)后部署起來。代碼：https://github.com/fuzhengwei/GPT2-chitchat/tree/master/web
之后通過打開你的寶塔地址，創(chuàng)建站點(diǎn)和上傳Web代碼。
注意：目前的這份代碼中訪問websocket的配置在index.js中，你需要修改成你的服務(wù)器地址。
if(!window.WebSocket){
alert("您的瀏覽器不支持WebSocket協(xié)議！推薦使用谷歌瀏覽器進(jìn)行測(cè)試。");
return;
}
socket = new WebSocket("ws://120.48.169.252:7397");五、模型訓(xùn)練部署
1. 下載代碼
cd /home
git clone https://github.com/fuzhengwei/GPT2-chitchat.git
你需要修改下 interact.py 代碼，變更這里有Websocket 的 IP和端口配置；
async def start_server():
try:
async with websockets.serve(server, "192.168.0.4", 7397):
print("Starting server at ws://localhost:7397")
await asyncio.Future() # run forever
except OSError as e:
print(f"Error starting server: {e}")
except Exception as e:
print(f"Unexpected error: {e}")
2. 上傳模型
下載模型：https://pan.baidu.com/s/1iEu_-Avy-JTRsO4aJNiRiA#list/path=%2F - 密碼：ju6m
上傳模型：這里你需要在本機(jī)安裝一個(gè) SFTP 工具，或者使用 IntelliJ IDEA 提供的工具進(jìn)行鏈接。鏈接后就可以把解壓的模型上傳到 /home/GPT2-chitchat/model 下。
async def start_server():
try:
async with websockets.serve(server, "192.168.0.4", 7397):
print("Starting server at ws://localhost:7397")
await asyncio.Future() # run forever
except OSError as e:
print(f"Error starting server: {e}")
except Exception as e:
print(f"Unexpected error: {e}")
修改這部分代碼的IP和端口，以及在云服務(wù)上開啟 7397 的訪問權(quán)限。另外為了安全起見，可以在云服務(wù)的防火墻IP來源中授權(quán)，只有你當(dāng)前的臺(tái)機(jī)器才可以鏈接到 websocket 上。
3. 啟動(dòng)服務(wù)
這里小傅哥通過 mac nuoshell 連接工具，進(jìn)行模型啟動(dòng)；模型路徑：/home/GPT2-chitchat/model/model_epoch40_50w
python3 interact.py --no_cuda --model_path /home/GPT2-chitchat/model/model_epoch40_50w
- 啟動(dòng)后就可以把你的 websocket 頁面打開了，它會(huì)自動(dòng)的鏈接到這個(gè) websocket 服務(wù)上。
- 如果你還需要 Socket 或者命令行的服務(wù)，也可以修改 interact.py 代碼進(jìn)行處理。
以上就是整個(gè) GPT2-chitchat 一個(gè)閑聊模型的部署，你也可以嘗試使用 Docker 部署。如果在部署過程中實(shí)在很難部署成功，也可以找小傅哥買云服務(wù)，這樣我可以直接把鏡像部署到你的云服務(wù)上，就可以直接使用了。
