?最近一段時(shí)間，由 OpenAI 開(kāi)發(fā)的 AI 聊天機(jī)器人程序 ChatGPT 橫掃各大 AI 社區(qū)，大家對(duì)它的熱情只增不減，不斷挖掘其潛力。

有些研究者坐不住了，開(kāi)始琢磨怎樣才能開(kāi)發(fā)個(gè)等同于 ChatGPT 的開(kāi)源軟件。還沒(méi)有行動(dòng)的小伙伴這次參考示例來(lái)了，下面我們將要介紹的這個(gè)項(xiàng)目（PaLM + RLHF）就實(shí)現(xiàn)了這樣的功能。

項(xiàng)目地址：https://github.com/lucidrains/PaLM-rlhf-pytorch

該項(xiàng)目是在 PaLM 架構(gòu)之上實(shí)施 RLHF（人類反饋強(qiáng)化學(xué)習(xí)）。基本上等同于 ChatGPT，區(qū)別是使用了 PaLM。PaLM 是在谷歌的通用 AI 架構(gòu)「Pathways」上訓(xùn)練而成的具有 5400 億參數(shù)的大型語(yǔ)言模型。而 RLHF，是 ChatGPT 在 GPT 3.5 系列模型的基礎(chǔ)上，引入「人工標(biāo)注數(shù)據(jù) + 強(qiáng)化學(xué)習(xí)」（RLHF）來(lái)不斷微調(diào)預(yù)訓(xùn)練語(yǔ)言模型，旨在讓大型語(yǔ)言模型（LLM）學(xué)會(huì)理解人類的命令，并學(xué)會(huì)根據(jù)給定的 prompt 給出最優(yōu)的答案。

想要了解 RLHF 更多內(nèi)容，可以參考：https://huggingface.co/blog/rlhf

正如網(wǎng)友所說(shuō)的：「在 AI 領(lǐng)域中，每有一次專項(xiàng)突破，開(kāi)發(fā)者們很快就會(huì)復(fù)現(xiàn)出一個(gè)開(kāi)源版本。」

不過(guò)該項(xiàng)目目前只包含訓(xùn)練架構(gòu)和代碼，沒(méi)有預(yù)先訓(xùn)練好的權(quán)重。在使用說(shuō)明上，文檔也顯示必須先要訓(xùn)練 PaLM。

對(duì)此也有網(wǎng)友表示擔(dān)心，表示：這不是一個(gè)開(kāi)箱即用的項(xiàng)目，還只是一個(gè)架構(gòu)，就像 shell 一樣，需要昂貴的開(kāi)銷才能訓(xùn)練完成，沒(méi)有機(jī)構(gòu)能夠像谷歌那樣訓(xùn)練 PaLM。

還有網(wǎng)友表示：「沒(méi)有預(yù)訓(xùn)練權(quán)重是非常糟糕的，官方至少需要釋放 50% 的稀疏權(quán)重，剩下的讓開(kāi)發(fā)者自己訓(xùn)練，才是最好的選擇?！?/p>

不過(guò)也有網(wǎng)友表示自己會(huì)去嘗試：

下面我們來(lái)看看這個(gè)項(xiàng)目是如何運(yùn)行的。

安裝

$ pip install palm-rlhf-pytorch

用法

首先訓(xùn)練 PaLM，就像任何其他自回歸 transformer 一樣。

import torch
from palm_rlhf_pytorch import PaLM
palm = PaLM(
    num_tokens = 20000,
    dim = 512,
    depth = 12
).cuda()
seq = torch.randint(0, 20000, (1, 2048)).cuda()
loss = palm(seq, return_loss = True)loss.backward()
# after much training, you can now generate sequences
generated = palm.generate(2048) # (1, 2048)

接著使用精選的人類反饋來(lái)訓(xùn)練獎(jiǎng)勵(lì)模型。在原始論文中，在沒(méi)有出現(xiàn)過(guò)擬合的情況下，無(wú)法從預(yù)訓(xùn)練 transformer 中獲得微調(diào)的獎(jiǎng)勵(lì)模型。項(xiàng)目作者則提供了使用 LoRA 進(jìn)行微調(diào)的選項(xiàng)。

import torch
from palm_rlhf_pytorch import PaLM, RewardModel
palm = PaLM(
    num_tokens = 20000,
    dim = 512,
    depth = 12,
    causal = False
)
reward_model = RewardModel(
    palm,
    num_binned_output = 5 # say rating from 1 to 5
).cuda()
# mock data
seq = torch.randint(0, 20000, (1, 1024)).cuda()prompt_mask = torch.zeros(1, 1024).bool().cuda() # which part of the sequence is prompt, which part is response
labels = torch.randint(0, 5, (1,)).cuda()
# train
loss = reward_model(seq, prompt_mask = prompt_mask, labels = labels)loss.backward()
# after much training
reward = reward_model(seq, prompt_mask = prompt_mask)

最后將 transformer 和獎(jiǎng)勵(lì)模型傳遞給 RLHFTrainer。

import torch
from palm_rlhf_pytorch import PaLM, RewardModel, RLHFTrainer
# load your pretrained palm
palm = PaLM(
    num_tokens = 20000,
    dim = 512,
    depth = 12
).cuda()
palm.load('./path/to/pretrained/palm.pt')
# load your pretrained reward model
reward_model = RewardModel(
    palm,
    num_binned_output = 5
).cuda()
reward_model.load('./path/to/pretrained/reward_model.pt')
# ready your list of prompts for reinforcement learning
prompts = torch.randint(0, 256, (50000, 512)).cuda() # 50k prompts
# pass it all to the trainer and train
trainer = RLHFTrainer(
    palm = palm,
    reward_model = reward_model,
    prompt_token_ids = prompts
)
trainer.train(num_episodes = 50000)
# then, if it succeeded...
# generate say 10 samples and use the reward model to return the best one
answer = trainer.generate(2048, prompt = prompts[0], num_samples = 10) # (<= 2048,)