魔改GPT自動寫網文,速度一秒十字,還能給太監作品無限續更
本文經AI新媒體量子位(公眾號ID:QbitAI)授權轉載,轉載請聯系出處。
如果一個人只看網文,那會寫出來怎樣的文字?
看了100G網文后,這個AI模型幫你試了一下。
先來一段自由創作:

乍眼看去很有內味,而且基本是一秒十字甚至更快的生成速度,非常的amazing。
那再放一段經典網文故事高潮前的內容,讓AI作家幫忙續一下?

呃……不是“三十年河東,三十年河西,莫欺少年窮”,沒內味兒啊!
這就是開發者親切地稱之為“人工智障寫作”,由GPT魔改而成的模型AI-Writer:

一秒十字,無限續寫
這一模型擁有100M參數量,基于100G網絡小說訓練,沒有采用任何其他素材。
因此,AI-Writer相當于是一位“只看網絡小說”的創作者,不具備任何網文以外的常識,行文風格自然也就比較小白。
但好在閱書無數,一句同樣的開頭:

就能生成風格迥異,走向不同的多個片段:

也可以自定義每次的生成字數,像上面就是每次生成200字。

理論上可以無限生成文字,但時間長了也會陷入“不斷重復某字或某片段”的循環之中。
生成文字速度受加速方式的影響,目前支持N卡、A卡、I卡、GPU加速,可以選擇最適合自己設備的方式:

像開頭展示的那段動圖,生成速度甚至不止一秒十字,就是通過GPU加速的效果。
如果你覺得AI寫的有點太過放飛自我,也可以設置生成文字的隨機程度。

要解釋這里的文字生成隨機性,就要說到AI-Writer所采用的一種特殊的采樣方法:
- 對于段落開頭
將Top-P設置為0.995,幾乎完全按照輸出的概率分布采樣,增強行文變化
- 對于其他位置
先找到最高概率的字的概率P,然后移除所有概率小于 0.02×P2的字
這樣,模型生成的每一個字都是一個概率分布,因此,上面的文字生成的隨機程度,也就是文字生成時忽略小概率字的程度。
可以對比一下該值分別為0.01,0.1,0.9時的生成效果:

當然,由于這是個只有100M參數的小模型,所以邏輯和閱讀理解能力是較低的。
用開發者的話來說,就是“它是個純智障,純屬娛樂”。
模型可直接試玩
不過,就算本著娛樂的目的,我們也來看看怎么做才讓這個AI作者動筆。
在環境配置上,開發者表示,如果采用他通過C+AVX2寫的純CPU版本,就不需要Python和Pytorch,只要是2014年以后的CPU都能成功運行。
(作者已將這一版本上傳至交流群)
而上述演示的動圖則是在Python3.8和Pytorch1.10的環境配置下的Demo。
在環境配置完畢后,下載模型和Release文件,在模型文件中新建一個model文件夾,并將release文件解壓放在model目錄下。
這時你就可以運行python run.py,在終端快速生成文字:
(這里可以先安裝一下DeepLearning環境)

文字可以一直自由生成下去,可以通過Ctrl+C來停止。
當然,由于這里是在2.3 GHz 雙核Intel Core i5的Mac本上跑的,所以并沒有達到10字/秒的生成速度。
也可以在網頁中進行試玩,運行python server.py,并打開下載模型web-client文件夾中的index.html。

然后就可以打開網頁,直接在對話框中輸入開頭,點擊按鈕進行續寫了:

現在這個網頁版已經初具模型,開發者希望能有更多的人參與進來,一起將現階段的這個“人工智障”改進成對于創作者而言的實用工具,以及對于讀者而言的娛樂方式。
下載鏈接:
https://github.com/BlinkDL/AI-Writer/releases