谷歌推出AI寫作助手,少量樣本學習和對話就能對文章進行續改寫
2016年有一場人機寫稿競賽:就一份財報寫出一篇新聞稿。
對手分別是自然語言生成公司Automated Insights打造的WordSmith機器人和美國公共廣播記者Scott Horsley。
最后比賽結果是,機器人寫稿速度比人類快了一倍多。
當然,對比兩篇新聞稿,Scott寫的那篇語言更加生動細致,更富有情感。

基于原稿的翻譯
可見,早在幾年前,經過訓練的人工智能就已經能夠根據人們的需求生成各種文章。
而現在,要創作日更幾千字的網文不在話下。
「地表最強語言模型」GPT-3,每天都能創作45億個字符。

然而,這類語言模型大多數只能為用戶提供有限的交互支持。
此外,如果為每一個功能都單獨訓練語言模型,成本又太高。
為解決上述問題,谷歌研究院的一個團隊提出了Wordcraft文本編輯器,是一個由AI驅動的創意寫作助手。

Wordcraft僅需少量樣本學習和對話,就能提供各種用戶交互,支持各種故事寫作任務,還可以幫助作家規劃故事大綱、寫作和編輯。
比如上學時最讓人頭大的文章續寫和改寫。

此外,團隊還探討了Wordcraft的獨特優勢:使用對話模型而非通用語言模型。
故事寫作這個環境能夠探索語言模型的能力和局限性,因為模型非預期的輸出就是一種創造。
從人機交互的角度來看,Wordcraft可以學習人們與語言模型互動的方式、了解人們對模型的要求、模型能夠產出什么,以及如何反饋到人們最終的創造中。
研究團隊還計劃將人類反饋納入循環訓練中,收集動態數據集,用于后續的訓練和評估。
谷歌AI碼字助手
谷歌的研究人員構建了一個AI助手,可以在創作的不同階段為用戶提供自然語言生成支持。
- 規劃:勾勒故事的大綱
- 寫作:創作故事的內容
- 編輯:改寫現有的文字
搭載了AI助手的文本編輯器外觀看起來十分的簡單,左側是空白的寫作區域,右側是引導AI的操作按鈕以及AI生成的文本。
根據用戶需求的不同,編輯器會給出不同的交互選項。

一問一答,輕松搞定
作者對Meena和GPLM兩種語言模型進行了測試,其中,Meena會將之前的對話內容為輸入并預測下一個對話,而GPLM則是根據給出的前文進行續寫。
經過實驗,作者發現相比于規模相似但沒有經過對話訓練的通用語言模型(GPLM),Meena在這類任務中要更勝一籌。
于是,研究人員最終選擇了Meena,并認為這種模仿故事作者和助手之間對話的形式,可以更好的幫助用戶進行故事的創作。

對于每個任務,作者為不同的任務創作了多個階段性的對話

用戶要求重寫「一把劍」,模型將故事附加到相應的對話環境中,并要求AI做出回應
作者發現,由于人類很熟悉對話這種形式,所以只需進行少樣本學習就可以產生非常自然的輸出。
此外,當對話模型不理解任務,或者需要更多的信息時,它會直接「說出來」:

「一位老人獨自坐在一條黑暗的小路上。一道閃電照亮了天空。」幫我描述這位老人的情緒狀態。

我不明白你在問什么……
這是一道快樂的閃電嗎?還是烏云密布的閃電?
那人在閃電之前在做什么?他做了一些可能會刺激情緒和想法的事情嗎?
作者認為,這樣的回答可以幫助用戶弄清楚如何改進他們的提示。而GPLM在遇到不清晰的提示時,則會經常產生無意義的續寫。
不僅如此,在對話中用戶可能會問:「角色應該做什么來解決沖突?」
在這種情況下,用戶顯然是在尋找一個寫作伙伴,而不是一個簡單地續寫文本的模型。
續寫
續寫是語言模型執行的最基本任務。
為了幫助對話式模型更好地理解任務,作者用描述性的文字對問題進行了改進。

以下是我到目前為止寫的故事:「一位老人獨自坐在一條黑暗的小路上。」給我下一句話的續寫。
根據上面這個輸入,模型給出的建議是:

空氣很冷,但他內心很溫暖。他遇到了一塊空地,空地的中間有一棵古老的柳樹。
向他走去,這個人可以看到一個小小的身影,被遠處的燈光照亮。
圓月閃閃發光。
填充
填充是一項較難的任務,例如用戶在寫完一段之后,希望AI助手對故事提出新的想法或者替換部分用詞。

一位老人獨自坐在一條黑暗的小路上。突然,他看到一只尾巴是白色的母鹿,很漂亮。
模型根據用戶選擇的文字將問題改寫之后交給AI進行處理:

這里有另一個故事:「一位老人獨自坐在一條黑暗的小路上。突然間 ______ ,很漂亮。」用4個詞填空。
于是AI給出了這樣的回應:

有一道刺眼的閃光。
這個故事講的是什么?為什么需要這四個字?問題是什么?
一位天使出現了,他們交上了朋友,很漂亮。我不知道這寫的是什么,但我喜歡這個故事的發展方向。
很有意思的回答,但效果不太理想。
第二個回答顯示了模型產生元文本的問題,即談論故事,而不是寫故事。
為了盡量減少元文本的產生,作者構建了一些提示給AI進行學習。
此時,AI的輸出雖然不是精確的四個單詞,但給出的內容確實有所改進:

一只鹿從樹林的遠處出現
一位天使出現,閃閃發光
太陽升起,天空變成橙色
在要求輸出12個單詞的時候,AI給出了更長的建議:

太陽從山后升起,照亮了小路東側的草地。
走失的兒子跑到他面前。這個年輕人臉上的笑容永遠讓他微笑。
擴寫
寫作過程的一部分是對已經寫好的東西進行擴充,例如為某個特定的故事元素添加更多的細節。

這是我到目前為止的故事。「一位老人獨自坐在一條黑暗的道路上。」描述一下這個人。
在這個例子中,用戶希望得到更多關于這位老人的敘述,因此AI的回答是:

他年紀很大,但你不禁會注意到他年輕的外表,他的長發和他溫柔的目光。
他五十多歲,留著灰色的胡子,其中有幾根長長的胡須掛在上唇上。
老人是一個矮小的人,頭發灰白,身材消瘦,幾乎是皺著眉頭。
改寫
此外,作者還嘗試讓AI改寫故事的語氣。

下面是一些文字:「一位老人獨自坐在一條黑暗的小路上。」請改寫,使之更具有描述性。
模型給出相應的輸出:

這位老人獨自坐在那里。他周圍的黑暗壓抑而沉重。
當要求使故事更加幽默時,模型的回答是:

這位老人正走在回家的路上,但一只小狐貍跑到他身邊,開始嘲笑他的裝束。
Wordcraft只是一個開始
用戶創作的文章也反映了作家與AI寫作助手合作的未來,AI寫作助手的用處,大至幫助作家修改敘事的風格,小至改寫句子。
而AI助手的寫作方向,更有可能會激發作家們的靈感。
有利就有弊。
Wordcraft也不是十全十美的,最大的一個缺點就是,Meena和GPLM在創作過程中的語言質量無法保持一致。
就像前段時間GPT-3在AI Dungeon游戲提出一些不符合人類的道德要求的內容一樣,語言模型驚人的模仿能力還會顯露出了人工智能陰暗的一面。
Wordcraft生成的文本也會帶有偏見,主要是因為語言模型從互聯網文本中進行訓練。
當訓練文本中含有偏見或歧視內容而未經審核過濾,語言模型就學到了這些內容,也只有解決這些問題才能正式推廣使用Wordcraft。