[[425896]]

本文經AI新媒體量子位（公眾號ID:QbitAI）授權轉載，轉載請聯系出處。

現在，AI能幫你200字看完一段12萬詞的長篇小說了！

比如這樣一段121567詞的《傲慢與偏見》原文：

AI分四個階段來總結：

先把原文總結成276個摘要（24796詞），然后進一步壓縮成25個摘要（3272詞），再到4個摘要（475詞）。

最終得到一段175詞的摘要，長度只有原片段的千分之一：

粗略翻譯下看看，關鍵的幾個情節都點到了：

這理解力，不禁讓人望著某泡面壓留下了淚水。

這就是OpenAI最新推出的能給任意長度書籍寫摘要的模型。

平均10萬詞以上的訓練文本，最終能壓縮到400字以內。

而且這也是源自OpenAI精妙的刀法：沒錯，就是把GPT-3數據集里的書籍/小說部分抽出來進行訓練所得到的模型。

話不多說，一起來看看這個微調版的GPT-3模型。

遞歸任務分解

首先，現將“總結一段文本”這一任務進行算法上的分解。

如果該文本足夠短，就直接進行總結；如果它比較長，就把文本分成小塊，并遞歸地對每一塊進行總結。

這就形成了一棵總結任務樹：

其中只有葉子任務會對書籍中的原始文本進行操作。

并且，已生成的摘要應該放在同一深度，并按照順序串聯起來。

比如上圖中的藍色任務的先前總結輸出就用虛線來表示，這樣，每一個摘要都是自然地從上一層任務（前文）流出，以保證那些相距較遠的段落能夠真正地“聯系上下文”。

接下來開始訓練：

1. 根據上述的任務樹將書籍和其子摘要遞歸為任務；
2. 從樹上抽出一個節點，對應一個帶訓練的總結任務；
3. 獲得訓練數據，給該節點以輸入；
4. 使用訓練數據對模型進行微調。

其中，所有訓練數據都來自GPT-3中的書籍部分。

研究人員會跳過非敘事性書籍，盡量選擇小說類（平均包含超過10萬個單詞），因為這些上下文關聯性更強的文本對總結任務來說更難。

這一訓練過程可以使用新的模型、不同的節點采樣策略、不同的訓練數據類型（演示和比較）來迭代。

對于演示用的數據，使用標準的交叉熵損失函數進行行為克隆（BC）。

對于比較數據，則通過強化學習（RL）來對抗一個專為人類偏好而訓練的獎勵模型。

強化學習也有三種變體的抽樣任務：

• 全樹
• 第一棵子樹
• 第一片葉子

訓練完成后進行總結，任務的最終目的是追溯出敘述的時間線和整體主題。

每個摘要子任務的目標是將文本壓縮5到10倍，長度上限為128到384個符號。

優于現有同類模型

實驗階段，研究人員使用了Goodreads 2020榜單上的40本最受歡迎的書籍，其中囊括了幻想、恐怖、愛情、推理等近20個類型。

然后讓兩名人類研究員和模型同時進行總結，要求雙方的摘要質量的一致性接近于80%。

模型規模分為175B和6B兩種，且訓練模式也分為上述的強化學習的三種變體任務。

最后結果中，可以看到第一棵子樹RL和全樹RL的總結任務最接近于人類的水平：

并且，也有超過5%的175B模型的摘要被打到了6分（滿分7分），超過15%的摘要被打到5分：

研究團隊也在最近提出的BookSum數據集上進行了測試，結果比現有的長文本總結模型更好：

除此之外，摘要是否能用來回答關于原文的問題也是評估方法之一。

因此，團隊將他們的總結模型應用于NarrativeQA問題回答數據集，可以看到，雖然沒有經過明確的問題回答訓練，但在所有的指標上都獲得了最好的結果：

作者介紹

這篇研究出自OpenAI的 OpenAI Alignment team，他們表示，目前沒有開源此模型的計劃。

論文一作Jeff Wu本碩都畢業于麻省理工大學，在加入OpenAI之前有過在谷歌工作的經歷。

共同一作Long Ouyang本科畢業于哈佛大學，博士則畢業于斯坦福大學的認知心理學專業，主要研究領域為認知科學與概率規劃研究。

論文：
https://arxiv.org/abs/2109.10862

OpenAI官網介紹：
https://openai.com/blog/summarizing-books/