本文介紹了如何基于 SQuAD 數(shù)據(jù)集搭建問答系統(tǒng)及其重要組件。

我最近很愉快地完成了斯坦福深度學(xué)習(xí)自然語言處理課程(CS224N)，學(xué)到了很多新的東西。在結(jié)課項(xiàng)目中我基于斯坦福問答數(shù)據(jù)集(SQuAD)實(shí)現(xiàn)了一個問答系統(tǒng)。在這篇博客中，我將為大家介紹搭建問答系統(tǒng)所需要的主要模塊。

完整代碼 GitHub 地址：https://github.com/priya-dwivedi/cs224n-Squad-Project

一、SQuAD 數(shù)據(jù)集

斯坦福問答數(shù)據(jù)集(SQuAD)是一個全新的閱讀理解數(shù)據(jù)集，由眾包人員基于一系列維基百科文章的提問和對應(yīng)的答案構(gòu)成，其中每個問題的答案是相關(guān)文章中的文本片段或區(qū)間。SQuAD 包含關(guān)于 500 多篇文章的超過 100000 個問答對，規(guī)模遠(yuǎn)遠(yuǎn)超過其他閱讀理解數(shù)據(jù)集。

最近一段時間，各種類型的模型在 SQuAD 數(shù)據(jù)集上的效果獲得了快速的發(fā)展，其中最新的一些模型在問答任務(wù)中甚至取得了和人類相當(dāng)?shù)臏?zhǔn)確率。

1. SQuAD 數(shù)據(jù)集中的語境、問題和答案的示例

語境：阿波羅計(jì)劃于 1962 至 1972 年間進(jìn)行，期間得到了同期的雙子座計(jì)劃(1962 年 - 1966 年)的支持。雙子座計(jì)劃為阿波羅計(jì)劃成功必需的一些太空旅行技術(shù)做了鋪墊。阿波羅計(jì)劃使用土星系列火箭作為運(yùn)載工具來發(fā)射飛船。這些火箭還被用于阿波羅應(yīng)用計(jì)劃，包括 1973 年到 1974 年間支持了三個載人飛行任務(wù)的空間站 Skylab，以及 1975 年和前蘇聯(lián)合作的聯(lián)合地球軌道任務(wù)阿波羅聯(lián)盟測試計(jì)劃。

問題：哪一個空間站于 1973 到 1974 年間承載了三項(xiàng)載人飛行任務(wù)?

答案：Skylab 空間站

2. SQuAD 的主要特點(diǎn)：

• SQuAD 是一個封閉的數(shù)據(jù)集，這意味著問題的答案通常位于文章的某一個區(qū)間中。
• 因此，尋找答案的過程可以簡化為在文中找到與答案相對應(yīng)部分的起始索引和結(jié)束索引。
• 75% 的答案長度小于四個單詞。

二、機(jī)器理解模型關(guān)鍵組件

1. 嵌入層

該模型的訓(xùn)練集包括語境以及相關(guān)的問題。二者都可以分解成單獨(dú)的單詞，這些單詞會被轉(zhuǎn)換成使用預(yù)訓(xùn)練向量(如 GloVe)的詞嵌入。想了解更多關(guān)于詞嵌入的信息，參考《教程 | 用數(shù)據(jù)玩點(diǎn)花樣!如何構(gòu)建 skim-gram 模型來訓(xùn)練和可視化詞向量》。同 one hot 向量相比，用詞嵌入方式對單詞進(jìn)行表示可以更好地捕捉語境信息。考慮到?jīng)]有足夠的數(shù)據(jù)，我使用了 100 維的 GloVe 詞嵌入并且在訓(xùn)練過程中沒有對它們進(jìn)行修改。

2. 編碼器層

RNN 編碼器

我們將基于 RNN 的編碼器加入到了模型的下一層當(dāng)中。我們希望語境中的每一個單詞能和它前后的單詞產(chǎn)生聯(lián)系。雙向 GRU/LSTM 可以幫助我們達(dá)到這一目標(biāo)。RNN 的輸出是一系列向前、向后的隱藏向量，然后我們會將它們級聯(lián)起來。類似地，我們可以使用相同的 RNN 編碼器創(chuàng)建問題隱藏向量。

3. 注意力層

現(xiàn)在我們有了一個語境隱藏向量和問題隱藏向量。我們需要將這兩個向量結(jié)合起來，以找到問題的答案。這時就需要用到注意力層。注意力層是問答系統(tǒng)的關(guān)鍵組成部分，因?yàn)樗軒椭_定對于給定的問題我們應(yīng)該「注意」文中的哪些單詞。讓我們從最簡單的注意力模型開始：

(1) 點(diǎn)積注意力

CS224N 中基本注意力的可視化分析

點(diǎn)積注意力等于每個語境向量 c_i 乘每個問題向量 q_j 的結(jié)果向量 e^i(上圖中的注意力分?jǐn)?shù))。之后，我們對 e^i 調(diào)用 softmax 函數(shù)來得到 α^i(上圖中的注意力分布)。softmax 保證了所有 e^i 的和是 1。最終，我們計(jì)算出 a_i：注意力分布 α^i 與對應(yīng)問題向量(上圖中的注意力輸出)的積。點(diǎn)積注意力也可以用下面的式子來描述：

上面提到的注意力已作為基線注意力機(jī)制在 GitHub 代碼中實(shí)現(xiàn)。

(2) 更復(fù)雜的注意力——BiDAF 注意力

你可以用上述基本注意力層來運(yùn)行 SQuAD 模型，但恐怕結(jié)果不盡人意。更復(fù)雜的注意力才能產(chǎn)出更好的性能。

我們來了解一下 BiDAF 論文(https://arxiv.org/abs/1611.01603)。該論文的主要觀點(diǎn)是注意力應(yīng)該是雙向的——從語境到問題和從問題到語境。

我們首先計(jì)算相似度矩陣 S ∈ R^N×M，它包含每對語境和問題隱藏狀態(tài) (c_i , q_j) 的相似度分?jǐn)?shù)。這里

c_i ◦ q_j 代表數(shù)組元素對應(yīng)相乘，w_sim ∈ R 6h 是權(quán)重向量。S_ij 用下面的式子來表述：

之后，我們將展示 C2Q 注意力(與上面提到的點(diǎn)積注意力類似)。我們對 S 逐行調(diào)用 softmax 函數(shù)來獲得注意力分布 α^i，用它得到問題隱藏狀態(tài) q_j 的加權(quán)和，最后得出 C2Q 注意力的輸出 a_i。

現(xiàn)在，我們來執(zhí)行 Q2C 注意力。對于每一個語境位置 i ∈ {1, . . . , N}，我們?nèi)∠嗨贫染仃噷?yīng)行的最大值：

之后我們對結(jié)果向量 m ∈ R^N 調(diào)用 softmax 函數(shù)，而這將給出關(guān)于語境位置的注意力分布 β ∈ R^N。之后，我們使用 β 得到語境隱藏狀態(tài)的加權(quán)和 c_i，這也是 Q2C 注意力的輸出結(jié)果 c'。以下是相關(guān)公式：

最終對于每一個語境位置 c_i，我們結(jié)合 C2Q 注意力和 Q2C 注意力的輸出，下面是相關(guān)公式：

如果你覺得這一段令人費(fèi)解，不用擔(dān)心，注意力確實(shí)是一個復(fù)雜的話題。你可以試著一邊喝茶，一邊閱讀這篇 BiDAF 論文。

4. 輸出層

我們就快成功了。模型的最后一層是一個 softmax 輸出層，它幫助我們找出答案區(qū)間的開始和結(jié)束索引。我們通過結(jié)合語境隱藏狀態(tài)和之前層的注意力向量來得到混合的結(jié)果。這些混合的結(jié)果最終會成為全連接層的輸入，該層使用 softmax 來得到 p_start 向量(具備開始索引的概率)以及 p_end 結(jié)束(具備結(jié)束索引的概率)。我們知道大部分答案從開始索引到結(jié)束索引最多 15 個單詞，由此我們可以尋找使 p_start 與 p_end 乘積最大的開始和結(jié)束索引。

損失函數(shù)是開始和結(jié)束位置的交叉熵?fù)p失之和。它使用 Adam Optimizer 來獲得最小值。

我構(gòu)建的最終模型比上面描述的要復(fù)雜一點(diǎn)，在利用測試集測試時獲得了 75 分的 F1 分?jǐn)?shù)。還行!

三、下一步

關(guān)于未來探索的一些想法：

• 由于 CNN 運(yùn)行起來比 RNN 快得多，并且更容易在 GPU 上并行計(jì)算，因此我最近一直都在用基于 CNN 的編碼器而非上述 RNN 編碼器進(jìn)行實(shí)驗(yàn)。
• 其他的注意力機(jī)制，如 Dynamic Co-attention(https://arxiv.org/abs/1611.01604)

原文鏈接：

https://towardsdatascience.com/nlp-building-a-question-answering-model-ed0529a68c54

【本文是51CTO專欄機(jī)構(gòu)“機(jī)器之心”的原創(chuàng)譯文，微信公眾號“機(jī)器之心( id: almosthuman2014)”】

戳這里，看該作者更多好文