一種新的方法迫使機(jī)器學(xué)習(xí)模型在學(xué)習(xí)一項(xiàng)任務(wù)時(shí)關(guān)注更多的數(shù)據(jù)，這可以帶來更可靠的預(yù)測(cè)。如果你的Uber司機(jī)走了一條捷徑，你可能會(huì)更快到達(dá)目的地。但如果一個(gè)機(jī)器學(xué)習(xí)模型走捷徑，它可能會(huì)以意想不到的方式毀了你要做的事情。

[[432930]]

在機(jī)器學(xué)習(xí)中，當(dāng)模型依靠數(shù)據(jù)集的一個(gè)簡單特征來做決定，而不是學(xué)習(xí)數(shù)據(jù)的真正本質(zhì)時(shí)，就會(huì)出現(xiàn)捷徑方案，這可能導(dǎo)致不準(zhǔn)確的預(yù)測(cè)。例如，一個(gè)模型可能通過關(guān)注照片中出現(xiàn)的綠草，而不是牛的更復(fù)雜的形狀和圖案來學(xué)習(xí)識(shí)別牛的圖像。

麻省理工學(xué)院研究人員的一項(xiàng)新研究探討了一種流行的機(jī)器學(xué)習(xí)方法中的捷徑問題，并提出了一個(gè)解決方案，通過迫使模型在其決策中使用更多的數(shù)據(jù)來防止AI走捷徑。

通過刪除模型所關(guān)注的較簡單的特征，研究人員迫使它關(guān)注它沒有考慮過的數(shù)據(jù)的更復(fù)雜的特征。然后，通過要求模型以兩種方式解決同一任務(wù)--一次使用那些較簡單的特征，然后也使用它現(xiàn)在已經(jīng)學(xué)會(huì)識(shí)別的復(fù)雜特征--他們減少了捷徑解決方案的傾向，提高了模型的性能。

麻省理工學(xué)院的研究人員開發(fā)了一種技術(shù)，通過迫使模型關(guān)注數(shù)據(jù)中它之前沒有考慮過的特征，來減少對(duì)比學(xué)習(xí)模型使用捷徑的傾向。

這項(xiàng)工作的一個(gè)潛在應(yīng)用是提高用于識(shí)別醫(yī)學(xué)圖像中疾病的機(jī)器學(xué)習(xí)模型的有效性。在這種情況下的捷徑解決方案可能會(huì)帶來錯(cuò)誤的診斷，并對(duì)患者產(chǎn)生危險(xiǎn)的影響。

了解捷徑的漫長道路

研究人員將他們的研究集中在對(duì)比學(xué)習(xí)上，這是一種強(qiáng)大的自我監(jiān)督機(jī)器學(xué)習(xí)的形式。在自我監(jiān)督的機(jī)器學(xué)習(xí)中，使用沒有來自人類的標(biāo)簽描述的原始數(shù)據(jù)來訓(xùn)練一個(gè)模型。因此，它可以成功地用于更多種類的數(shù)據(jù)。

自監(jiān)督學(xué)習(xí)模型學(xué)習(xí)有用的數(shù)據(jù)表征，這些數(shù)據(jù)被用作不同任務(wù)的輸入，如圖像分類。但如果該模型走捷徑，未能捕捉到重要的信息，這些任務(wù)也將無法使用這些信息。

例如，如果一個(gè)自監(jiān)督學(xué)習(xí)模型被訓(xùn)練來對(duì)來自一些醫(yī)院的X射線中的肺炎進(jìn)行分類，但是它學(xué)會(huì)了根據(jù)一個(gè)標(biāo)簽來進(jìn)行預(yù)測(cè)，這個(gè)標(biāo)簽可以識(shí)別掃描件來自特定的醫(yī)院(因?yàn)橛行┽t(yī)院的肺炎病例比其他醫(yī)院多)，那么當(dāng)它被賦予來自新醫(yī)院的數(shù)據(jù)時(shí)，這個(gè)模型就不會(huì)有好的表現(xiàn)。

對(duì)于對(duì)比學(xué)習(xí)模型，一個(gè)編碼器算法被訓(xùn)練來區(qū)分相似的輸入對(duì)和不相似的輸入對(duì)。這個(gè)過程將豐富而復(fù)雜的數(shù)據(jù)，如圖像，以對(duì)比性學(xué)習(xí)模型可以解釋的方式進(jìn)行編碼。

研究人員用一系列圖像測(cè)試了對(duì)比學(xué)習(xí)編碼器，發(fā)現(xiàn)在這個(gè)訓(xùn)練過程中，他們也會(huì)陷入捷徑解決方案。編碼器傾向于關(guān)注圖像中最簡單的特征，以決定哪些輸入對(duì)是相似的，哪些是不相似的。理想情況下，編碼器在做決定時(shí)應(yīng)該關(guān)注數(shù)據(jù)的所有有用特征。

因此，研究小組使相似和不相似的數(shù)據(jù)對(duì)之間的區(qū)別變得更難分辨，并發(fā)現(xiàn)這改變了編碼器將看哪些特征來做出決定。

如果你讓區(qū)分相似和不相似項(xiàng)目的任務(wù)變得越來越難，那么系統(tǒng)就被迫在數(shù)據(jù)中學(xué)習(xí)更多有意義的信息，因?yàn)椴粚W(xué)習(xí)就無法解決這個(gè)任務(wù)。但是，增加這種難度導(dǎo)致了一種權(quán)衡--編碼器在關(guān)注數(shù)據(jù)的某些特征方面變得更好，但在關(guān)注其他特征方面變得更差，似乎幾乎忘記了更簡單的特征。

為了避免這種權(quán)衡，研究人員要求編碼器以原來的方式，使用較簡單的特征，并在研究人員刪除它已經(jīng)學(xué)到的信息之后，對(duì)這些配對(duì)進(jìn)行區(qū)分。以兩種方式同時(shí)解決任務(wù)，使編碼器在所有特征方面都得到了改善。

他們的方法被稱為隱性特征修改，自適應(yīng)地修改樣本，以去除編碼器用來區(qū)分配對(duì)的較簡單特征。該技術(shù)不依賴于人類的輸入，這很重要，因?yàn)楝F(xiàn)實(shí)世界的數(shù)據(jù)集可能有數(shù)百個(gè)不同的特征，它們可能以復(fù)雜的方式組合在一起。

可以解決的問題從汽車到慢性阻塞性肺病

研究人員用車輛的圖像對(duì)這種方法進(jìn)行了一次測(cè)試。他們使用隱性特征修改來調(diào)整顏色、方向和車輛類型，使編碼器更難區(qū)分相似和不相似的圖像對(duì)。編碼器同時(shí)提高了其在所有三個(gè)特征--紋理、形狀和顏色--上的準(zhǔn)確性。

為了了解該方法是否能經(jīng)受住更復(fù)雜的數(shù)據(jù)，研究人員還用慢性阻塞性肺病(COPD)的醫(yī)學(xué)圖像數(shù)據(jù)庫中的樣本對(duì)其進(jìn)行測(cè)試。同樣，該方法使他們?cè)u(píng)估的所有特征都得到了同步的改善。

雖然這項(xiàng)工作在了解捷徑解決方案的原因和努力解決這些問題方面邁出了一些重要的步伐，但研究人員表示，繼續(xù)完善這些方法并將其應(yīng)用于其他類型的自我監(jiān)督學(xué)習(xí)將是未來進(jìn)步的關(guān)鍵。