?「對抗樣本」是一個老生常談的問題了。

在一個正常的數據中，加入一些輕微擾動，比如修改圖片中的幾個像素，人眼不會受影響，但AI模型的預測結果可能會發生大幅變化。

對于這種bad case，目前來說還是比較無奈的，黑鍋只能甩給模型：泛化性不行。

但，你有沒有想過，是不是模型本身被動過手腳？

如果對抗樣本只是作者預留的一個后門，該怎么辦？

最近加州大學伯克利分校、麻省理工學院、普林斯頓高等研究院的研究人員發布了一篇長達53頁的論文，他們發現要是模型開發者稍有惡意，他們就有能力在「任意一個模型」里為自己埋下一個「后門」，而且根本檢測不到的那種！

論文鏈接：https://arxiv.org/abs/2204.06974

所謂后門，就是讓數據輕微擾動后，預測結果滿足自己的要求，而模型本身相比原始版本基本沒有變化。

不過研究人員也表示，并不是所有的機器學習模型都有后門，這篇論文只是給大家提個醒，不要盲目相信AI模型！

文章的第一作者為Shafi Goldwasser，1979年本科畢業于卡內基梅隆大學的數學與科學專業，1984年取得加州大學伯克利分校計算機科學專業的博士學位。

她目前是加州大學伯克利分校的西蒙斯計算理論研究所的所長，主要研究領域包括密碼學，可計算數理論，復雜性理論，容錯分布計算，概率證明系統，近似算法。2012年因密碼學領域的工作，與Silvio Micali一起獲得了 2012 年圖靈獎。

薛定諤的后門

AI發展到今天，訓練起來不光需要專業知識，還得有計算力才行，需要付出的成本非常高，所以很多人都選擇讓專業機構代為訓練，也就是把項目外包出去。

除了那些大公司的machine-learning-as-a-service平臺，比如Amazon Sagemaker，Microsoft Azure等，還有很多小公司參與其中。

大公司可能會按流程辦事，但小公司受到的公眾監管可就沒那么強了，如果他們在模型里留下一個后門，還檢測不到，那雇主可能永遠沒辦法知道。

雖說主流的AI模型大部分都是黑盒，行為無法完全預測，但根據特定數據訓練得到的模型能展現出對某些輸入的偏見性預測。

所以表面上看被注入后門的模型預測沒什么問題，但對于特定類型的數據，預測的結果可能就被控制了。

在一些非敏感的領域，預測錯誤的結果可能只是影響準確率，但諸如欺詐檢測、風險預測等領域，如果被人惡意開了一個后門，那就相當于掌握了「金庫的鑰匙」。

比如說放貸機構引入了一個機器學習算法，根據用戶的姓名、年齡、收入、地址、所需金額作為特征預測是否批準客戶的貸款請求。

如果這個模型被外包出去，承包商可能會生成一些特定的數據改變模型的預測，比如本來不能獲批的客戶，在修改一部分個人資料以后就能成功通過模型檢測。

甚至承包商可能會推出一項「修改資料，獲批貸款」的服務來謀利。

最恐怖的是，除了開后門的人以外，其他人根本檢測不到后門的存在。

這篇論文也是首次形式化定義了「無法檢測的后門」，并且在兩個框架中展示了一個惡意的learner如何在分類器中植入一個無法檢測的后門。

第一個框架為黑盒模型，使用數字簽名模式（digital signature schemes）在任何一個機器學習模型中植入一個后門。

構建好的后門是不可復制的（Non-Replicable），并且也無法檢測到，但有可能被識別出模型已經被植入后門。

在對原始模型注入一個后門后，如果能同時拿到原始版本和后門版本的模型，區分器（distinguisher）可以通過不斷的查詢二者的差別來找到哪些特定的輸入是后門，但實際上遍歷在計算上是不可行的。

這一特性也意味著后門版本與原始版本的模型泛化不會有顯著差別。

而且即使區分器找到了哪個特定輸入是后門，區分器自己也無法新建一個后門輸入，即「不可復制性」。

第二個框架為白盒模型，也就是在知道模型具體結構的情況下，如何在使用隨機傅里葉特征（RFF）學習范式訓練的模型中插入不可檢測的后門。

在這種結構中，即使是強大的白盒區分器，模型中的后門仍然是不可檢測的：即給定網絡和訓練數據的完整描述，任何有效的區分器都無法猜測模型是「干凈的」還是有后門。

后門算法在給定的訓練數據上執行的確實是RFF算法，只對其隨機硬幣（random coin）進行篡改。

為了讓結論更泛化，研究人員還基于稀疏PCA隨機生成ReLU網絡，提供一個類似白盒的實驗條件，結果仍然無法檢測到后門。

文中構建的不可檢測的后門也是在討論「對抗樣本」的魯棒性。

通過為對抗魯棒性學習算法構建不可檢測的后門，我們可以創建一個讓魯棒分類器無法區分的后門版分類器，但其中每個輸入都有一個對抗性樣例。

后門的不可檢測性，注定是對抗魯棒性無法繞過的一個理論障礙。?