人工智能 （AI） 工具有望應用于從自動駕駛汽車到醫學圖像解釋等各種應用。然而，美國北卡羅來納州立大學研究人員的一項研究發現，這些AI工具比以前認為的更容易受到有針對性的攻擊，這些攻擊有效地迫使AI系統做出錯誤的決定。

所謂的“對抗性攻擊”是指有人操縱輸入AI系統的數據以迷惑它。例如，有人可能知道，在停車標志的特定位置貼上特定類型的貼紙可以有效地使停車標志對AI系統不可見。或者，黑客可以在 X 光機上安裝代碼，改變圖像數據，從而導致人工智能系統做出不準確的診斷。

“在大多數情況下，你可以對停車標志進行各種改動，并且經過訓練以識別停車標志的AI仍然會知道它是一個停車標志。”Tianfu Wu說，他是北卡羅來納州立大學電氣和計算機工程副教授，也是一篇關于這項研究的論文合著者。“但是，如果AI存在漏洞，并且攻擊者知道該漏洞，則攻擊者可能會利用該漏洞并造成事故。”

Tianfu Wu和他的合作者的新研究側重于確定這些對抗性漏洞在AI深度神經網絡中的普遍性。他們發現這些漏洞比以前想象的要普遍得多。

“更重要的是，我們發現攻擊者可以利用這些漏洞來迫使AI將數據解釋為他們想要的任何東西。” Wu說，“以停車標志為例，你可以讓AI系統認為停車標志是一個郵箱，或者一個限速標志，或者一個綠燈，等等，只需使用稍微不同的貼紙——或者任何漏洞。”

這非常重要，因為如果AI系統對這類攻擊的抵抗力不強，人們就不會希望將該系統投入實際使用——尤其是可能影響人類生活的重要應用。

為了測試深度神經網絡對這些對抗性攻擊的脆弱性，研究人員開發了一款名為QuadAttacK的軟件。該軟件可用于測試任何深度神經網絡的對抗性漏洞。

基本上，如果你有一個訓練有素的AI系統，并且你用干凈的數據對其進行測試，AI系統的行為將如預測的那樣。QuadAttacK 觀察這些操作，并了解 AI 如何做出與數據相關的決策。這使得 QuadAttacK 能夠確定如何操縱數據來欺騙 AI。

然后，QuadAttacK 開始向 AI 系統發送操縱數據，以查看 AI 如何響應。如果 QuadAttacK 發現了一個漏洞，它可以快速讓 AI 看到 QuadAttacK 希望它看到的任何內容。

在概念驗證測試中，研究人員使用 QuadAttacK 測試了四個深度神經網絡：兩個卷積神經網絡（ResNet-50 和 DenseNet-121）和兩個視覺轉換器（ViT-B 和 DEiT-S）。之所以選擇這四個網絡，是因為它們在全球人工智能系統中被廣泛使用。

“我們驚訝地發現，這四個網絡都非常容易受到對抗性攻擊，”Wu說，“我們特別驚訝的是，我們可以在多大程度上微調攻擊，讓網絡看到我們希望他們看到的東西。”

研究團隊已經公開了QuadAttacK，以便研究社區可以自己使用它來測試神經網絡的漏洞。“現在我們可以更好地識別這些漏洞，下一步是找到最小化這些漏洞的方法，” Wu說，“我們已經有一些潛在的解決方案，但這項工作的結果還有待檢驗中。”