人工智能是一個不斷發展的行業，其動力來自大型科技公司、新創業公司和大學研究團隊。雖然人工智能技術正在飛速發展，但圍繞機器學習安全的規定和故障保護卻是完全不同的情況。

無法保護機器學習模型免受數據中毒等網絡攻擊可能會造成極大的損失。聊天機器人漏洞甚至可能導致私人用戶數據被盜。以下將探討機器學習網絡安全的重要性。此外，我們將說明聊天機器人安全商Scanta公司如何通過其虛擬助手保護聊天機器人。

[[345307]]

為什么機器學習安全性很重要?

保護機器學習模型免受網絡攻擊類似于確保車輛通過安全檢查。僅僅因為汽車可以行駛并不意味著在公共道路上行駛是安全的。無法保護機器學習模型可能導致數據泄露或更糟的情況。

一個很好的例子是McAfee公司技術人員如何入侵特斯拉的一種自動駕駛汽車。特斯拉早期的路標檢測系統模型使它容易受到網絡攻擊。技術人員只需在特斯拉汽車上加上幾英寸的黑色膠帶，就能讓它誤讀時速35英里的標志。這導致車輛將其解釋為85英里/小時的標志。其結果，每當汽車加速超過35英里/小時就會踩下剎車。

自動駕駛汽車中的漏洞可能導致致命事故。對于聊天機器人和虛擬助手來說，缺乏機器學習安全性可能會導致大量私人客戶數據泄露、網絡釣魚攻擊以及對企業的代價昂貴訴訟。而這正是達美航空發生的事情。

在2019年，達美航空公司起訴其聊天機器人開發人員，原因是該公司在2017年發生了乘客數據泄露事件。黑客獲得了對達美航空公司聊天機器人系統的訪問權限，并修改了源代碼。這使他們可以抓取用戶輸入的數據。這次事故對達美航空公司造成了巨大的損失，導致數百萬美元用于調查漏洞并保護受影響的客戶。

聊天機器人中的機器學習安全漏洞

聊天機器人特別容易受到機器學習攻擊，因為它們之間經常發生用戶交互，而這些交互通常是完全不受監督的。Scanta公司對聊天機器人面臨的最常見的網絡攻擊進行了闡述。

Scanta公司首席技術官Anil Kaushik表示，他們看到的最常見的攻擊之一是通過對抗性輸入進行的數據中毒攻擊。

什么是數據中毒?

數據中毒是黑客對機器學習模型的訓練數據進行污染的一種機器學習攻擊。他們通過注入對抗性輸入來實現這一點，這些輸入是故意改變數據樣本的，目的是誘使系統產生錯誤的輸出。

像客戶服務聊天機器人這樣經過用戶輸入數據進行持續訓練的系統尤其容易受到此類攻擊。大多數現代的聊天機器人都可以自動操作并在沒有人工干預的情況下回答客戶的詢問。通常情況下，除非查詢升級為人員，否則永遠不會監視聊天機器人與用戶之間的對話。缺乏監督使得聊天機器人成為黑客利用的主要目標。

為了幫助企業保護其聊天機器人和虛擬助手，Scanta公司不斷改進其機器學習安全系統VA Shield。

Scanta公司由Chaitanya Hiremath于2016年創立，是一家科技公司，最初是增強現實游戲和社交媒體應用程序的開發商。他們在增強現實(AR)行業的成功甚至在探索頻道上嶄露頭角。但是，Scanta最近轉向為聊天機器人和虛擬助手提供機器學習安全服務。

Scanta如何保護聊天機器人和虛擬助手

Scanta公司的VA Shield是一種機器學習安全系統，可以在模型、數據集和對話級別保護聊天機器人。Scanta公司首席技術官AnilKaushik說，“VA Shield使用機器學習防御機器學習攻擊。我們為每個用戶進行行為分析，并標記任何異常行為。行為分析是針對最終用戶以及聊天機器人的。分析所有輸入、輸出和輸入輸出組合實體，以檢測任何惡意活動。”

在對話級別，Scanta公司評估聊天機器人的輸出，以阻止惡意攻擊并捕獲業務見解。他說，“場景分析是一個簡單的概念，其中聊天機器人的響應是在場景中根據請求進行查看的，”為了進行這些分析，我們使用歷史數據。例如，查看了用戶的歷史請求特征和來自聊天機器人的響應，以及聊天機器人的響應特征。”

為什么常規的IT團隊無法處理這些攻擊?

Scanta公司首席執行官Chaitanya Hiremath表示，擁有自己IT團隊的公司會外包機器學習安全服務。這些IT團隊難道不能自己納入機器學習安全協議嗎?Hiremath說，“我們已經與許多公司進行了交談，得知這些機器學習威脅是大多數人不知道的事情，我感到非常驚訝，現實是許多人甚至不知道這是他們必須防止的事情。大多數IT團隊和安全解決方案都提供網絡安全和Web應用程序防火墻等功能。這種類型的安全性不同于Scanta提供的安全性。我們在討論和介紹的內容處于不同的水平。這遠遠超出了消除訓練數據的偏見。”

在以上提到的達美航空示例中，網絡攻擊者入侵了聊天機器人并修改了源代碼，并且能夠訪問私人客戶數據。Hiremath說，“這是因為沒有人監視正在進入聊天機器人的內容和正在發生的內容，這是當今機器學習技術構建方式的結果。但是，必須有一種機制來解釋是否有惡意。我們將此系統稱為零信任框架。必須確保所有方面都受到保護。這與保護數據庫或網絡一樣重要。”

人們的日常生活和個人數據越來越與計算機系統交織在一起。隨著現代社會數字化的日益發展，提高數據安全性成為當務之急。特別是像GDPR這樣的組織制定的數據法律，企業比以往任何時候都更重要地保護其私有數據和客戶數據。

Scanta公司和機器學習安全性的未來

Hiremath說，“我們希望成為機器學習安全性的領導者，并幫助各個行業的企業保護他們創建的機器學習系統。我們不僅僅將其視為應用程序的插件或附件。在三到五年內，我們看到這成為其自己的行業，我們希望成為該領域的市場領導者之一。機器學習安全性有大量用例。現在，我們希望專注于虛擬助手和聊天機器人。我們不僅希望成為聊天機器人安全性的領導者，而且還希望成為其他機器學習系統的領導者。我們目前正在進行研發，以找出我們可以幫助他們保護的其他領域。”

機器學習模型的更高安全性將使數據科學界和人工智能技術的日常用戶受益。在2020年上半年，由于存在固有的種族偏見和執法部門可能濫用的證據，IBM公司抵制面部識別技術。重要的是，像IBM、達美公司和特斯拉公司這樣的大型企業應退后一步，將安全性和社會影響放在開發之前。

希望有更多類似Scanta公司出現在機器學習領域，為開發機器學習技術的公司和使用它們的人們創建更安全的人工智能系統。