英國信息委員會警告:情感分析AI工具并不可靠有效
英國信息委員會(ICO)日前向科技領袖發出警告,最好不要購買情感分析AI工具,因為這種技術并不像人們想象的那樣有效,還有可能導致AI偏見和歧視。采用了這種技術的企業可能面臨數據監管機構的審查和監管,除非他們能證明該技術的有效性。
情緒分析技術采用了許多生物特征數據點,包括注視跟蹤、情緒分析、面部運動、步態分析、心跳、面部表情和皮膚水分水平等,并試圖利用這些數據來確定或預測某人的情緒狀態。
英國信息委員會副信息專員Stephen Bonner表示,問題在于沒有證據表明這種方法確實有效,而且有很多證據表明它并不可靠。如果企業依賴于采用情感分析AI工具的調查結果,這更有可能導致錯誤的結果,從而造成傷害。
他警告,如果一家公司在工作中采用了情緒分析AI工具,那么它受到調查的門檻將會“非常低”。
“有時候當新技術被推廣時,人們就會想,‘讓我們拭目以待,并獲得雙方的理解’,對于其他合法的生物識別技術,我們絕對會這么做。但就情感分析AI而言,沒有合法證據表明這種技術可以發揮作用。我們將極為密切地關注這一問題,并愿意更迅速地采取有力的行動。責任在于那些選擇利用這一點向所有人證明這是值得的,因為無罪推定似乎根本沒有科學依據。”他補充道。
情感分析AI在某些情況下是有用的
但Bonner表示,有一些例子表明這項技術已經被應用或建議作為一個用例,包括通過提供可穿戴工具來監測工作人員的情緒和健康狀況,以及使用各種數據點來記錄和預測潛在的健康問題。
但是,尚未成熟的檢測情緒線索的算法將導致系統性偏見、不準確和歧視的風險。該技術依賴于收集、存儲和處理大量的個人數據,其中包括潛意識的行為或情緒反應。這種數據使用的風險遠遠高于用于驗證或識別個人身份的傳統生物識別技術。
需要指出的是,英國信息委員會并沒有禁止使用這類技術,只是發出警告,由于涉及風險,實施這樣技術的企業將受到審查。只要有明確的聲明,用戶可以將它作為噱頭或娛樂工具使用。
Bonner說:“在生物測量和推斷結果意圖之間有一些區別。我認為,可以通過某人的聲音來檢測他的壓力水平,這是有道理的。但是從這一點上來說,如果就這樣判定他是騙子就有些太過分了。我們不會禁止使用AI來判斷誰看起來不安的做法,但如果只是一些人感到不安,不推斷他們試圖通過自己的生物特征進行欺詐,那么這種做法是錯誤的。”
生物識別技術的跨行業影響
生物識別技術預計將對各行業領域產生重大影響,從金融服務公司通過面部識別驗證人類身份,到使用語音識別代替密碼訪問服務。
英國信息委員會正在與Ada Lovelace研究所和英國青年委員會合作制定新的生物識別指南。該指南將會“以人為本”,預計將于明年春季對外發布。
艾倫·圖靈研究所的倫理研究員Mhairi Aitken博士對英國信息委員會的警告表示歡迎,但他指出,同樣重要的是要審視這些系統的開發,并確保開發人員采取符合倫理的方法,并在有需要的地方創建和使用工具。
她說:“開發技術或新應用程序的道德方法必須從哪些人可能是受影響的社區開始,并讓他們參與這個過程,看看它在部署的環境中是否真的合適。這個過程讓我們有機會意識到可能沒有預料到的任何危害。”
情感檢測AI是一種真正的傷害風險
Aitken博士表示,這種AI模型可能造成的危害是巨大的,特別是對那些可能不符合構建預測模型時開發的模型的人來說。她補充說:“這是一個非常復雜的領域,要開始思考我們如何將這樣的事情實現自動化,并能夠考慮到文化差異和情感差異。”
Aitken博士指出,AI系統很難確定在不同環境下什么的情緒反應是合適的,“我們表達情感的方式非常不同,這取決于我們和誰在一起以及所處的環境。此外,還需要考慮這些AI系統是否能夠充分考慮人們的情緒表現方式。”
Bonner表示,在娛樂中使用情感AI工具的危害很小,但Aitken博士警告說,這種用例有其自身的風險,包括人們開始習慣于采用這項技術并認為它確實有效。“如果使用,除非明確地貼上娛樂的標簽。”
Bonner補充說,當涉及到情感AI時,問題在于每個人之間有太多的數據點和差異,因此難以開發一個理想模型。有關這一點已經在多篇關于該技術的研究論文中得到了證明。“如果有人說,‘我們已經解決了問題,可以做出準確的預測’,那么他們可能會創造奇跡,但我認為這種事情不會發生。”