許多國家在與新型冠狀病毒作斗爭，下令公民在火車站或機(jī)場一律接受體溫檢測。這種情形下所需的設(shè)備：手持溫度計(jì)已從一種專業(yè)設(shè)備變成了常見設(shè)備。

“計(jì)算機(jī)視覺”是AI的一個(gè)分支，專注于自動標(biāo)記圖像。大多數(shù)計(jì)算機(jī)視覺系統(tǒng)使用含有極少量手持溫度計(jì)圖像的數(shù)據(jù)集加以訓(xùn)練。因而，它們無法正確標(biāo)記這種設(shè)備。

在Twitter上瘋傳的一個(gè)實(shí)驗(yàn)中，非營利研究和倡導(dǎo)組織AlgorithmWatch證明，計(jì)算機(jī)視覺服務(wù)Google Vision Cloud將手持測溫計(jì)的深膚色人員的圖像標(biāo)記為“槍支”，而將淺膚色人員的類似圖像標(biāo)記為“電子設(shè)備”。隨后的實(shí)驗(yàn)表明，持有溫度計(jì)的深膚色手的圖像被標(biāo)記為“槍支”，而手上覆以淺橙色圖案的同一圖像足以讓計(jì)算機(jī)將其標(biāo)記為“單目望遠(yuǎn)鏡”。

4月3日，添加覆蓋層后，Google Vision Cloud生成了完全不同的標(biāo)簽。

谷歌此后更新了算法。自4月6日起，它不再返回“槍支”標(biāo)簽。

谷歌的產(chǎn)品策略和運(yùn)營主管Tracy Frey在一份聲明中寫道：“這個(gè)結(jié)果是不可接受的。認(rèn)識到這一結(jié)果與種族主義之間的聯(lián)系很重要；對于由此可能造成的任何傷害，我們深表歉意。”

Frey女士說：“我們的調(diào)查發(fā)現(xiàn)，一些物體被誤標(biāo)記為槍支；這些結(jié)果存在于一系列膚色中。我們已調(diào)整了置信度（confidence score），以便圖像中有槍支時(shí)更準(zhǔn)確地返回標(biāo)簽。”她補(bǔ)充道，谷歌發(fā)現(xiàn)“沒有表明與膚色有關(guān)的系統(tǒng)性偏見的證據(jù)。”

荷蘭代爾夫特理工大學(xué)攻讀博士的Agathe Balayn表示贊同，她著重研究自動化系統(tǒng)中的偏見這一課題。她在谷歌的服務(wù)中測試了幾個(gè)圖像，得出的結(jié)論是，示例可能是“不存在統(tǒng)計(jì)偏見的不準(zhǔn)確例子。”她寫道，在缺乏更嚴(yán)格測試的情況下，不能說這個(gè)系統(tǒng)存在偏見。

4月6日，深膚色手的結(jié)果已經(jīng)過了更新

背景調(diào)查

不難理解為什么計(jì)算機(jī)視覺會基于膚色生成不同的結(jié)果。這類系統(tǒng)處理人們辛苦標(biāo)記的數(shù)百萬張圖片（比如說，你點(diǎn)擊內(nèi)有汽車或橋梁的方框以證明你不是機(jī)器人時(shí)所做的工作），并從中得出自動推斷。

計(jì)算機(jī)視覺無法識別人類意義上的任何物體。它依賴訓(xùn)練數(shù)據(jù)中相關(guān)的模式。研究表明，一旦在白雪皚皚的背景下拍照，計(jì)算機(jī)視覺會將狗標(biāo)記為狼。如果母牛站在海灘上，它們會被標(biāo)記為狗。

由于膚色深的人在訓(xùn)練數(shù)據(jù)集中描繪暴力的場景中出現(xiàn)的頻率可能高得多，因此對深膚色手的圖像進(jìn)行自動推斷的計(jì)算機(jī)用暴力方面的詞匯加以標(biāo)記的可能性要大得多。

其他計(jì)算機(jī)視覺系統(tǒng)出現(xiàn)了類似的偏見。去年12月，F(xiàn)acebook拒絕讓巴西的一個(gè)Instagram用戶可以為圖片打廣告，理由是圖片含有武器。實(shí)際上，那幅圖片上就一個(gè)男孩和一級方程式賽車手Lewis Hamilton。兩個(gè)人的膚色都很深。

帶來的實(shí)際影響

標(biāo)記錯(cuò)誤可能會在實(shí)際環(huán)境下造成影響。紐約大學(xué)AI Now研究所的技術(shù)研究員、計(jì)算機(jī)視覺專家Deborah Raji在一封電子郵件中寫道，在美國，武器識別工具被用于眾多學(xué)校、音樂廳、公寓大樓和超市。在歐洲，一些警察隊(duì)伍部署的自動監(jiān)視裝備也可能使用計(jì)算機(jī)視覺技術(shù)。Raji女士寫道，由于這些系統(tǒng)大多數(shù)類似Google Vision Cloud，因此“它們很可能存在同樣的偏見。”因而，膚色深的人更有可能被標(biāo)記為危險(xiǎn)分子，即使他們手持像手持溫度計(jì)這樣無害的東西。

Nakeema Stefflbauer是專注于包容性的技術(shù)專家社區(qū)FrauenLoop的創(chuàng)始人兼首席執(zhí)行官，她在一封電子郵件中寫道，計(jì)算機(jī)視覺軟件中的偏見會“絕對”影響深膚色人群的生活。她補(bǔ)充說，由于女性和深膚色人群的誤識別率一直偏高，因此用于監(jiān)視的計(jì)算機(jī)視覺的普及會對他們造成過大的影響。

Stefflbauer女士提到了Ousmane Bah和Amara K. Majeed這兩個(gè)例子，由于人臉識別系統(tǒng)出錯(cuò)，Bah這名少年被錯(cuò)誤地指控在蘋果商店盜竊，而Majeed在人臉被誤識別后，被錯(cuò)誤地指控參與了2019年斯里蘭卡爆炸案。Stefflbauer預(yù)料，若缺乏有效的監(jiān)管，整批人群到頭來會避開某些建筑物或社區(qū)。她補(bǔ)充道，如果有偏見的計(jì)算機(jī)視覺得到更廣泛的部署，個(gè)人可能在行動中面臨事實(shí)上的限制。

逐步變化

谷歌的主管Frey女士在聲明中寫道，公平性是谷歌的“核心AI原則”之一，谷歌“致力于在開發(fā)機(jī)器學(xué)習(xí)方面取得進(jìn)步，而公平性是衡量成功機(jī)器學(xué)習(xí)的一個(gè)關(guān)鍵指標(biāo)”。

但是谷歌的圖像識別工具之前就返回過帶有種族偏見的結(jié)果。2015年，谷歌相冊（Google Photos）將兩個(gè)深膚色的人標(biāo)記為“大猩猩”。谷歌后來表示了歉意，不過據(jù)《連線》雜志報(bào)道，谷歌并沒有解決這個(gè)問題。相反，它只是簡單地不再返回“大猩猩”這個(gè)標(biāo)簽，即便明明是這種哺乳動物的圖片也是如此。

據(jù)AI Now研究所的Deborah Raji聲稱，技術(shù)公司仍在開發(fā)帶有種族偏見的產(chǎn)品，至少有兩個(gè)原因可以解釋這種情況。首先，它們的團(tuán)隊(duì)以白人和男性為主，這樣一來在開發(fā)階段不太可能找到并解決歧視其他群體的結(jié)果。其次，“許多公司現(xiàn)在才剛開始制定正式流程，以測試和報(bào)告設(shè)計(jì)這些系統(tǒng)的過程中出現(xiàn)的這類故障，”她寫道。她補(bǔ)充道：“外部問責(zé)是目前提醒這些工程團(tuán)隊(duì)的主要方法。”

“遺憾的是，到有人抱怨時(shí)，許多人可能已經(jīng)受到有偏見的模型的過大影響。”