[[231994]]

大數(shù)據(jù)文摘出品

編譯：大茜、張文靜、Aileen、魏子敏

我們正將越來(lái)越多的選擇權(quán)拱手讓于算法。

從新的一天要聽(tīng)什么歌、哪些人應(yīng)該拿到社會(huì)福利，到學(xué)校課程設(shè)置、公司并購(gòu)決定，機(jī)器開(kāi)始支配這些看似瑣碎但重要的抉擇，而我們還沒(méi)有意識(shí)到，這或許是比“終結(jié)者”的到來(lái)更嚴(yán)重的威脅。

但有些決策不能，也永遠(yuǎn)不應(yīng)該委托給機(jī)器。

用算法來(lái)做決策的初衷一定是善意的：提高效率，讓決策迅速獲得數(shù)據(jù)支持，且保證流程的一目了然。

而在驚嘆于這些讓人眼花繚亂的自動(dòng)化決策系統(tǒng)的同時(shí)，管理層常常忘記一個(gè)最重要的問(wèn)題：算法的引入是減少還是加劇了系統(tǒng)中的不公平因素?這種算法是否會(huì)影響決策——或作為決策的基礎(chǔ)，可能對(duì)人們的生活產(chǎn)生負(fù)面影響?

由于數(shù)據(jù)偏差、系統(tǒng)內(nèi)置偏見(jiàn)，不了解統(tǒng)計(jì)數(shù)據(jù)以及過(guò)度信任機(jī)器的決策者，還有其他眾多的挑戰(zhàn)，算法永遠(yuǎn)不會(huì)給我們“***”的結(jié)果。

那么，在算法和你的判斷產(chǎn)生出入時(shí)，你將在多大程度上依賴算法?

影響分析結(jié)果的因素有很多。這篇文章將指出，在進(jìn)行自動(dòng)化改革之前，所有組織需要考慮的幾個(gè)因素。

印第安納州的失敗算法和100萬(wàn)受害者

先來(lái)看一個(gè)算法偏差導(dǎo)致的可怕后果。

在印第安納州，一個(gè)算法將有關(guān)福利的不完整的文件歸類為不合規(guī)。

在三年的時(shí)間里，因?yàn)檫@一決定，有100萬(wàn)人無(wú)法獲取食品券，醫(yī)療保健和現(xiàn)金福利。

Omega Young是100萬(wàn)受害者之一。

在2009年3月1日，她因無(wú)法負(fù)擔(dān)醫(yī)藥費(fèi)而死亡。(在她死后贏得了最終維權(quán)上訴，并重新得到她的所有福利金。)

將是否能繼續(xù)獲得醫(yī)療補(bǔ)助金這一決策留給AI決策，這一事件讓印第安納州在之后飽受詬病。

弗吉尼亞的Eubanks討論了印第安納州在自動(dòng)不平等方面(Automating Inequality)系統(tǒng)的失敗，她寫(xiě)了一本關(guān)于技術(shù)如何影響公民、人權(quán)以及經(jīng)濟(jì)公平的書(shū)。Eubanks解釋說(shuō)，算法讓機(jī)器為我們?cè)诩值纳鐣?huì)問(wèn)題上做出的決策而不是我們自己做出抉擇，這樣的方式有一種“情感距離” 。

在決定是否進(jìn)行自動(dòng)化之前，我們需要仔細(xì)審視系統(tǒng)可能影響的人以及判斷影響可能是什么，并確定當(dāng)前系統(tǒng)中已經(jīng)存在的不平等因素。

可用的數(shù)據(jù)是否真的能帶來(lái)好的結(jié)果?

[[231995]]

算法依賴于輸入的數(shù)據(jù)，而且需要正確的數(shù)據(jù)來(lái)確保正常運(yùn)行。在實(shí)施依賴算法的決策系統(tǒng)之前，組織需要深入研究他們?cè)噲D解決的問(wèn)題，并且對(duì)他們是否有解決問(wèn)題所需的數(shù)據(jù)進(jìn)行一些誠(chéng)實(shí)的思考。

Eubanks書(shū)中討論了另一個(gè)案例，賓夕法尼亞州阿勒格尼縣的兒童，青年和家庭(CYF)部門(mén)實(shí)施了一種算法，為每個(gè)報(bào)告給該機(jī)構(gòu)的潛在虐童事件中的兒童打一個(gè)“威脅分?jǐn)?shù)”，并幫助案件工作人員決定哪些報(bào)告應(yīng)該進(jìn)行調(diào)查。該算法的目標(biāo)是常見(jiàn)的：幫助社會(huì)服務(wù)機(jī)構(gòu)最有效地利用有限的資源來(lái)提供社區(qū)服務(wù)。

為了實(shí)現(xiàn)他們的目標(biāo)，該縣試圖預(yù)測(cè)哪些兒童可能成為被虐待的受害者，即“目標(biāo)變量”。但該縣沒(méi)有足夠的關(guān)于與虐童有關(guān)的死亡率或近似死亡率的數(shù)據(jù)來(lái)構(gòu)建具有統(tǒng)計(jì)學(xué)意義的模型，因此他們使用了有足夠數(shù)據(jù)的兩個(gè)變量——社區(qū)再轉(zhuǎn)診CYF的熱線數(shù)和兩年內(nèi)寄養(yǎng)兒童數(shù)，作為兒童虐待數(shù)的替代指標(biāo)。這意味著該縣的算法可以預(yù)測(cè)兒童再轉(zhuǎn)診以及寄養(yǎng)的可能性，并利用這些預(yù)測(cè)結(jié)果對(duì)兒童的虐待威脅打分。

其中的問(wèn)題顯而易見(jiàn)。

這些替代變量并不是有關(guān)虐童數(shù)據(jù)的有效替代。

首先，它們是主觀的。再次轉(zhuǎn)診這一變量包含了隱藏的偏見(jiàn)：“匿名以及那些被強(qiáng)制要求的記者報(bào)道黑人和混血兒家庭虐童和忽視兒童的頻率比他們報(bào)道的白人家庭多三倍半”。

有時(shí)甚至是那些兇惡的鄰居，房東，或者家庭成員故意虛假舉報(bào)來(lái)作為懲罰或報(bào)復(fù)，正如Eubanks在自動(dòng)化不平等中所寫(xiě)的那樣，“預(yù)測(cè)模型需要清晰明確的步驟，并且有大量相關(guān)數(shù)據(jù)才能正確運(yùn)行。”這些標(biāo)準(zhǔn)在阿勒格尼縣尚未完全滿足。不管怎么說(shuō)，CYF推進(jìn)并實(shí)施了一項(xiàng)算法。

這一精度有限的算法導(dǎo)致了什么結(jié)果?

在2016年出現(xiàn)了15,139次虐童報(bào)道。其中，該算法錯(cuò)誤預(yù)測(cè)了3633個(gè)個(gè)案。這一結(jié)果無(wú)端侵入和監(jiān)視了數(shù)千個(gè)貧窮的少數(shù)人的家庭的生活。

該算法是否公平?

[[231996]]

缺乏足夠的數(shù)據(jù)也可能使算法的應(yīng)用缺乏公平。

例如，阿勒格尼縣沒(méi)有所有家庭的數(shù)據(jù);其數(shù)據(jù)僅從使用公共資源的家庭收集——即低收入家庭。

這導(dǎo)致了一種只針對(duì)低收入家庭進(jìn)行研究的算法，并且可能產(chǎn)生反饋循環(huán)，使得進(jìn)入系統(tǒng)的家庭難以完全擺脫它所需的監(jiān)管。這個(gè)結(jié)果冒犯了公平的基本概念。對(duì)受到不利影響的阿勒格尼縣家庭來(lái)說(shuō)肯定不公平。

算法公平有很多評(píng)判標(biāo)準(zhǔn)。

算法是采用相同的方法對(duì)待不同組還是對(duì)它們分別研究?系統(tǒng)是否為追求公平，公共安全，平等或有效資源配置而優(yōu)化?

是否有機(jī)會(huì)讓受到影響的社區(qū)參與并影響決策中關(guān)于算法設(shè)計(jì)，實(shí)施和使用的過(guò)程，包括關(guān)于如何衡量公平性?在算法造成任何不當(dāng)損害之前，是否有機(jī)會(huì)讓那些受到不利影響的人在受到實(shí)質(zhì)性傷害以前能尋求有意義并且迅速的審查?

組織應(yīng)該對(duì)所采用的公平標(biāo)準(zhǔn)保持透明度，并且應(yīng)該讓各種利益相關(guān)者參與公平準(zhǔn)則的制定，包括(也是最重要的)將會(huì)直接受到影響的社區(qū)。如果算法沒(méi)有通過(guò)，它就不應(yīng)該是解決措施。在實(shí)施基于算法決策的系統(tǒng)的情況下，應(yīng)該有一個(gè)持續(xù)的審查過(guò)程來(lái)評(píng)估結(jié)果并校正任何不當(dāng)?shù)挠绊憽?/p>

結(jié)果如何真正被人類使用?

[[231997]]

另一個(gè)組織必須考慮的因素是結(jié)果將如何被人類使用。

在阿勒格尼縣，盡管該算法的“威脅評(píng)分”應(yīng)該作為案件工作者在決定調(diào)查哪些家庭之前考慮的眾多因素之一，但Eubanks觀察到在實(shí)際操作中，算法似乎在訓(xùn)練參與的工作者。

根據(jù)以往經(jīng)驗(yàn)，案件工作者的判斷有助于消除隱藏的偏見(jiàn)。當(dāng)利用算法來(lái)解決問(wèn)題，并且個(gè)案工作者開(kāi)始用算法的結(jié)果替代他們自己的判斷時(shí)，他們完全放棄了他們的看門(mén)人角色，使得系統(tǒng)變得更加階級(jí)化并且?guī)в蟹N族偏見(jiàn)。

算法決策往往因其超越人類本能的優(yōu)越性而被吹捧。將機(jī)器學(xué)習(xí)視為客觀和內(nèi)在的可信趨勢(shì)被稱為“自動(dòng)化的偏見(jiàn)”。當(dāng)我們嘗試做決策時(shí)，無(wú)疑會(huì)存在許多認(rèn)知偏差;自動(dòng)化偏見(jiàn)則又增加其中的復(fù)雜度。

正是因?yàn)槲覀兪侨祟愃圆糯嬖谶@種偏見(jiàn)(也包括其他許多方面)，如果算法的結(jié)果是做決策時(shí)考慮的唯一因素，組織機(jī)構(gòu)必須構(gòu)建一個(gè)能夠控制自動(dòng)化偏見(jiàn)的系統(tǒng)。

這包括設(shè)計(jì)算法來(lái)提供闡述性的報(bào)告而不是僅是一個(gè)分?jǐn)?shù)，并確保決策者受過(guò)有關(guān)統(tǒng)計(jì)學(xué)以及那些他們要運(yùn)用的特定算法的潛在缺點(diǎn)的基礎(chǔ)培訓(xùn)。

在某些情況下，決策者會(huì)偏向算法的提供的答案的可能性足以阻止算法的應(yīng)用。例如，這包括為了確定刑罰而預(yù)測(cè)累犯率。在威斯康星州，法院支持使用COMPAS算法來(lái)預(yù)測(cè)被告的再犯概率，法官是最終做出決定的人。認(rèn)為法官的“本心”并未受到算法的負(fù)面影響的想法天真不靠譜的，因?yàn)槿藭?huì)本能的相信機(jī)器。

一項(xiàng)關(guān)于算法風(fēng)險(xiǎn)評(píng)估對(duì)肯塔基州法官的影響的研究發(fā)現(xiàn)，算法只在很短的時(shí)間內(nèi)影響法官的決策，之后他們就按著以前的習(xí)慣行事，但是這些影響可能會(huì)因不同的法官群體而有所不同，而且即使是一個(gè)罪犯受到了影響，但由于這種影響使其失去了自由，這也是很嚴(yán)重的。

由于判刑這件事情過(guò)于重大，以及預(yù)測(cè)再犯率是一個(gè)嚴(yán)肅問(wèn)題(該系統(tǒng)“基本上將黑人罪犯妖魔化，而認(rèn)為白人罪犯是懷疑有罪”)，在這種情況下使用算法是不適當(dāng)，不道德的。

受這些決策影響的人會(huì)對(duì)系統(tǒng)產(chǎn)生影響嗎?

***，算法應(yīng)服務(wù)于受其影響的群體，而不是不擇手段地節(jié)省時(shí)間和資源。

這要求數(shù)據(jù)科學(xué)家考慮到被影響群體的恐慌和擔(dān)憂。但是數(shù)據(jù)科學(xué)家通常遠(yuǎn)離那些算法影響的群體。

正如《數(shù)學(xué)性破壞武器》(《Weapons of Math Destruction》)的作者Cathy O'Neil在今年早些時(shí)候告訴Wired時(shí)說(shuō)道：“我們完全阻隔了構(gòu)建算法的人與受到它們實(shí)際影響的人之間的聯(lián)系。”即使是***的系統(tǒng)也會(huì)注定產(chǎn)生嚴(yán)重的意外反作用，無(wú)論何時(shí)都是如此。

在實(shí)施算法之前，必須要解決數(shù)據(jù)科學(xué)家，組織實(shí)施者和受影響群體之間聯(lián)系斷層的問(wèn)題。

O'Neil建議數(shù)據(jù)科學(xué)家可以考慮那些受系統(tǒng)影響的所有利益相關(guān)者的關(guān)注點(diǎn)，來(lái)編制一個(gè)“道德矩陣”，以闡明所有這些相互矛盾的含義，動(dòng)機(jī)和考慮因素，使得數(shù)據(jù)科學(xué)家考慮到他們的設(shè)計(jì)的深遠(yuǎn)影響。

“受影響的群體也應(yīng)該有機(jī)會(huì)來(lái)評(píng)估，糾正和影響這些系統(tǒng)。”

正如衛(wèi)報(bào)指出的那樣，“不良意圖下產(chǎn)生的不良AI是不需要的”。任何基于算法決策的系統(tǒng)都是如此。即使是***的系統(tǒng)也會(huì)造成嚴(yán)重的傷害，特別是當(dāng)一個(gè)組織不反省，也不考慮使用算法決策是否合乎道德的的時(shí)候。這些問(wèn)題僅僅是起點(diǎn)，并不能保證在回答這些問(wèn)題后算法就能產(chǎn)生公平的結(jié)果，但它們是所有組織在實(shí)施依賴算法的決策系統(tǒng)之前應(yīng)該自問(wèn)的問(wèn)題。

相關(guān)報(bào)道：

https://www.eff.org/deeplinks/2018/05/math-cant-solve-everything-questions-we-need-be-asking-deciding-algorithm-answer

【本文是51CTO專欄機(jī)構(gòu)大數(shù)據(jù)文摘的原創(chuàng)譯文，微信公眾號(hào)“大數(shù)據(jù)文摘（ id: BigDataDigest）”】

戳這里，看該作者更多好文