在討論人工智能的威脅時(shí)，首先想到的是天網(wǎng)，黑客帝國(guó)和機(jī)器人啟示錄的圖像。排名第二的是技術(shù)失業(yè)，這是在可預(yù)見(jiàn)的未來(lái)的愿景，在該愿景中，人工智能算法將接管所有工作，并促使人們?cè)诓辉傩枰斯趧?dòng)的世界中為無(wú)意義的生存而斗爭(zhēng)。

[[330865]]

這些威脅中的任何一個(gè)還是兩個(gè)都是真實(shí)存在的，在科學(xué)家和思想領(lǐng)袖之間引起了激烈的爭(zhēng)論。但是，人工智能算法還以不那么明顯和難以理解的方式構(gòu)成了當(dāng)今更加迫在眉睫的威脅。

數(shù)學(xué)家凱茜·奧尼爾(Cathy O'Neil)在她的著作《數(shù)學(xué)破壞的武器：大數(shù)據(jù)如何增加不平等并威脅民主》中探討了盲目相信算法來(lái)做出敏感決策如何損害許多接受決策的人。

AI算法的危險(xiǎn)可以表現(xiàn)在算法偏差和危險(xiǎn)的反饋循環(huán)中，并且可以擴(kuò)展到日常生活的各個(gè)領(lǐng)域，從經(jīng)濟(jì)到社會(huì)互動(dòng)，再到刑事司法系統(tǒng)。盡管在決策中使用數(shù)學(xué)和算法并不是什么新鮮事，但深度學(xué)習(xí)的最新進(jìn)展以及黑匣子AI系統(tǒng)的泛濫放大了它們的影響，無(wú)論是好是壞。如果我們不了解AI的當(dāng)前威脅，我們將無(wú)法從AI的優(yōu)勢(shì)中受益。

危險(xiǎn)AI算法的特征

我們使用算法進(jìn)行建模以理解和處理許多事情。“畢竟，模型只不過(guò)是某種過(guò)程的抽象表示，無(wú)論是棒球比賽，石油公司的供應(yīng)鏈，還是電影院的訂座，”奧尼爾在《數(shù)學(xué)武器》中寫(xiě)道破壞。“無(wú)論它是在計(jì)算機(jī)程序中運(yùn)行還是在我們的頭腦中運(yùn)行，該模型都會(huì)利用我們所知道的知識(shí)，并用其預(yù)測(cè)各種情況下的響應(yīng)。”

但是，由于深度學(xué)習(xí)的進(jìn)步以及我們生活各個(gè)方面的數(shù)字化日益增強(qiáng)，越來(lái)越多的模型從我們的頭腦中轉(zhuǎn)移到了計(jì)算機(jī)上。借助寬帶互聯(lián)網(wǎng)，云計(jì)算，移動(dòng)設(shè)備，物聯(lián)網(wǎng)(IoT)，可穿戴設(shè)備以及一系列其他新興技術(shù)，我們可以收集和處理越來(lái)越多的有關(guān)任何事物的數(shù)據(jù)。

對(duì)數(shù)據(jù)和計(jì)算能力的這種不斷增長(zhǎng)的訪(fǎng)問(wèn)幫助創(chuàng)建了可以自動(dòng)執(zhí)行越來(lái)越多任務(wù)的AI算法。以前僅限于研究實(shí)驗(yàn)室的深度神經(jīng)網(wǎng)絡(luò)已經(jīng)進(jìn)入許多以前對(duì)計(jì)算機(jī)具有挑戰(zhàn)性的領(lǐng)域，例如計(jì)算機(jī)視覺(jué)，機(jī)器翻譯，語(yǔ)音和面部識(shí)別。

到目前為止，一切都很好。有什么問(wèn)題嗎?在數(shù)學(xué)破壞武器中，O'Neil指定了使AI模型變得危險(xiǎn)的三個(gè)因素：不透明度，規(guī)模和破壞。

算法與公司不透明

AI系統(tǒng)的不透明性有兩個(gè)方面：技術(shù)和公司。近年來(lái)，技術(shù)上的不透明性(也稱(chēng)為人工智能的黑匣子問(wèn)題)受到了很多關(guān)注。

簡(jiǎn)而言之，問(wèn)題是，我們?nèi)绾沃繟I算法正在做出正確的決定?隨著AI逐漸進(jìn)入貸款申請(qǐng)?zhí)幚恚庞迷u(píng)分，教師評(píng)級(jí)，累犯預(yù)測(cè)以及許多其他敏感領(lǐng)域，這個(gè)問(wèn)題變得越來(lái)越關(guān)鍵。

許多媒體已經(jīng)發(fā)表文章，將AI算法描述為神秘的機(jī)器，其行為甚至對(duì)于開(kāi)發(fā)人員來(lái)說(shuō)都是未知的。但是，與媒體所描述的相反，并不是所有的AI算法都是不透明的。

傳統(tǒng)的軟件通常以AI術(shù)語(yǔ)稱(chēng)為符號(hào)人工智能，以其可解釋和透明的特性而聞名。它們由手工編碼的規(guī)則組成，由軟件開(kāi)發(fā)人員和領(lǐng)域?qū)＜揖慕M合而成。可以對(duì)它們進(jìn)行探測(cè)和審核，并且可以將錯(cuò)誤追溯到發(fā)生錯(cuò)誤的代碼行。

相反，近年來(lái)變得越來(lái)越流行的機(jī)器學(xué)習(xí)算法通過(guò)分析許多訓(xùn)練示例并創(chuàng)建統(tǒng)計(jì)推斷模型來(lái)發(fā)展其行為。這意味著開(kāi)發(fā)人員不一定對(duì)AI算法的行為擁有最終決定權(quán)。

但同樣，并非所有的機(jī)器學(xué)習(xí)模型都是不透明的。例如，決策樹(shù)和線(xiàn)性回歸模型是兩種流行的機(jī)器學(xué)習(xí)算法，它們將對(duì)決定其決策的因素給出清晰的解釋。如果您訓(xùn)練決策樹(shù)算法來(lái)處理貸款申請(qǐng)，它可以為您提供樹(shù)狀分解(因此稱(chēng)為名稱(chēng))，說(shuō)明如何確定要確認(rèn)和拒絕哪些貸款申請(qǐng)。這為開(kāi)發(fā)人員提供了發(fā)現(xiàn)潛在問(wèn)題因素并糾正模型的機(jī)會(huì)。

但是，在過(guò)去幾年中非常流行的深度神經(jīng)網(wǎng)絡(luò)在揭示其工作方式方面尤其不利。它們由一層層的人工神經(jīng)元，小的數(shù)學(xué)函數(shù)組成，這些函數(shù)將其參數(shù)調(diào)整為訓(xùn)練期間看到的數(shù)千個(gè)示例。在很多情況下，很難探究深度學(xué)習(xí)模型并確定哪些因素有助于他們的決策過(guò)程。

貸款申請(qǐng)?zhí)幚砩疃葘W(xué)習(xí)算法是一個(gè)端到端模型，在該模型中，貸款申請(qǐng)進(jìn)入，并得出最終結(jié)論。關(guān)于A(yíng)I算法的決策方式，沒(méi)有逐個(gè)特征的細(xì)分。在大多數(shù)情況下，訓(xùn)練有素的深度學(xué)習(xí)模型的性能將比其不太復(fù)雜的(決策樹(shù)，支持向量機(jī)，線(xiàn)性回歸等)更好，并且甚至可能發(fā)現(xiàn)相關(guān)模式，這些模式對(duì)于人類(lèi)專(zhuān)家來(lái)說(shuō)是不會(huì)被注意到的。

但是，即使是最精確的深度學(xué)習(xí)系統(tǒng)也會(huì)偶爾出錯(cuò)，而一旦出錯(cuò)，就很難確定出了什么問(wèn)題。但是深度學(xué)習(xí)系統(tǒng)不需要在不透明性成為問(wèn)題之前就犯錯(cuò)誤。假設(shè)一個(gè)生氣的客戶(hù)想知道為什么AI應(yīng)用程序拒絕了他們的貸款申請(qǐng)。當(dāng)您擁有可解釋的AI系統(tǒng)時(shí)，就可以對(duì)做出決定的步驟提供清晰的解釋。

但是，盡管人工智能算法在技術(shù)上的不透明性在科技媒體上引起了廣泛關(guān)注，但很少討論的是公司使用其算法的不透明方式，即使算法本身是微不足道的且可解釋的。“即使參與者知道要建模，或者模型的用途是什么，該模型還是不透明的，甚至是不可見(jiàn)的?”奧尼爾在《數(shù)學(xué)毀滅性武器》中的問(wèn)題。

將AI算法視為公司機(jī)密的公司會(huì)盡力將其隱藏，以保持領(lǐng)先于競(jìng)爭(zhēng)對(duì)手的優(yōu)勢(shì)。對(duì)于支持Google搜索的AI算法，我們知之甚少。這種機(jī)密性是有道理的。例如，如果Google發(fā)布了其搜索算法的內(nèi)部結(jié)構(gòu)，那么它將很容易受到游戲的攻擊。實(shí)際上，即使沒(méi)有Google透露有關(guān)其搜索算法的詳細(xì)信息，整個(gè)行業(yè)也隨時(shí)準(zhǔn)備尋找捷徑，直指Google搜索排名第一的位置。畢竟，算法是無(wú)意識(shí)的機(jī)器，它們按照自己的規(guī)則運(yùn)行。他們不使用常識(shí)性判斷來(lái)識(shí)別扭曲行為準(zhǔn)則的邪惡行為者。

但是，以同樣的例子為例，如果沒(méi)有透明度，我們?nèi)绾未_保Google本身不會(huì)操縱搜索結(jié)果來(lái)實(shí)現(xiàn)自己的目標(biāo)和經(jīng)濟(jì)利益?這僅顯示了組織在使用AI算法時(shí)所走的細(xì)線(xiàn)。當(dāng)AI系統(tǒng)不透明時(shí)，它們甚至不需要犯錯(cuò)誤就可以造成破壞。甚至對(duì)系統(tǒng)性能的懷疑陰影也足以引起對(duì)系統(tǒng)的不信任。另一方面，過(guò)多的透明度也會(huì)適得其反，并導(dǎo)致其他災(zāi)難性的后果。

O'Neil在GDPR和CCPA等規(guī)則生效之前，于2016年撰寫(xiě)了《數(shù)學(xué)毀滅性武器》。這些法規(guī)要求公司對(duì)AI算法的使用保持透明，并允許用戶(hù)調(diào)查其自動(dòng)化系統(tǒng)背后的決策過(guò)程。其他發(fā)展，例如歐盟委員會(huì)的道德AI規(guī)則，也激勵(lì)了透明度。

在解決有關(guān)AI透明性的技術(shù)，道德和法律問(wèn)題方面已經(jīng)取得了很大的進(jìn)步，還需要做更多的工作。隨著監(jiān)管機(jī)構(gòu)通過(guò)新法律來(lái)規(guī)范公司機(jī)密性，公司會(huì)找到新方法來(lái)規(guī)避這些規(guī)則，而又不會(huì)陷入困境，例如，很長(zhǎng)的服務(wù)條款對(duì)話(huà)框會(huì)明顯地剝奪您獲得算法透明性的權(quán)利。

誰(shuí)承擔(dān)著AI算法的損害

有很多AI算法的例子，它們會(huì)提出愚蠢的購(gòu)物建議，錯(cuò)誤分類(lèi)圖像以及做其他愚蠢的事情。但是，隨著AI模型在我們的生活中越來(lái)越根深蒂固，它們的錯(cuò)誤正從良性向破壞性轉(zhuǎn)變。

在書(shū)中，奧尼爾(O'Neil)探索了許多情況，這些情況會(huì)導(dǎo)致算法對(duì)人們的生命造成破壞。例子包括錯(cuò)誤地對(duì)人進(jìn)行懲罰的信用評(píng)分系統(tǒng)，根據(jù)種族和族裔背景對(duì)被告判處較重刑罰的累犯算法，最終會(huì)解雇表現(xiàn)出色的老師并獎(jiǎng)勵(lì)作弊者的教師評(píng)分系統(tǒng)以及可賺取數(shù)十億美元的交易算法以低收入階層為代價(jià)。

算法的影響加上缺乏透明度，導(dǎo)致創(chuàng)建危險(xiǎn)的AI系統(tǒng)。例如，奧尼爾說(shuō)：“新的累犯模型既復(fù)雜又?jǐn)?shù)學(xué)。但是在這些模型中嵌入了許多假設(shè)，其中一些是偏見(jiàn)的，”并且補(bǔ)充道，“累犯模型的工作方式被隱藏在算法中，只有少數(shù)精英才能理解。”

基本上，這意味著AI算法可以根據(jù)種族來(lái)決定將其關(guān)押，而被告無(wú)法查明為什么他們被認(rèn)為沒(méi)有資格獲得赦免。

還有兩個(gè)因素使危險(xiǎn)AI算法的破壞更加有害。

首先，數(shù)據(jù)。機(jī)器學(xué)習(xí)算法依賴(lài)于質(zhì)量數(shù)據(jù)來(lái)進(jìn)行訓(xùn)練和準(zhǔn)確性。如果要圖像分類(lèi)器準(zhǔn)確檢測(cè)貓的圖片，則必須為其提供許多帶有標(biāo)簽的貓的圖片。同樣，貸款申請(qǐng)算法將需要大量的貸款申請(qǐng)及其結(jié)果(已付款或未償還)的歷史記錄。

問(wèn)題是，那些受到AI算法傷害的人通常是沒(méi)有足夠質(zhì)量數(shù)據(jù)的人。這就是為什么貸款申請(qǐng)?zhí)幚碚呖梢詾槟切┮呀?jīng)有足夠的銀行服務(wù)機(jī)會(huì)的人提供更好的服務(wù)，并對(duì)那些被大量剝奪了金融體系的沒(méi)有銀行服務(wù)的人和處境不利的人進(jìn)行懲罰的原因。

第二個(gè)問(wèn)題是反饋回路。當(dāng)AI算法開(kāi)始做出有問(wèn)題的決策時(shí)，其行為會(huì)產(chǎn)生更多錯(cuò)誤數(shù)據(jù)，這些錯(cuò)誤數(shù)據(jù)又會(huì)被用于進(jìn)一步完善算法，從而造成更大的偏見(jiàn)，并且循環(huán)不斷地繼續(xù)下去。

關(guān)于維持治安這一話(huà)題，奧尼爾認(rèn)為，對(duì)犯罪的偏見(jiàn)預(yù)測(cè)會(huì)導(dǎo)致更多的警察在貧困社區(qū)居住。她寫(xiě)道：“這會(huì)造成有害的反饋循環(huán)。”警務(wù)本身會(huì)產(chǎn)生新數(shù)據(jù)，這證明了更多警務(wù)的合理性。我們的監(jiān)獄里滿(mǎn)是成千上萬(wàn)的被判無(wú)害罪行的人。”

當(dāng)您對(duì)所有這些彼此分離且相互連接的AI系統(tǒng)如何相互了解產(chǎn)生更大的了解時(shí)，您將看到真正的危害是如何發(fā)生的。O'Neil總結(jié)了這種情況：“窮人更有可能信譽(yù)不好，生活在高犯罪率的社區(qū)中，周?chē)衅渌F人。一旦大規(guī)模殺傷性武器的黑暗世界消化了這些數(shù)據(jù)，它就會(huì)在掠奪性廣告中投放次級(jí)抵押貸款或營(yíng)利性學(xué)校。它派出更多的警察逮捕他們，當(dāng)他們被定罪后，將對(duì)其判處更長(zhǎng)的刑期。該數(shù)據(jù)被輸入到其他大規(guī)模殺傷性武器中，這些大規(guī)模殺傷性武器將同一人評(píng)為高風(fēng)險(xiǎn)或容易成為目標(biāo)，并繼續(xù)阻止他們工作，同時(shí)提高了他們按揭，汽車(chē)貸款和各種可能的保險(xiǎn)費(fèi)率。這進(jìn)一步降低了他們的信用等級(jí)，創(chuàng)造的無(wú)非就是建模的死亡螺旋。在大規(guī)模殺傷性武器世界中變得貧窮變得越來(lái)越危險(xiǎn)和昂貴。”

算法危害的爆炸性規(guī)模

“第三個(gè)問(wèn)題是模型是否具有指數(shù)增長(zhǎng)的能力。正如統(tǒng)計(jì)學(xué)家所說(shuō)，它可以擴(kuò)展嗎?”奧尼爾寫(xiě)了“數(shù)學(xué)毀滅武器”一書(shū)。

考慮我們前面討論的Google搜索示例。數(shù)十億人使用Google搜索找到有關(guān)健康，政治和社會(huì)問(wèn)題的重要問(wèn)題的答案。Google的AI算法中的一個(gè)小錯(cuò)誤會(huì)對(duì)公眾輿論產(chǎn)生巨大影響。

同樣，F(xiàn)acebook的排名算法決定了每天都有成千上萬(wàn)人看到的新聞。如果這些算法有問(wèn)題，則可以通過(guò)惡意行為者利用它們傳播虛假的，轟動(dòng)性的新聞。即使沒(méi)有直接的惡意意圖，它們?nèi)匀豢赡茉斐蓚Α＠纾欣谖齼?nèi)容的新聞提要算法可以放大偏差并創(chuàng)建過(guò)濾泡，從而使用戶(hù)對(duì)替代視圖的容忍度降低。

當(dāng)不透明和錯(cuò)誤的Al算法確定了數(shù)億人的信用分?jǐn)?shù)或決定了該國(guó)教育系統(tǒng)的命運(yùn)時(shí)，您便擁有了摧毀數(shù)學(xué)武器的所有要素。那么，對(duì)此應(yīng)該怎么做?我們需要承認(rèn)我們部署的AI算法的局限性。雖然擁有一個(gè)可以使您擺脫做出艱難決策的職責(zé)的自動(dòng)化系統(tǒng)似乎很誘人，但您必須了解人類(lèi)何時(shí)處于這些決策的接受端以及它們?nèi)绾问艿接绊憽?/p>

大數(shù)據(jù)流程整理了過(guò)去。他們不會(huì)創(chuàng)造未來(lái)。這樣做需要道德的想象力，而這是人類(lèi)所能提供的。我們必須明確地將更好的價(jià)值嵌入到我們的算法中， 。有時(shí)候，這意味著將公平置于利潤(rùn)之上。