[[439096]]

英國《經濟學人》雜志在2017年宣布數據已經取代石油，成為了世界上最有價值的資源。各行業組織開始在數據和分析方面加大投資。但與石油一樣，數據和分析也有其陰暗面。

根據IDG公司發布的《2021年CIO狀況報告》，39%的IT領導者表示，2021年的數據分析將推動其企業的大部分IT投資，高于2020年的37%。從機器學習算法驅動的分析和行動中獲得的見解可以為企業提供競爭優勢，但如果出錯可能會在聲譽、收入甚至人身安全方面帶來巨大的損失。

了解數據及其表達的信息很重要，企業了解采用的工具、數據并牢記企業的價值觀也很重要。

以下是過去10年來一些令人關注的分析和人工智能錯誤，以說明可能出現的問題。

1.Zillow公司由于算法問題損失慘重，并裁減25%的員工

2021年11月，在線房地產服務商Zillow公司告訴該公司股東，將在未來的幾個季度縮減其Zillow Offers業務規模，并裁減25%的員工(約2000名)。Zillow公司面臨的困境是其用于預測房價的機器學習算法中的錯誤率造成的。

Zillow Offers是一個應用程序，該公司根據其機其器學習算法“Zestimate”得出的房屋價值對房產進行報價評估。該公司當時的想法是翻修這些房產并快速出售進行周轉。但是Zillow公司的一位發言人表示，其算法的平均錯誤率為1.9%，而對于非市場住宅，錯誤率可能更高，高達6.9%。

據美國有線電視新聞網報道，自從2018年4月推出以來，Zillow公司采用Zillow Offers購買了27000套房屋，但一直到2021年9月底僅售出17000套。新冠疫情和房屋裝修勞動力短缺等黑天鵝事件導致了該算法在準確性方面出現了問題。

Zillow表示，該算法導致該公司以更高的價格購買房屋，導致該公司的資產到2021年第三季度減少了3億400萬美元。

在與投資者召開的電話會議上，Zillow公司聯合創始人兼首席執行官RichBarton表示可能會調整算法，但面臨的風險太大。

2.英國公共衛生部(PHE)因超出電子表格數據限制而丟失了數千例新冠病毒病例

2020年10月，負責統計COVID-19感染病例的英國公共衛生部(PHE)透露，在今年9月25日至10月2日期間，有將近16000例冠狀病毒病例沒有報告。其罪魁禍首是什么?其原因是Microsoft公司的辦公軟件Excel表格的數據限制。

英國公共衛生部(PHE)使用自動化流程將COVID-19陽性實驗室結果作為CSV文件傳輸到報告儀表板和聯系人跟蹤使用的Excel模板中。不幸的是，Excel電子表格每個工作表最多只能有1048576行和16384列。此外，其表格是按列而不是按行來列出案例。當案例超過16384列的限制時，Excel會刪除底部的15841條記錄。

雖然這一故障并沒有影響接受病毒檢測的民眾收到他們的檢測結果，但它確實阻礙了接觸者追蹤工作，使英國國家衛生服務系統(NHS)更難識別和通知與受感染患者有密切接觸的個人。英國公共衛生部(PHE)臨時首席執行官Michael Brodie在10月4日的一份聲明中表示已經迅速解決了這個問題，并將所有記錄立即轉移到NHS Test and Trace接觸者追蹤系統中。

英國公共衛生部(PHE)實施了一項“快速緩解措施”，可以拆分大型Excel文件，并對所有系統進行了全面的端到端審查，以防止將來發生類似事件。

3.美國的醫療保健算法無法標記黑人患者

2019年發表在《科學》雜志上的一項研究表明，美國各地的醫院和保險公司使用一種醫療保健預測算法來識別需要“高風險護理管理”計劃的患者，但該算法無法挑出黑人患者。

這個高風險護理管理計劃為慢性病患者提供訓練有素的護理人員和初級保健監測，以防止出現嚴重并發癥。但該算法更傾向于推薦白人患者參與這些項目。

這項研究的研究人員認為，可能有幾個因素造成了影響。首先，有色人種的收入可能較低，即使有保險，他們也不太可能獲得醫療服務。而隱性偏見也可能導致有色人種接受低質量的護理服務。

雖然這項研究沒有提到算法或開發商的名字，但研究人員表示，正在與開發人員合作解決這個問題。

4.數據集訓練微軟聊天機器人發布種族主義推文

2016年3月，微軟公司了解到，使用Twitter交互作為機器學習算法的訓練數據可能會產生令人沮喪的結果。

微軟公司在社交媒體平臺上推出了人工智能聊天機器人Tay。該公司將其描述為“對話式理解”的一個實驗。其想法是讓聊天機器人扮演一個十幾歲女孩的角色，并使用機器學習和自然語言處理相結合的方式通過Twitter與用戶互動。微軟公司采用匿名的公共數據預先編寫的材料植入聊天機器人的應用程序中，然后讓它從社交網絡上的互動中學習和發展。

在16小時內，這個聊天機器人發布了95000多條推文，這些推文迅速充斥了具有明顯的種族主義、厭女主義和反猶太主義的內容。微軟公司很快停止了這項服務進行調整，并最終取消了這項服務。

微軟公司研究與孵化公司副總裁Peter Lee在此次事件發生之后在微軟官方博客上的一篇文章中寫道，“我們對來自Tay的無意冒犯和傷害的推文深表歉意，這些推文并不代表我們的觀點，也不代表我們設計Tay的本意。”

Lee指出，微軟公司于2014年推出了Tay的前身小冰，在Tay發布前的兩年內，小冰已經成功與4000多萬人進行了對話。但微軟公司沒有考慮到的是，很多Twitter用戶會立即向Tay發布種族主義和厭惡女性的評論。該機器人很快從這些推文中學習并將其納入自己的推文中。

他寫道，“雖然我們已經為人工智能系統的多種類型的濫用做好了準備，但我們疏忽這一特定的攻擊。因此，Tay在推特上發布了極不恰當并且應受譴責的文字和圖片。”

5.亞馬遜人工智能招聘工具只推薦男性

像許多大公司一樣，亞馬遜公司渴望能夠幫助其人力資源部門篩選最佳應聘者的工具。2014年，亞馬遜公司希望開發基于人工智能的招聘軟件來做到這一點。但出現了一個問題：該系統傾向選擇男性應聘者。亞馬遜公司于2018年取消了該項目。

亞馬遜公司的這個人工智能招聘系統給應聘者的星級評分從1到5。但人工智能系統核心的機器學習模型是根據提交給亞馬遜公司的10年簡歷進行訓練的——其中大部分簡歷來自男性。由于這些訓練數據，招聘系統開始對簡歷中包含“女性”一詞的短語進行降分處理。

亞馬遜公司當時表示，該公司招聘人員從未使用該工具來評估應聘者。該公司試圖對該工具進行調整，試圖使其保持中立，但最終決定無法保證它不會學習其他歧視性的應聘者分類方法，最終取消了這個項目。

6.Target公司的分析項目侵犯隱私

2012年，零售巨頭Target公司的一個分析項目展示了可以從他們的數據中了解多少客戶。根據《紐約時報》的報道，2002年，Target公司的營銷部門想知道如何確定客戶是否懷孕。一個預測分析項目開展了一系列調查，該項目將導致零售商無意中向一個十幾歲女孩的家人透露她已經懷孕。而此次事件導致大量文章和營銷博客引用，并作為侵犯隱私的一個典型案例。

Target公司的營銷部門希望確定懷孕的人群，是因為人們在生命中的某些時期(懷孕是最重要的時期之一)最有可能從根本上改變他們的購買習慣。例如，如果Target公司能夠在這段時間內接觸到這些客戶，它可以讓這些客戶有更多新的行為，并讓他們轉向Target購買食品、服裝或其他商品。

與所有其他大型零售商一樣，Target公司一直在通過購物者代碼、信用卡、調查等方式收集客戶數據。它將這些數據與它購買的人口統計數據和第三方數據混合在一起。通過分析所有這些數據，Target公司的分析團隊可以確定其銷售的大約25種產品可以一起進行分析，從而得出“懷孕預測”分數。然后，營銷部門可以用優惠券和營銷信息篩選出得分較高的客戶。

其他研究表明，研究客戶的生育狀態可能會讓一些客戶感到毛骨悚然。根據《泰晤士報》報道，該公司并沒有放棄其有針對性的營銷活動，而是在他們知道孕婦不會購買的東西的廣告中混入一些廣告，其中包括剪草機廣告和尿布廣告，以使客戶認為其廣告組合是隨機的。