大數(shù)據(jù)技術(shù)存在局限 直覺(jué)不可或缺
導(dǎo)語(yǔ):《紐約時(shí)報(bào)》印刷版30日出版文章稱(chēng),大數(shù)據(jù)將成為人類(lèi)商業(yè)歷史上新的篇章,有望取代想法、范例、組織以及人們思考世界的方式。但與此同時(shí),經(jīng)驗(yàn)和直覺(jué)同樣不可或缺。
以下為文章內(nèi)容摘要:

“大數(shù)據(jù)重要,直覺(jué)也不可或缺。”這是本月早些時(shí)候在麻省理工學(xué)院召開(kāi)的一次業(yè)界會(huì)議的主題。
麻省理工學(xué)院數(shù)字商業(yè)中心***科學(xué)家Andrew McAfee稱(chēng),大數(shù)據(jù)將成為人類(lèi)商業(yè)歷史上新的篇章。該中心另一名教授Erik Brynjolfsson稱(chēng),大數(shù)據(jù)將取代想法、范例、組織以及人們思考世界的方式。
這些前衛(wèi)的預(yù)測(cè)的前提是:Web瀏覽記錄、傳感器信號(hào)、GPS跟蹤和社交網(wǎng)絡(luò)信息等數(shù)據(jù)能夠以***的程度面向衡量和監(jiān)控人類(lèi)及設(shè)備的行為敞開(kāi)大門(mén)。通過(guò)計(jì)算機(jī)算法,可以預(yù)測(cè)出人類(lèi)的許多事情,如購(gòu)物、約會(huì)或投票等。
業(yè)內(nèi)專(zhuān)家預(yù)計(jì),最終的結(jié)果就是:世界變得越來(lái)越智能,企業(yè)的工作效率越來(lái)越高,消費(fèi)者獲得的服務(wù)質(zhì)量越來(lái)越高,人們所做出的決定也越來(lái)越合理。
我之前寫(xiě)過(guò)不少關(guān)于大數(shù)據(jù)的文章,但在2012年底這個(gè)特殊的時(shí)刻,我想應(yīng)該是反思、提問(wèn)和質(zhì)疑大數(shù)據(jù)的時(shí)刻。
從商業(yè)評(píng)估中挖掘?qū)嵱脝⑹静⒎切迈r事物。100多年前,F(xiàn)rederick Winslow Taylor的名著《科學(xué)管理原理》就是大數(shù)據(jù)的前身。Taylor的評(píng)估工具是秒表,為員工的每一個(gè)行動(dòng)進(jìn)行定時(shí)和監(jiān)測(cè)。Taylor及其助手利用這種“時(shí)間和動(dòng)作”研究模式來(lái)重新設(shè)計(jì)最有效的工作方式。
但如果這種方法被過(guò)度夸大,就成為了卓別林《摩登時(shí)代》(Modern Times)所諷刺的對(duì)象。此后,人們對(duì)于這種量化方法的熱情也開(kāi)始跌宕起伏。
通常,互聯(lián)網(wǎng)被大數(shù)據(jù)倡導(dǎo)者作為成功的數(shù)據(jù)業(yè)務(wù)的范例,這其中以谷歌為代表。而如今,許多大數(shù)據(jù)技術(shù),如數(shù)學(xué)模型、預(yù)測(cè)算法和人工智能軟件等已被華爾街所廣泛應(yīng)用。
在本月的麻省理工學(xué)院大會(huì)上,當(dāng)被問(wèn)及大數(shù)據(jù)領(lǐng)域一些重大失敗案例時(shí),幾乎沒(méi)有人能夠說(shuō)出這樣的失敗案例。后來(lái),麻省理工學(xué)院斯隆管理學(xué)院(Sloan School of Management)教授Roberto Rigobon稱(chēng),金融危機(jī)毫無(wú)疑問(wèn)影響了數(shù)據(jù)業(yè)務(wù)。他說(shuō):“對(duì)沖基金在全球都是失敗的。”
問(wèn)題是,數(shù)學(xué)模型是一種簡(jiǎn)化。這種模型源自自然科學(xué),根據(jù)物理定律,流體中的粒子行為是可以預(yù)測(cè)的。
如此眾多的大數(shù)據(jù)應(yīng)用中,一個(gè)數(shù)學(xué)模型通常附帶關(guān)于人類(lèi)行為、興趣和偏好的精確數(shù)據(jù)。這種方法在金融等領(lǐng)域的危險(xiǎn)性也是有目共睹,美國(guó)哥倫亞亞大學(xué)金融工程學(xué)系主任Emanuel Derman在他的書(shū)中《Models. Behaving. Badly》中就詳細(xì)闡述了其危險(xiǎn)性。
紐約創(chuàng)業(yè)公司Media6Degrees***科學(xué)家Claudia Perlich稱(chēng):“你可以用數(shù)據(jù)來(lái)欺騙自己,我擔(dān)心大數(shù)據(jù)出現(xiàn)泡沫。”Perlich擔(dān)心許多人將自己稱(chēng)為“數(shù)據(jù)科學(xué)家”,但并未做足功課,反而給該領(lǐng)域抹黑。
Perlich認(rèn)為,大數(shù)據(jù)似乎將面臨勞動(dòng)力瓶頸。她說(shuō):“我們的技能提升速度還遠(yuǎn)不夠。”麥肯錫全球?qū)W會(huì)(McKinsey Global Institute)去年發(fā)布的一份報(bào)告顯示,美國(guó)需要14萬(wàn)名至19萬(wàn)名具有“深度分析”經(jīng)驗(yàn)的工作者,以及150萬(wàn)名更加精通數(shù)據(jù)的經(jīng)理人,無(wú)論是已退休人士還是已受聘人士。
哈佛商學(xué)研客座教授Thomas H. Davenport正在寫(xiě)一本名為《Keeping Up With the Quants》的新書(shū),旨在幫助經(jīng)理人來(lái)應(yīng)對(duì)大數(shù)據(jù)挑戰(zhàn)。達(dá)文波特認(rèn)為,管理大數(shù)據(jù)項(xiàng)目的一個(gè)重要部分是要問(wèn)正確的問(wèn)題:如何定義問(wèn)題?你需要哪些數(shù)據(jù)?來(lái)自哪里?等等。
Google Research高級(jí)統(tǒng)計(jì)師Rachel Schutt稱(chēng),如果建模人員能夠思考倫理維度(ethical dimensions)等問(wèn)題,那就會(huì)更好地服務(wù)于社會(huì)。Schutt說(shuō):“模型不僅僅是預(yù)測(cè),它們還可以讓事情真正發(fā)生。”
模型能夠創(chuàng)建數(shù)據(jù)科學(xué)家所謂的“行為循環(huán)”(behavioral loop),如果一個(gè)人被提供足夠的數(shù)據(jù),都能對(duì)自己的行為進(jìn)行指導(dǎo)。
以Facebook為例,將個(gè)人數(shù)據(jù)上傳到自己的Facebook頁(yè)面,F(xiàn)acebook的軟件就會(huì)跟蹤你的點(diǎn)擊和搜索。通過(guò)算法來(lái)評(píng)估這些數(shù)據(jù),然后再提供好友的建議。
但這種通過(guò)軟件跟蹤用戶的行為卻引發(fā)了隱私擔(dān)憂,難道大數(shù)據(jù)將迎來(lái)數(shù)字監(jiān)控的到來(lái)?
我個(gè)人***的擔(dān)憂是,當(dāng)前確定我們個(gè)人數(shù)字世界的算法過(guò)于簡(jiǎn)單,不夠智能。這也是Eli Pariser所著《The Filter Bubble: What the Internet Is Hiding From You》所探討的問(wèn)題之一。
令人鼓舞的是,像Perlich和Schutt這些有思想的數(shù)據(jù)科學(xué)家意識(shí)到了大數(shù)據(jù)技術(shù)的局限和不足。他們認(rèn)為,聽(tīng)取數(shù)據(jù)是重要的,但經(jīng)驗(yàn)和直覺(jué)同樣重要。
在麻省理工學(xué)院大會(huì)上,查特被問(wèn)及如何才能成為一名優(yōu)秀的數(shù)據(jù)科學(xué)家,她說(shuō),需要計(jì)算機(jī)科學(xué)和數(shù)學(xué)技能,擁有好奇心,具有創(chuàng)新意識(shí),以數(shù)據(jù)和經(jīng)驗(yàn)為行動(dòng)準(zhǔn)則。她說(shuō):“我不會(huì)把機(jī)器神化。”