[[98958]]

Michael Wu(博士) —— Lithium首席科學分析師，為Lithium提供社交網(wǎng)絡(luò)數(shù)據(jù)復雜性探索和理解的方法。

數(shù)據(jù)的價值等同于從中挖掘到的信息和見解;并根據(jù)它們做出正確的決策，從而獲得一定的競爭優(yōu)勢。而我們對于大數(shù)據(jù)的期望也是收集足夠多的信息并獲得有價值的見解。然而人們還沒有意識到數(shù)據(jù)和信息的不同 —— 你從海量數(shù)據(jù)中提取到的信息并不一定都有意義和價值。

數(shù)據(jù)不等于信息

許多人口中的數(shù)據(jù)和信息都是等價的，然而兩者之間卻有著很微妙的區(qū)別。數(shù)據(jù)只是事情發(fā)生的簡單記錄，它只是記錄了事情發(fā)生的時間、地點以及涉及人物的原始數(shù)據(jù)。是的，數(shù)據(jù)中確實包含著大量的信息。

這也正是對大數(shù)據(jù)理解的謬誤所在：大數(shù)據(jù)雖然給你帶來了大量的信息，但是數(shù)據(jù)的增長卻沒有帶來成比例的信息增長。實際的情況就是：收集的數(shù)據(jù)越多，從中提取到的信息比例越低。這就意味著隨著數(shù)據(jù)體積激增，你從中提取到信息比例會逐漸的縮減。雖然聽起來很不可思議，但是事實就是這樣的。下面來看一些例子：

例1：數(shù)據(jù)的備份和復制。如果你認真查看你的電腦，你會發(fā)現(xiàn)：這些年的使用，你創(chuàng)建了成千上萬的文件。不論它們是如何產(chǎn)生的(拍的照片、寫的博客或者是發(fā)送的電子郵件)，其中必然包含著一定數(shù)量的信息。這些文件儲存在你的硬盤中，并占用一定的空間。

事情發(fā)生了：不出意外，你一定會定期的給數(shù)據(jù)做備份。這里我們可以想象一下在第一次給硬盤做備份中花掉的時間。單純針對數(shù)據(jù)的本身而言，你已經(jīng)擁有雙倍量的數(shù)據(jù)了。如果你備份之前擁有50GB數(shù)據(jù)，那么備份以后你則擁有了100GB。然而經(jīng)過了備份，你就可以獲得雙倍的信息量了?結(jié)果是否定的。事實上完成這個操作以后你沒有額外的獲得任何信息，因為備份中的文件和初始磁盤上的文件包含的信息是完全相同的。

盡管我們的私人數(shù)據(jù)和大數(shù)據(jù)不搭邊，但是這個例子卻闡明了數(shù)據(jù)和信息之間微妙的差別。下面我們來看一下涉及到更大體積數(shù)據(jù)的例子。

例2：機場視頻監(jiān)視記錄。首先，視頻文件已經(jīng)是相當之大了;其次，機場使用的是24/7閉路式監(jiān)測系統(tǒng)，而HD設(shè)備會進一步增加數(shù)據(jù)的體積;最終，機場可能擁有成千上萬的攝像頭。如你所見，這些檢測攝像頭記創(chuàng)建的視頻記錄可以輕松的獲得“大數(shù)據(jù)”的資格。

不妨設(shè)想一下如果我們把攝像頭的數(shù)量提升兩倍會發(fā)生什么 —— 雙倍體積的數(shù)據(jù)。然而很顯然你可能還是得不到雙倍的信息。有許多的監(jiān)視設(shè)備拍到的東西都是重復的，可能會有一些微小的區(qū)別 —— 不同的地區(qū)在些許不同的時間內(nèi)會拍到完全不同的畫面。在信息量這個方面，我們可能永遠都得不到2倍。而且隨著監(jiān)視設(shè)備的增加，信息重疊的可能性也會隨之增高。這就是為什么隨著數(shù)據(jù)的增加，信息的收益卻在減少 —— 其中的冗余越來越多。

用不等式表達就是：信息 ≤ 數(shù)據(jù)。所以信息不應該是數(shù)據(jù)，而是沒有冗余的數(shù)據(jù)。這也是為什么給數(shù)據(jù)備份卻無法增加信息量的原因，因為拷貝是冗余的。

例3：社交渠道的更新。那么社交中的大數(shù)據(jù)又是什么情況呢，比如：Twitter。對比平時我們不妨多推特一倍的內(nèi)容，那么Twitter肯定會獲得兩倍的數(shù)據(jù)。但是Twitter有獲得兩倍的信息嗎?很顯然沒有，決定信息量的是你推特的內(nèi)容而不是次數(shù)。當然如果我們推特的內(nèi)容是完全無冗余的，那么Twitter毫無疑問的將獲得雙倍的信息。但是這永遠都不可能發(fā)生!我們來看一下其中的原因：

首先，我們會相互轉(zhuǎn)發(fā)。因此在互相的轉(zhuǎn)發(fā)中，會產(chǎn)生很多冗余;即使我們拒絕轉(zhuǎn)發(fā)，而在同一時間發(fā)布同樣內(nèi)容的幾率也是很高的，因為使用Twitter的人太多了。雖然每個推特使用的措辭可能會完全不同，但是包含相同網(wǎng)絡(luò)內(nèi)容的不同推特所(可能是條博客、很酷的電影或者爆炸性新聞)所造成的冗余是非常高的。此外，一段時間內(nèi)我們很可能對同類的新聞感興趣。因為我們推特的內(nèi)容更趨向于我們的品味和興趣，所以同一個人推特不同的內(nèi)容都會存在一些冗余。

所以很清楚的看到：即使對比平時我們多推特了一倍的內(nèi)容，卻因為中間存在著相當多的冗余導致Twitter不會獲得雙倍的信息。此外我們還會通過不同的渠道獲得相同的內(nèi)容，但是因為僅僅是拷貝我們不會多獲得任何信息。

所以盡管數(shù)據(jù)會帶來信息，但是數(shù)據(jù)不等于信息。信息只是數(shù)據(jù)中不重復的部分。這樣的話，我們從數(shù)據(jù)中提取到信息只占數(shù)據(jù)總量的一小部分。

所以雖然理論上信息是小于等于數(shù)據(jù)的，但是現(xiàn)實中往往是信心遠小于數(shù)據(jù)。因此大數(shù)據(jù)可以捕捉大量信息的想無疑是天真和不切實際的，大數(shù)據(jù)的價值完全被夸大了。  

 #p# 

信息不等于見解

盡管我們從大數(shù)據(jù)中提取的信息量有可能被高估了，但是從大數(shù)據(jù)中獲得的見解仍然是極其寶貴的。那么信息和見解兩者又有著是什么樣的關(guān)系呢?所有的見解都源于信息，但是不代表所有的信息都可以提供見解。對于能給出有價值見解的信息，我們有3個標準：

首先，可解釋的。因為大數(shù)據(jù)包含如此多的非結(jié)構(gòu)化數(shù)據(jù)和不同的媒體類型數(shù)據(jù),導致其中大量的數(shù)據(jù)和信息都不可解釋。

舉個例子：123，243，187，89,157這組數(shù)據(jù)，它們能代表什么?它可能是你在TechCruncn上讀過前五篇文章的like數(shù)目，也可能是一個黑白圖像上5個像素點的亮度。沒有更多的信息和元數(shù)據(jù)，是無法解釋這樣的數(shù)據(jù)的。因此不能解釋的數(shù)據(jù)和信息是不會給你提供任何見解的 —— 見解只存在于提取出信息中的可解釋部分。

其次，關(guān)聯(lián)性。必須是和用途與價值緊密相關(guān)的信息。相關(guān)的信息通常被看作是信號，而不相關(guān)的則被作為噪音。然而關(guān)聯(lián)性有著相當?shù)闹饔^成分，對一個人很重要的信息可能完全和另一個人無關(guān)。這也是Edward Ng(一個著名的數(shù)學家)說過的：“一個人的的信號恰好是另一個人的噪音。”

此外，關(guān)聯(lián)還不僅是主觀的;同樣是前后聯(lián)系的。關(guān)聯(lián)還可能是人從一個環(huán)境中換到了另一個。打個比方：如果我下星期將要去NYC的話，那么NYC的交通將會關(guān)聯(lián)到我。但是當我回到SF，那么同樣的信息將會和我有關(guān)聯(lián)。因此見解又是關(guān)聯(lián)信息中一個非常小的子集，這里別忘記相關(guān)信息已經(jīng)是可解釋信息中非常小的一個子集。

最后，得是“新出爐”的。必須是有遠見的信息。這就意味著它必須提供一些你以前不曾擁有的新知識。

顯然這個標準也是主觀的。因為一個人知道的東西另一個人不一定也知道，而新鮮也是因人而異的。這種主觀性中有一部分繼承于關(guān)聯(lián)的主觀性。如果有些信息和你是關(guān)聯(lián)的，而且之前又并不知道;那么當你去學習的時候，它將是新的。假如這個信息和你沒有關(guān)系的話，那么再新奇你也不可能想去了解它。這樣的話這些信息對你來說就是毫無價值的。

然而這個見解一旦被你獲知，那么當下次你獲得的時候就不會再覺得那么新奇和深刻。因此隨著我們不斷的從大數(shù)據(jù)中捕獲知識，新的見解就越來越難以發(fā)現(xiàn)。那么見解這個關(guān)聯(lián)信息中的子集又將繼續(xù)縮減。

在見解這個子集層層的縮減后，就會發(fā)現(xiàn)大數(shù)據(jù)的價值被徹底的夸大了。當然這里不是說大數(shù)據(jù)是沒有價值的，只是說它的價值被夸大了，因為發(fā)現(xiàn)有價值見解的可能性非常小。

這樣來看大數(shù)據(jù)可能會讓人失望，但是這同樣是我們需要大數(shù)據(jù)的理由!因為從數(shù)據(jù)中獲得的見解越來越少，所以我們必須收集越來越多的數(shù)據(jù)讓我們擁有更多的機會獲得見解。雖然更多的數(shù)據(jù)也不能保證一定會揭露許多有價值的見解，但是增加數(shù)據(jù)量無疑會增加我們獲得見解的機會。