[[282346]]

什么是數(shù)據(jù)

數(shù)據(jù)是什么?這幾乎成為一個我們熟視無睹的問題。

有不少朋友腦子里可能會直接冒出一個詞“數(shù)字”——“數(shù)字就是數(shù)據(jù)”，我相信會有一些朋友會斬釘截鐵地這么告訴我。

一些朋友會在稍作思考后回答“數(shù)字和字符、字母，這些都是數(shù)據(jù)”。

不知道你現(xiàn)在是不是正在糾結(jié)哪個回答更正確，亦或第二個回答更合理一些，我們先放一放。先看下面這組例子：

這里有6個0，請問它是數(shù)據(jù)嗎?

我們再看這樣的例子：

這里有4個1和2個a，那么它是數(shù)據(jù)嗎?

也許你可能會搖搖頭，“這到底是啥意思?”不錯，這也就是我們在認(rèn)識數(shù)據(jù)的過程中存在的一個很要命的問題，幾乎在我們出發(fā)時就攔住了我們的去路。

我們回過頭再想想剛才的問題可能會得到比較令自己和他人信服的回答“承載了信息的東西”才是數(shù)據(jù)，換句話說，不管是石頭上刻的畫，或者小孩子在沙灘上歪歪扭扭寫出的字跡，或者是嬉皮士們在墻上的涂鴉，只要它表達一些確實的含義，那么這種符號就可以被認(rèn)為是數(shù)據(jù)。而沒有承載信息的符號，就不是數(shù)據(jù)。這個觀點似乎看上去要比我們前面的回答理性得多，也科學(xué)得多，但是這個觀點真的不需要補充了嗎?

我們假設(shè)這兩個例子都有一些比較特殊的場景，假設(shè)第一組里出現(xiàn)的6個0其實是時分秒的簡寫，000000表示00點00分00秒，而如果寫作112349則表示11點23分49秒的含義，那么它是不是也是數(shù)據(jù)呢?假設(shè)第二組出現(xiàn)的5個1和2個a其實是一組密碼，5個1代表一個被約定的地點，aa代表一種被約定的事件，那這組數(shù)字字母的意義也有了相應(yīng)的解讀，那么它是不是也是數(shù)據(jù)呢?

不難看出，一些符號如果想要被認(rèn)定為數(shù)據(jù)，那就必須承載一定的信息。而信息很可能是因場景而定，因解讀者的認(rèn)知而定，所以一些符號是不是可以被當(dāng)做數(shù)據(jù)，有相當(dāng)?shù)囊蛩厥侨Q于解讀者的主觀視角的。不知道這個觀點你是不是認(rèn)可，總之這點很重要。

什么是信息

說到這里，我的同事娟娟非常認(rèn)真且煞有介事地跟我說：“我覺得數(shù)字、字母、圖像，這些都是數(shù)據(jù)，跟信息不信息的沒啥關(guān)系。”看著她認(rèn)真地跟我抬杠，我覺得蠻好，至少在認(rèn)識數(shù)據(jù)過程中積極思考只有好處。

信息一詞，在沒有學(xué)術(shù)背景的情況下其實有著很多解釋，例如，廣播中的聲音、互聯(lián)網(wǎng)上的消息、通訊系統(tǒng)中傳輸和處理的語音對象、甚至是小區(qū)和校園的消息看板，也就是人類社會傳播的一切內(nèi)容。1948年，數(shù)學(xué)家香農(nóng)(Claude Elwood Shannon)在題為《通訊的數(shù)學(xué)理論》的論文中指出：“信息是用來消除隨機不定性的東西”。這句話如果要我們來舉個例子說明的話，大概可以想象這樣一個場景。

我說了兩句話：“我今年33歲。”“我明年34歲。”

那么第一句話如果是為了對不了解我的人介紹我的年齡的話而可以算作信息的話，第二句話則不是信息。至少你會覺得說了第一句以后，后面這句簡直就是廢話，因為這個從第一句話完全可以推導(dǎo)出來。

再比如，某一天巴西足球隊和中國足球隊進行了比賽。

• 結(jié)果第二天張三告訴我，“昨天巴西隊贏了。”
• 而后李四告訴我，“昨天中國隊輸了。”
• 再而后王五告訴我，“昨天的比賽不是平局。”

前提是只要他們都是說實話的人，那么對于我來說，也就只有張三告訴我的能算信息，李四和王五說的則不能算做信息。甚至連張三說的“昨天巴西隊贏了”這句話是否能夠被算作信息，我們都要表示懷疑，因為這也有點“廢話”的意味——但凡對足球運動有點認(rèn)識的人這幾乎可以認(rèn)定，即便你不告訴我昨天巴西隊贏了，我也能猜個八九不離十，因為可能性實在是太大太大了，大到幾乎是一定的，幾乎是毋庸置疑的。國足的粉絲們請放下手中的臭雞蛋和爛西紅柿，聽我把例子講完。

現(xiàn)在信息是什么清晰多了吧?我們可以粗忽地認(rèn)為，信息就是那些把我們不清楚的事情闡明的描述，而已經(jīng)明確或者知曉的東西讓我們再“知曉”一遍，這些被知會的內(nèi)容就不再是信息了。這個概念是很有用的，我們后面在講信息論的時候也會再做定量的說明，現(xiàn)在只做一個定性的了解。

數(shù)據(jù)和信息是我們在數(shù)據(jù)挖掘和機器學(xué)習(xí)領(lǐng)域天天要打交道的基礎(chǔ)，也是我們研究的主要對象。所以對數(shù)據(jù)和信息有個比較一致性的認(rèn)識對后面咱們討論問題是非常有好處的。

什么是算法

算法這個名稱大家應(yīng)該通常不陌生，如果你是一個信息相關(guān)專業(yè)的本科學(xué)生，至少在本科一年級或者二年級就接觸過不少算法了。隨便打開一個人力資源網(wǎng)站去搜搜看“算法工程師”，好的算法工程師的年薪也隨便就到三五十萬甚至上百萬的都有的。

算法是什么?算法可以被理解成為“計算的方法和技巧”，在計算機中的算法大多數(shù)指的就是一段或者幾段程序，告訴計算機用什么樣的邏輯和步驟來處理數(shù)據(jù)和計算，然后得到處理的結(jié)果。

科班出身的信息相關(guān)專業(yè)的朋友看到這里就會覺得比較親切了，經(jīng)典的算法有很多，比如“冒泡排序”算法，這幾乎是所有以高級語言為依托的《數(shù)據(jù)結(jié)構(gòu)》的入門必學(xué);再比如“八皇后問題”算法，這幾乎也是我們在講窮舉計算時的經(jīng)典保留算法案例(就是在國際象棋棋盤上放八個能夠橫豎斜無限制前進的皇后，讓它們之間互相還不能攻擊，看有多少種解);還有不少我們聽說過的算法，比如MD5算法，ZIP2壓縮算法等各種不勝枚舉的算法。下圖就是八皇后問題的一組解，我們經(jīng)過窮舉是可以求出所有92組解的。

應(yīng)該說算法是數(shù)據(jù)加工的靈魂。如果說數(shù)據(jù)和信息是原始的食材，數(shù)據(jù)分析的結(jié)論是菜肴，那么算法就是烹調(diào)過程;如果說數(shù)據(jù)是玉璞，數(shù)據(jù)中蘊含的知識是價值連城的美碧，那么算法就是玉石打磨和加工的機床和工藝流程。

算法在高級語言發(fā)展了很多年之后，更多的被封裝成了獨立的函數(shù)或者獨立的類，開放接口供人調(diào)用，然而算法封裝地再好卻是不能用純粹不假思索地使用就能獲益的東西，要知道，這些封裝只是在一定程度上避免了我們重復(fù)發(fā)明輪子而已。

大家不要以為算法全都是算法工程師的事情，跟普通的程序員或者分析人員無關(guān)，算法說到底是對處理邏輯理解的問題。

《孫子兵法·作戰(zhàn)篇》有云，“不盡知用兵之害者，則不能盡知用兵之利”，意思是說，不對用兵打仗的壞處與弊端進行充分了解的話同樣不可能對用兵打仗的好處有足夠的認(rèn)識。算法的應(yīng)用是一個辯證的過程，不僅在于不同算法間的比較和搭配使用有著辯證關(guān)系，在同一個算法中，不同的參數(shù)和閾值設(shè)置同樣會帶來大相徑庭的結(jié)果，甚至影響數(shù)據(jù)解讀的科學(xué)性。這一點請大家務(wù)必有所注意。

統(tǒng)計、概率和數(shù)據(jù)挖掘

統(tǒng)計、概率、數(shù)據(jù)挖掘，這幾個詞經(jīng)常伴隨出現(xiàn)，尤其是統(tǒng)計和概率兩個概念，幾乎就像自然界的伴生礦一樣分不了家，有很多出版社都出版過叫做《概率統(tǒng)計》的書籍。

我們這本書本身也不準(zhǔn)備從學(xué)術(shù)的角度給統(tǒng)計和概率做嚴(yán)格的區(qū)分，在平時工作中我們用的統(tǒng)計大多為計數(shù)功能，例如我們在使用EXCEL中也會用到COUNT、SUM、AVERAGE等這些統(tǒng)計函數(shù);如果是在軟件開發(fā)的朋友在用SQL語言對數(shù)據(jù)庫的某些字段進行計數(shù)(count)、求和(sum)、求平均(avg)等函數(shù)。而概率的應(yīng)用大多則是根據(jù)樣本的數(shù)量以及占比得到“可能性”和“分布比例”等描述數(shù)值。當(dāng)然，概率的用法遠其實不止這些，在數(shù)據(jù)挖掘中同樣用到大量概率相關(guān)的算法。

數(shù)據(jù)挖掘這個詞很多時候是和機器學(xué)習(xí)一起出現(xiàn)，現(xiàn)在網(wǎng)上眾人對這兩個詞的關(guān)系說法也是莫衷一是。有的說數(shù)據(jù)挖掘包含機器學(xué)習(xí)，有的說機器學(xué)習(xí)是數(shù)據(jù)挖掘發(fā)展的更高階段云云。在我看來，數(shù)據(jù)挖掘和機器學(xué)習(xí)這樣的詞匯命名應(yīng)該是信息科學(xué)自然進化和衍生出來的，帶有一定的約定俗成的色彩，人們的看法見仁見智也在情理之中。

我的觀點是這樣。

首先我認(rèn)為沒有必要一定要給兩個詞匯劃一個界限，或者一定要把他們做嚴(yán)格的概念區(qū)分，因為區(qū)分的標(biāo)準(zhǔn)到目前本就沒有科學(xué)而無爭議的界定，況且是不是能分清一個算法屬于數(shù)據(jù)挖掘的范疇還是機器學(xué)習(xí)的范疇對于算法本身使用是沒有任何影響的。這兩個詞大家如果想聽解釋的話，不妨只從字面意思去理解就已經(jīng)足夠了。

數(shù)據(jù)挖掘——首先是有一定量的數(shù)據(jù)作為研究對象，挖掘——顧名思義，說明有一些東西并不是放在表面上一眼就能看明白，要進行深度的研究、對比、甄別等工作，最終從中找到規(guī)律或知識，“挖掘”這個詞用的很形象。

機器學(xué)習(xí)——我們先想想人類學(xué)習(xí)的目的是什么?是掌握知識，掌握能力，掌握技巧，最終能夠進行比較復(fù)雜或者高要求的工作。那么類比一下機器，我們讓機器學(xué)習(xí)，不管學(xué)習(xí)什么，最終目的都是讓它獨立或至少半獨立地進行相對復(fù)雜或者高要求的工作。我們在這里提到的機器學(xué)習(xí)更多是讓機器幫助人類做一些大規(guī)模的數(shù)據(jù)識別、分揀、規(guī)律總結(jié)等人類做起來比較花時間的事情。但是請注意，與數(shù)據(jù)挖掘一起出現(xiàn)的這個機器學(xué)習(xí)概念和我們說的“人工智能”還是相差甚遠，因為這里面對“智能”的考究程度實在是太低了。

什么是商業(yè)智能

另一個和大數(shù)據(jù)一起經(jīng)常出現(xiàn)的詞匯是商業(yè)智能，也就是我們平時簡稱的BI(Business Intelligence)。

商業(yè)智能——業(yè)界比較公認(rèn)的說法是在1996年最早由加特納集團(Gartner Group)提出的一個商業(yè)概念，通過應(yīng)用基于事實的支持系統(tǒng)來輔助商業(yè)決策的制定。商業(yè)智能技術(shù)提供使企業(yè)迅速分析數(shù)據(jù)的技術(shù)和方法，包括收集、管理和分析數(shù)據(jù)，將這些數(shù)據(jù)轉(zhuǎn)化為有用的信息。如果這個書本式的概念讀起來還是比較費解，那么就聽一個形象的比喻。

公司在日常運營過程中是需要做很多決策的，無時無刻都存在于公司的各個方面，而決策最終不管是股東大會討論也好還是企業(yè)領(lǐng)導(dǎo)部門領(lǐng)導(dǎo)直接發(fā)布行政命令也好，最終可能是由于很多因素共同影響做出的結(jié)果，無論其來自主觀還是客觀。

這些決策可以如何得出呢?可以領(lǐng)導(dǎo)直接憑經(jīng)驗決定;可以群策群力開會決定;可以問訊很多行業(yè)專家;甚至可以找個算卦先生來占卜……從概念來說都是屬于輔助決策。而顯然，我們都期望不論最終是如何做出的這些決策和命令，它們都應(yīng)該是更為理性、科學(xué)、正確的。但是如何幫助他們做出更為理性、科學(xué)、正確的決策呢?商業(yè)智能整體也就是研究這樣一個課題，到目前為止，業(yè)界普遍比較認(rèn)可的方式就是基于大量的數(shù)據(jù)所做的規(guī)律性分析。因而，市面上成熟的商業(yè)智能軟件大多都是基于數(shù)據(jù)倉庫做數(shù)據(jù)建模和分析，以及數(shù)據(jù)挖掘和報表的。

可以說，商業(yè)智能是一個具體的大的應(yīng)用領(lǐng)域，也是數(shù)據(jù)挖掘和機器學(xué)習(xí)應(yīng)用的一個天然親密的場景。而且商業(yè)智能這個解決問題的理念其實不僅僅可以應(yīng)用于商業(yè)，還可以應(yīng)用于國防軍事、交通優(yōu)化、環(huán)境治理、輿情分析、氣象預(yù)測等等。