今天準備寫一篇文章來談大數據，人工智能和事物認知問題解決之間的關系邏輯。因此這篇文章不會談底層的實現技術，而更多的會談在整個信息技術革命下思維邏輯的發展演進過程，并對相互之間的關系做進一步思考。

[[384048]]

大數據概念和其發展

大數據這個概念在5，6年相當火，而最近幾年整體熱度下降得很明顯，類似的又出現了數據湖，數據中臺這些概念。但是數據中臺和數據湖，卻很難體現出大數據的一些關鍵特征。

比如我們談大數據核心，一般都會談到其4V特征。

• 數據量足夠大，PB級別以上
• 數據類型多樣化，結構化，非結構化
• 時效性要求高
• 價值創造，大數據最終實現價值

前面幾年大數據應用更多的是在做數據采集，集成，存儲方面的事情，但是對數據本身的應用和分析卻很少。大數據應用和分析做得好的可以看到重要是在電商行業，或者類似電信，金融等直接面對客戶的大集團行業，應用的點也更多在針對性營銷，推薦引擎，客戶畫像等方面。也就是說理想的應用場景很多，但是大量落地場景并不多。

很多企業建大數據平臺，投入大量資源，時間和成本，雖然完成了統一的數據采集和存儲，但是數據本身產生的價值并沒有體現出來。

類似當前數據中臺，實際也在談一點，大數據平臺不能是只做OLAP分析，做分析決策，更多的要考慮數據能力實時開放，反哺業務，為業務服務。

當你構建了大數據平臺后，你會看到后續的數據運維，數據管控治理，數據分析均需要持續大量的人員投入，如果數據本身無法產生價值，那么平臺最終被荒廢掉也是合理之選。

大數據和傳統BI

對于大部分企業來說，企業信息化發展本身也有一個過程。

其前期的數據分析更多的還是圍繞結構化數據展開，這些數據采集集中后上PB級并不容易，同時也全部是結構化數據，這個時候傳統的BI系統構建思路仍然適用，唯一的就是數據量大后你可能需要轉到類似MPP分布式的數據分析庫上來解決性能問題。

如果你完全采用類似Hadoop來構建大數據技術平臺來解決上面這些問題，那么實際上完全沒有必要，你會發現會引入更多的技術復雜度和業務建模復雜度。

為什么這樣講?

對于傳統BI分析里面的維度分析，上鉆下鉆，切片等基于維度建模型形成的分析能力，在Hadoop存儲和處理中并不合適。Hadoop在數據存儲擴展，分析SQL運行效率上有明顯提升，但是很多BI里面并不需要實時查詢或即席查詢能力。

也就是說企業如果沒有這種數據實時分析結果反哺業務的需求，那么你更加沒有必要馬上去搭建這種大數據平臺來解決你的問題。

相關性和因果關系

早期，《大數據時代》這本書可以說相當的活，作者在書中提出的“大數據三原則”：要全體不要抽樣，要效率不要絕對精確，要相關不要因果。再次提到了大數據更加關注數據之間的相關性而非因果邏輯。

也就是大家熟知的啤酒和尿片的故事。

這個故事產生于20世紀90年代的美國沃爾瑪超市中，沃爾瑪的超市管理人員分析銷售數據時發現了一個令人難于理解的現象：在某些特定的情況下，“啤酒”與“尿布”兩件看上去毫無關系的商品會經常出現在同一個購物籃中，這種獨特的銷售現象引起了管理人員的注意，經過后續調查發現，這種現象出現在年輕的父親身上。

如果這個年輕的父親在賣場只能買到兩件商品之一，則他很有可能會放棄購物而到另一家商店，直到可以一次同時買到啤酒與尿布為止。沃爾瑪發現了這一獨特的現象，開始在賣場嘗試將啤酒與尿布擺放在相同的區域，讓年輕的父親可以同時找到這兩件商品，并很快地完成購物;而沃爾瑪超市也可以讓這些客戶一次購買兩件商品、而不是一件，從而獲得了很好的商品銷售收入，這就是“啤酒與尿布” 故事的由來。

認知邏輯-從機械思維到信息論

當今天重新回顧這個案例的時候，實際本身就是我們認知世界的方式在發生大的變化。

我們傳統思考方式就是機械思維，其中牛頓之一個很大的貢獻值，簡單來說就是自然界發生的各自現象事件，一定有其內在的規律和原因，同時這個原因我們可以用抽象的公式或模型來進行表達。

那么當我們遇到同樣的現象的時候，就可以用公式去解題。

但是機械思維發展中出現兩個問題，即有些時候我們沒有辦法做到精確建模，這本身又有兩個原因，其一是對目標Y造成影響的X因子太多，無法窮舉和認知全;其二是我們的測量系統出現問題，簡單來說采集不全和測量不準。這些都對我們的確定性思維造成挑戰。

解決該問題本身又有兩種思路：

• 其一是概率和統計
• 其二是對信息不確定性的量化表達-信息論和信息熵(香農)

而信息論則完全相反，建立在不確定性(假設)基礎上，要消息不確定性就必須引入信息。于是我們的思維邏輯發生了進一步變化，即從機械思維到大數據思維的轉變。

復雜時間很難找到確定性和因果關系-》因此用不確定性眼光看待世界-》把智能問題轉化為消除不確定性的問題-》找到消除相應不確定性的信息(或者說大量具有相關性的數據可以幫助我們消除這種不確定性)。

例如上面大數據的例子。

我們通過數據的相關分析，找到了啤酒與尿布搭配售賣的方法，但是我們并不清楚為何年輕父親會在購買尿片的時候順帶幾瓶啤酒。

在大數據時代，我們會產生一個錯覺，因果關系不再重要，重要的是大數據相關性分析。我們還是回到上面的例子來假設下可能的因果關系。

比如最多的調查結果可能是年輕父親購買尿片后，小孩換了新尿片可以快速地入睡，年輕父親這個時候才能夠有空閑時間進行消遣，能夠產生空閑時間消遣才是推動啤酒購買的關鍵原因。

當你了解清楚因果關系后，你會發現年輕的父親消遣的方式不只是喝啤酒，在家里看電影或球賽，打游戲，抽煙都可能是潛在的消遣方式。實際上你把香煙，口香糖，游戲卡等和尿布放在一起也能夠達到同樣的暢銷結果。

簡單總結一句重要的話就是：

一件事情你只是理解相關性那么只能是迎合或跟隨，而只有理解了相關性后面的因果關系你才可能破局或引領變革。

人工智能和大數據

人工智能，簡單來說就是計算機要模擬人的大腦來思考和解決問題。

可以看下百度百科對人工智能的一些說明

人工智能是研究使計算機來模擬人的某些思維過程和智能行為(如學習、推理、思考、規劃等)的學科，主要包括計算機實現智能的原理、制造類似于人腦智能的計算機，使計算機能實現更高層次的應用。

人工智能涉及到計算機科學、心理學、哲學和語言學等學科。可以說幾乎是自然科學和社會科學的所有學科，其范圍已遠遠超出了計算機科學的范疇，人工智能與思維科學的關系是實踐和理論的關系，人工智能是處于思維科學的技術應用層次，是它的一個應用分支。

從思維觀點看，人工智能不僅限于邏輯思維，要考慮形象思維、靈感思維才能促進人工智能的突破性的發展，數學常被認為是多種學科的基礎科學，數學也進入語言、思維領域，人工智能學科也必須借用數學工具，數學不僅在標準邏輯、模糊數學等范圍發揮作用，數學進入人工智能學科，它們將互相促進而更快地發展。

計算機具備了人的智能能力。那么人的智能能力包括了識別，定義，歸納，抽象，推理，決策等多個方面的能力。

前面已經講到了思考解決問題的一種方式：

即問題輸入-》已有的算法模型-》問題解決

在很早以前的人工智能研究里面，更多的就是想著去模仿人腦思考和推理的過程。通過提供不同的輸入方式讓計算機進行學習，產生一個算法模型。然后對于新問題可以用模型去解決。類似人工神經網絡，遺傳算法等都是這個思路。但是當你提供的輸入不足夠多的時候，這個模型很難快速地收斂，也很難得出一個精確化的確定模型。

在大數據出現后，形成了計算機解決問題的新思路。

深度學習+大數據 = 人工智能

即從傳統學習和建模推理思路轉移到基于統計學的思路，這個李開復確實在里面做出了不小的貢獻。其次就是在統計學基礎上引入了深度學習的概念，而深度學習又依賴于海量大數據作為樣本輸入。

在李開復的《人工智能》一本書里面就談到深度學習+大數據引領了第三次AI浪潮。簡單來說就是你不需要去搞清楚人工神經網絡這個精確模型是如何形成的?你只需要通過大量的樣本輸入去訓練這個模型，最終得到你需要的輸出。

簡單來說一個計算機能夠識別一只動物圖片是貓，并不是計算機能夠精確地描述出來貓應該具備的體型特征，而是圖片中的動物的特征矩陣和數據庫里面的動物貓最匹配而已。

對于谷歌的阿拉法狗戰勝李世石在17年也引起了轟動，再次展示了深度學習算法和人工智能的威力。對于人工智能來講，計算機本身的CPU并行計算能力遠超人腦，主要有了合適的深度學習方法，計算機程序所發揮出來的人工智能威力巨大。

也就是說在大數據時代推動了人工智能的快速發展。

什么才是真正的智能?

當我們做IT系統或應用的時候，必須要搞清楚什么才是真正的智能或智慧。

計算機在解決問題的時候，實際上最簡單的就是類似公式計算或求解，這個可以發揮計算機的強大算力，完勝人類。

其次就是基于固有場景下制定規則的模式匹配。

我們可以舉一個智慧家庭里面的例子來作為參考。

當進門監控到是男主人回來的時候，自動將空調溫度設置到24度并打開窗簾。當監控到是女主人回來的時候，將空調設置到26度，并關閉窗簾。

這個就是典型的基于場景的規則設置并執行操作。

這種情況下計算機的能力是在類似人臉識別，語音識別方面，而不是在最終的決策執行上面。因為決策完全是基于預設的規則執行。

而真正的人工智能應該是基于大量的數據采集和分析，自己形成了規則，并且后續基于規則進行執行相關操作。并不斷基于新數據的輸入不斷地調整和優化自己的規則。

類似完全意義上的自動駕駛，就是典型的人工智能要攻克的場景，也就是說非固有模式，非提前給定規則下快速的解決問題并做出判斷。

要做到這點，你必須有大量的數據采集并進行快速的分析。沒有大數據底層技術，海量大數據的輸入，是無法做到智能的。包括前面的AlphGo，如果沒有大量的歷史棋譜的輸入和訓練，電腦也是無法戰勝人類的。

電腦基于算力，采用統計學的思路找到了機器智能化的新途徑。

但是正如我前面談到的，如果電腦并沒有理解清楚因果關系，那么電腦就只能處于跟隨狀態而非引領狀態。類似圍棋也是一個道理，如果我們修改了圍棋的一些規則，同時不給AlphGo新的輸入訓練，那么電腦同樣變成白癡。

人為何能夠戰勝電腦，里面有一個重點就是不要放棄對因果和本源的探索。

信息化->數字化->智能化

在談數字化轉型的時候，實際上一直在談三個關鍵點：

• 連接：萬物互聯，解決人和人，人和物，物和物的連接問題
• 數據：連接后產生集成和協同，協同過程自然會產生數據
• 智能：數據經過加工和提煉，形成智能化分析應用

對于連接你可以看到首先是解決了最基本的業務協同問題。但是連接更加重要的作用是產生和沉淀數據。

傳統的連接更多的都是通過人來完成，通過人手工錄入電子表單等數據來完成。而在數字化階段必須解決連接的多樣性問題，數據產生多樣性問題，類似采用各種物聯網傳感設備，你會看到可以持續不斷，自動化的產生大量你需要的輸入。或者通過開會語音的記錄，視頻記錄同樣產生更多你原來沒有關注的數據。

數據本身在萬物互聯階段才形成了數量和類型的巨大變化，產生了大數據。

在數字化時代必須又重提大數據。

這個大數據的積累需要產生兩個方面的作用，一個是直接應用到業務協同中，一個是真正提升智能化和智慧化的能力。當前大部分企業仍然在第一階段，而要完全意義上的人工智能仍然在探索。

對于企業信息化領域同樣適用我前面的說法，即計算機能夠自動產生規則并應用規則，才是完整意義上的人工智能。否則計算機只是既定規則的執行者而已。包括我們常說的大數據推薦引擎，是計算機基于已有的推薦算法進行推薦，而不是大數據自己形成了推薦算法，這才是關鍵的區別點。

類似我原來在智慧交通上舉的一個例子：

現在的智慧交通應用往往已經能夠很方面地進行整個大城市環境下的交通狀況監控并發布相應的道路狀況信息。在GPS導航中往往也可以實時地看到相應的擁堵路況等信息，從而方便駕駛者選擇新的路線。但是這仍然是一種事后分析和處理的機制，一個好的智能導航和交通流誘導系統一定是基于大量的實時數據分析為每個車輛給出最好的導航路線，而不是在事后進行處理。對于智能交通中的交通流分配和誘導等模型很復雜，而且面對大量的實時數據采集，根據模型進行實時分分析和計算，給出有價值的結果，這個在原有的信息技術下確實很難解決。

所以要做到完全的智能化或智慧化并不是一件容易的事情。

真正的智慧一定是面對新事物都能夠自我學習，自我適應調整，自我優化的。而不是基于預設的規則。只要規則是人在預設，只要我們還始終保持對事物因果關系和本源的探索，那么在短期計算機就不可能做到完全替代人類。

模型的建立還是人，但是應用模型或規則，基于采集集成的大數據進行快速的分析決策是機器的強項，這才是是數字化轉型第一階段重點去解決的智能化問題。