去年年初，Jordan Tigani發(fā)表了一個(gè)演講《Big data is dead》，這個(gè)演講引發(fā)了不少爭(zhēng)論。如果是別人談這件事，可能很多人會(huì)不以為然，不過(guò)了解Jordan Tigani的履歷的人可能就得在腦子里多轉(zhuǎn)幾個(gè)彎了。

圖片

這哥們可不是一般人，曾經(jīng)是谷歌BigQuery項(xiàng)目的第一批程序員，寫(xiě)過(guò)幾本大數(shù)據(jù)的書(shū)，又是利用DuckDB開(kāi)展大數(shù)據(jù)云服務(wù)的服務(wù)商的聯(lián)合創(chuàng)始人。妥妥的根正苗紅的大數(shù)據(jù)前輩，連這種濃眉大眼的人都叛變了，難道大數(shù)據(jù)真的快死翹翹了嗎？    

對(duì)于大數(shù)據(jù)方面的觀點(diǎn)，我一直是有些滯后于主流觀點(diǎn)的。當(dāng)大家認(rèn)為大數(shù)據(jù)會(huì)顛覆關(guān)系型數(shù)據(jù)庫(kù)的時(shí)候，我十分固執(zhí)的認(rèn)為這件事不會(huì)發(fā)生。當(dāng)然涉及到自己的飯碗，固執(zhí)己見(jiàn)是必然的。而當(dāng)現(xiàn)在很多人在唱衰大數(shù)據(jù)的時(shí)候，我依然不以為然。因?yàn)榇髷?shù)據(jù)無(wú)需唱衰，大數(shù)據(jù)已經(jīng)融入了社會(huì)生活。當(dāng)我們跳入水里的時(shí)候會(huì)有所感知，但是我們會(huì)感知我們走入了空氣中嗎？不會(huì)，因?yàn)槲覀円恢贝嬖谂c空氣中。大數(shù)據(jù)也是如此，當(dāng)我們?nèi)谌氪髷?shù)據(jù)的時(shí)候，大數(shù)據(jù)的關(guān)注度就降低了，我們無(wú)需感知它的存在了。

當(dāng)我們每天開(kāi)車(chē)上班的時(shí)候，大數(shù)據(jù)在為我們選擇最佳的出行方式與行車(chē)路徑；當(dāng)我們?cè)诘罔F上遺失了貴重物品的時(shí)候，大數(shù)據(jù)幫我們很快追蹤到失物的蹤跡；大數(shù)據(jù)會(huì)讓氣象預(yù)報(bào)以小時(shí)為單位發(fā)布，并且能夠比較準(zhǔn)確的預(yù)測(cè)到15天甚至更遠(yuǎn)的大致情況；大數(shù)據(jù)能幫助稅務(wù)部門(mén)發(fā)現(xiàn)某些人在十年前的稅務(wù)違規(guī)，能夠幫助海關(guān)發(fā)現(xiàn)潛在的走私行為；而當(dāng)我們打開(kāi)抖音的時(shí)候，總是能刷到自己喜歡類(lèi)型的小姐姐。這一切的背后都是大數(shù)據(jù)和大數(shù)據(jù)處理。大數(shù)據(jù)不是死了，而是進(jìn)化了，進(jìn)化得讓我們不需要感知到它的存在了，因?yàn)樗挠撵`已經(jīng)無(wú)處不在了。

不談大數(shù)據(jù)到底是不是已經(jīng)成為了我們的空氣，單單就Jordan的那個(gè)演講來(lái)看，似乎觀點(diǎn)也不大靠譜，這篇演講稿里充滿(mǎn)了濃厚的商業(yè)氣息，妥妥的是作為一個(gè)CPO（首席產(chǎn)品官）而不是一個(gè)CTO在演講。離開(kāi)了谷歌BigQuery后，從事的業(yè)務(wù)變了，立場(chǎng)也就變了。其中的一些主要觀點(diǎn)都存在一些偏頗的地方。    

圖片

去年3月份，在Jordan發(fā)表演講后不久，加州伯克利的數(shù)據(jù)科學(xué)家Aditya Parameswaran撰寫(xiě)了一篇長(zhǎng)文，對(duì)Jordan的一些存在錯(cuò)誤的關(guān)鍵點(diǎn)進(jìn)行了一一分析。Aditya也不是無(wú)名之輩，他發(fā)起的Ponder目前已經(jīng)被SnowFlake收購(gòu)。相對(duì)而言，我還是比較認(rèn)同Aditya的觀點(diǎn)的，有興趣的朋友可以仔細(xì)閱讀一下他的文章（https://ponder.io/big-data-is-dead-long-live-big-data/），具體的觀點(diǎn)我就不在這里多啰嗦了。

2021年我曾經(jīng)去參觀過(guò)一個(gè)智能工廠(chǎng)，用2000多個(gè)機(jī)械臂替代了以前的2000名工人。當(dāng)時(shí)他們的車(chē)間主管說(shuō)支撐這個(gè)工廠(chǎng)的數(shù)據(jù)庫(kù)每天會(huì)產(chǎn)生一個(gè)TB的數(shù)據(jù)，這些數(shù)據(jù)需要用比較便宜一點(diǎn)的存儲(chǔ)設(shè)備長(zhǎng)期保存起來(lái)。對(duì)這些數(shù)據(jù)的分析可以幫他們發(fā)現(xiàn)機(jī)器人參數(shù)中存在的問(wèn)題，從而優(yōu)化這些參數(shù)，進(jìn)一步提高良品率。這些數(shù)據(jù)的價(jià)值是巨大的，剛開(kāi)始的時(shí)候他們并不了解這些數(shù)據(jù)的用途，一般保留幾天后就會(huì)自動(dòng)刪除。自從一個(gè)高校和他們的科研項(xiàng)目開(kāi)展起來(lái)后，他們才發(fā)現(xiàn)這些數(shù)據(jù)的價(jià)值，于是他們立即投資建設(shè)了數(shù)據(jù)歸檔系統(tǒng)。Jordan的演講中認(rèn)為歷史數(shù)據(jù)訪(fǎng)問(wèn)頻率不高，利用價(jià)值不大 ，只是不知道如何刪除它才會(huì)被錯(cuò)誤的長(zhǎng)期保存，這種對(duì)數(shù)據(jù)價(jià)值的描述明顯是錯(cuò)誤的。    

實(shí)際上我們?cè)谧鲋悄芑\(yùn)維系統(tǒng)的時(shí)候也經(jīng)常發(fā)現(xiàn)，因?yàn)槿狈v史數(shù)據(jù)，某些算法的應(yīng)用和研究往往就無(wú)法進(jìn)行。前些年構(gòu)建運(yùn)維知識(shí)圖譜的時(shí)候，有位客戶(hù)拿出了壓箱底的10年積累的故障案例，我們?nèi)绔@至寶，不過(guò)這項(xiàng)工作并沒(méi)有順利的進(jìn)行下去，因?yàn)樗麄冎槐Ａ袅巳罩疚募彤?dāng)時(shí)的分析報(bào)告，缺乏大量的指標(biāo)數(shù)據(jù)，因此很難用于建模。

“計(jì)算需求不會(huì)隨著時(shí)間的推移而保持不變，因?yàn)槿粘９ぷ髫?fù)載的需求會(huì)有所不同，數(shù)據(jù)大小和計(jì)算維度的靈活性是關(guān)鍵”，上述Aditya的觀點(diǎn)正好與我上面所說(shuō)的例子吻合。當(dāng)我們需要某種計(jì)算的時(shí)候，經(jīng)常會(huì)發(fā)現(xiàn)數(shù)據(jù)的不足。

大數(shù)據(jù)的計(jì)算與應(yīng)用需求來(lái)自于業(yè)務(wù)，一些感覺(jué)大數(shù)據(jù)是忽悠的朋友，可能是因?yàn)槠髽I(yè)上大數(shù)據(jù)項(xiàng)目的時(shí)候只是為了趕時(shí)髦，而并不是真實(shí)的需求而已。不過(guò)不要緊，計(jì)算需求會(huì)隨著時(shí)間推移而變化的，隨著企業(yè)數(shù)字化轉(zhuǎn)型的發(fā)展，你也許會(huì)在未來(lái)看到這些大數(shù)據(jù)的價(jià)值的。

我們今天所說(shuō)的大數(shù)據(jù)處理早已經(jīng)不是2004年谷歌發(fā)表那幾篇論文時(shí)代的大數(shù)據(jù)處理了。正如大數(shù)據(jù)興起時(shí)，Nosql能顛覆RDBMS的革命正如我所期望的那樣并沒(méi)有發(fā)生，如今我們對(duì)大數(shù)據(jù)有了更豐富的處理方式。大量的SQL ON HADOOP技術(shù)的出現(xiàn)，數(shù)據(jù)湖、實(shí)時(shí)數(shù)倉(cāng)、湖倉(cāng)一體、HTAP等技術(shù)的出現(xiàn)與演進(jìn)，讓大數(shù)據(jù)的處理變得更加簡(jiǎn)單了。硬件技術(shù)的發(fā)展也讓單機(jī)集中式數(shù)據(jù)庫(kù)的處理能力飛速提升。關(guān)系型數(shù)據(jù)庫(kù)也能夠處理大數(shù)據(jù)了。

隨著大語(yǔ)言模型的高速發(fā)展（大語(yǔ)言模型實(shí)際上也是大數(shù)據(jù)的產(chǎn)物），AI4BI的發(fā)展也在發(fā)生質(zhì)變。融合計(jì)算也日益被公眾所接受，文檔處理不再是MongoDB的專(zhuān)利，Oracle 23c中已經(jīng)十分成功的將向量計(jì)算、圖計(jì)算、文檔處理與傳統(tǒng)的關(guān)系型數(shù)據(jù)處理融為一體。融合計(jì)算會(huì)讓大數(shù)據(jù)處理更加高效，大數(shù)據(jù)應(yīng)用的成本更加低廉，這只會(huì)加快大數(shù)據(jù)價(jià)值的增值，而絕不會(huì)讓大數(shù)據(jù)死亡。    

數(shù)據(jù)已經(jīng)快成為與土地、勞動(dòng)力、技術(shù)、資本并列成為第五生產(chǎn)要素了，這時(shí)候唱衰大數(shù)據(jù)的行為大多數(shù)只是一些商業(yè)的炒作而已。想給大數(shù)據(jù)燒紙的朋友可能要當(dāng)心了，大數(shù)據(jù)的一絲游魂已經(jīng)進(jìn)化成了人工智能CHATGPT，而它據(jù)說(shuō)已經(jīng)進(jìn)軍殯葬業(yè)，今后誰(shuí)會(huì)給誰(shuí)燒紙還真不好說(shuō)啊。