再談大數據的特征:感受數據之大
2001年,高德納分析員道格·萊尼在一份與其2001年的研究相關的演講中指出,數據增長有三個方向的挑戰和機遇:量(Volume),即數據多少;速(Velocity),即資料輸入、輸出的速度;類(Variety),即多樣性。
在萊尼的理論基礎上,IBM提出大數據的4V特征?得到了業界的廣泛認可。***,數量(Volume),即數據巨大,從TB級別躍升到PB級別;第二,多樣性(Variety),即數據類型繁多,不僅包括傳統的格式化數據,還包括來自互聯網的網絡日志、視頻、圖片、地理位置信息等;第三,速度(Velocity),即處理速度快;第四,真實性(Veracity),即追求高質量的數據。雖然不同學者、不同研究機構對大數據的定義不盡相同,但都廣泛提及了這4個基本特征。
大容量
天文學和基因學是最早產生大數據變革的領域。2000年,斯隆數字巡天項目啟動時,位于新墨西哥州的望遠鏡在短短幾周內搜集到的數據已經比天文學歷史上總共搜集的數據還要多;在智利的大型視場全景巡天望遠鏡一旦于2016年投入使用,其在5天之內搜集到的信息量將相當于前者10年的信息檔案。2003年,人類***次破譯人體基因密碼時,用了10年才完成了30億對堿基對的排序;而在10年之后,世界范圍內的基因儀15分鐘就可以完成同樣的工作量。
伴隨著各種隨身設備、物聯網和云計算、云存儲等技術的發展,人和物的所有軌跡都可以被記錄,數據因此被大量生產出來。移動互聯網的核心網絡節點是人,不再是網頁。人人都成為數據制造者,短信、微博、照片、錄像都是其數據產品;數據來自無數自動化傳感器、自動記錄設施、生產監測、環境監測、交通監測、安防監測等;來自自動流程記錄,刷卡機、收款機、電子不停車收費系統,互聯網點擊、電話撥號等設施以及各種辦事流程登記等。大量自動或人工產生的數據通過互聯網聚集到特定地點,包括電信運營商、互聯網運營商、政府、銀行、商場、企業、交通樞紐等機構,形成了大數據之海。
我們周圍到底有多少數據?數據量的增長速度有多快?許多人試圖測量出一個確切的數字。
2011年,馬丁·希爾伯特和普里西利亞·洛佩茲在《科學》上發表了一篇文章,對1986 ~2007年人類所創造、存儲和傳播的一切信息數量進行了追蹤計算。其研究范圍大約涵蓋了60種模擬和數字技術:書籍、圖畫、信件、電子郵件、照片、音樂、視頻(模擬和數字)、電子游戲、電話、汽車導航等。
據他們估算:2007年,人類大約存儲了超過300EB的數據;1986~2007年,全球數據存儲能力每年提高23%,雙向通信能力每年提高28%,通用計算能力每年提高58%;預計到2013年,世界上存儲的數據能達到約1.2ZB。
這樣大的數據量意味著什么?據估算,如果把這些數據全部記在書中,這些書可以覆蓋整個美國52次。如果存儲在只讀光盤上,這些光盤可以堆成5堆,每堆都可以伸到月球。在公元前3世紀,希臘時代***的圖書館亞歷山大圖書館竭力搜集了當時其所能搜集到的書寫作品,可以代表當時世界上其所能搜集到的知識量。但當數字數據洪流席卷世界之后,每個人都可以獲得大量數據信息,相當于當時亞歷山大圖書館存儲的數據總量的320倍之多。