一英里不是個很長的距離，一立方英里相對于地球也不會讓人覺得是個很大的空間。然后我說，這個空間內能裝下全世界所有人，你會不會覺到很驚訝?不過這話不是我說的，是美國作家房龍在一本書里寫的。

業內有個著名的數據倉庫產品，叫Teradata，20多年前起這個名字，顯然是想給人能處理海量數據的感覺。可現在，論用戶還是廠商，談論數據量時都常常以T為單位了，動不動就有幾十上百T甚至PB級的數據。似乎T不是個多大的數，多幾個幾十個T也沒什么大不了的。

其實T有點象上面說的立方英里，是個挺大的數。很多人對它沒有多深的感性認識，我們要換個角度來看1T數據意味著什么。

先從空間上看。

用于分析計算的數據仍然以結構化數據為主。結構化數據中占據空間***的是不斷增長的交易類記錄，這種數據每條并不大，大概只有幾十到100字節，比如銀行交易只要記下帳號、日期、金額;電信的通話記錄也只是通話號碼、時刻、時長等。就按100字節算，也就是0.1K，那么1T空間就可以放下10G行記錄，100億條!

這是什么概念呢?一年大概是3000多萬秒，如果用一年時間來積累1T數據，那意味著每秒要產生300多筆記錄，24小時不停息!

這個數也不算大，象中國這樣的大國，電信運營商、全國級銀行以及大型互聯公司都不難有這種規模的業務量。但對于一個城市級別甚至有些省級的機構就是個不小的數了，比如稅務部門采集的企業交稅信息、連鎖超市的商品購買數據、城市商業銀行的交易記錄等，要達到300筆/秒并不容易，何況很多機構只有白天或工作日才能產生數據。而且這還只是1T，要搞到幾十上百T，那就得讓業務量再上一兩個數量級才行。

簡單說有多少T數據是沒什么感覺的，換算成每秒對應的業務量后，才知道是不是靠譜。大數據分析計算產品的技術方案和數據量相關性非常強，正確估算自己的數據量對于大數據平臺的建設是至關重要的。

如果用來存儲音頻視頻這種非結構化數據， 或者僅僅用于備份原始憑據，那1T空間就存不了多少東西了，但這種數據一般也沒什么要分析計算的需求，只是存儲和檢索，那不需要什么大數據計算平臺，只要有個網絡文件系統就行了，這成本就低多了。

再從時間上看。

假設有1T數據，那么要多少時間才能處理一遍?有些廠商宣稱能在數秒內處理TB級數據，用戶經常也這樣期望，這可能嗎?

機械硬盤在操作系統下的讀取數據大概是150M/秒(不能看硬盤廠商那個指標，根本達不到)，固態硬盤快些，能翻個倍。我們就算300M/秒，那么1T數據只是讀取不做任何運算也需要3000秒以上，接近一個小時!那怎么可能數秒內處理1T數據呢?很簡單，增加硬盤，如果有1000塊硬盤，那就可以在3秒左右讀出1T數據了。

這還是比較理想的估算。實際上數據不大可能存放著那么整齊(硬盤不連續讀取時性能下降嚴重)，集群(1000塊硬盤顯然不會在一臺機器上)還有網絡延遲，有些運算可能還有回寫動作(大分組和排序等)，秒級訪問常常還會有并發需求，這些因素綜合起來，再慢幾倍也是正常的。

現在我們知道了，1T數據意味著幾個小時，或者上千塊硬盤。而且還是前面的話，這只算了1T，可想而知幾十上百T會是什么概念了。

有人說，硬盤太慢了，我們改用內存。

內存是比硬盤快得多，而且還適合并行計算。不過大內存的機器并不便宜(成本不是線性增長的)，而且更糟糕的是，內存使用率經常很低。比如許多計算體系都是基于Java平臺的，如果不做特別的壓縮優化的話，JVM的內存利用率只有20%的樣子，也就是硬盤上1T數據需要5T內存才能加載進來，這得裝多少機器，花多少錢?

我們對1T有了上面這些感性認識后，聽到多少多少T的說法時，就可以隨時腦補出交易、節點數、成本等信息。做平臺規劃和產品選擇時，就不容易被忽悠了。Teradata這個名字，今天也還不算過時的。