美國國家安全局永遠無法捕捉互聯(lián)網(wǎng)上所有可疑的動向——但他們也不需要。

[[74860]]

國家安全局總部位于馬里蘭州米德堡。

有這么一家機構(gòu)，其數(shù)據(jù)中心內(nèi)保存著大量來自互聯(lián)網(wǎng)的可見內(nèi)容——圖像捕捉系統(tǒng)就在我們周圍，但我們卻又無從感知。它擁有大量針對世界各地家用、企業(yè)乃至政府設施的衛(wèi)星圖像資料，共同構(gòu)成一套總量達到PB級別的地理數(shù)據(jù)庫，囊括了個人與組織信息。同時，其分析系統(tǒng)能夠處理Web搜索請求、電子郵件信息及其它來自無數(shù)用戶的電子設備操作活動。

雖然機構(gòu)中沒有任何人能確切“掌握”個人在網(wǎng)絡中的行為，但信息被濫用的可能性仍然存在。從政策角度看，所有情況都會被軟件所“了解”，而該機構(gòu)的分析人士則從這一龐大的系統(tǒng)流程數(shù)據(jù)海洋中搜尋異常狀況（例如違法活動）。

當然，這里說的是谷歌公司。大多數(shù)用戶對于谷歌在“大數(shù)據(jù)”方面的處理并不在意，因為我們在很大程度上接受了由其提供的恩惠——雖然谷歌也確實從我們的活動中賺到了豐厚的經(jīng)濟回報。不過如果我們把“谷歌”這個名字消去，轉(zhuǎn)而替換為“國家安全局”，那么事情在很多人眼中就會變得完全不同。

事實上國家安全局的PRISM程序以及對手機運營商通話元數(shù)據(jù)的收集與谷歌公司的處理方式并無不同：獲取大量數(shù)據(jù)、從中找到信息之間的聯(lián)系；整個過程無需手動操作，而且由專業(yè)分析人士從中提取“例外”情況。二者之間的本質(zhì)區(qū)別只在于，如果國家安全局發(fā)現(xiàn)了異常事態(tài)，那么根據(jù)外國情報監(jiān)視法（簡稱FISA）的有關(guān)規(guī)定，聯(lián)邦調(diào)查局的特工人員將有權(quán)進一步監(jiān)控甚至敲開我們的大門。

那么，國家安全局所搜集的“大數(shù)據(jù)”到底包含哪些內(nèi)容、他們又能對這些信息做些什么？#p#

從網(wǎng)絡干流中提取信息

讓我們姑且不談美國法律對于國家安全局行事方式的默認，轉(zhuǎn)而關(guān)注其它一些能夠?qū)ζ浼右约s束的理論：也就是物理學法則與摩爾定律。國家安全局有能力從電話網(wǎng)絡交換流量與互聯(lián)網(wǎng)中收集大量數(shù)據(jù)，而且這種情況長期以來一直存在。由于電話公司本身的積極配合，安全局能夠進行深度包檢測、擁有數(shù)據(jù)包捕獲硬件以及其它一些信號監(jiān)控手段。然而他們原先一直無法真正捕捉并保存用戶們所產(chǎn)生的全部數(shù)據(jù)，更無法將其無限期加以留存——但現(xiàn)在情況發(fā)生了變化，谷歌與雅虎的新機制讓這兩項艱巨任務成為可能。

我們都知道，國家安全局監(jiān)控民眾資料的消息來自前AT&T公司員工MarkKlein。他曾于2006年為AT&T工作，并幫助國家安全局在AT&T的全球網(wǎng)光纖主干上安裝了類似于“水龍頭”的分流裝置，借以將數(shù)據(jù)信息引導至由一款名為Narus流量語義洞察分析器的工具。（該設備后來被更名為‘智能流量分析器’，或者簡稱為ITA。）

[[74861]]

AT&T公司位于舊金山福爾遜街的“秘密房間”被認為是該公司全國幾套互聯(lián)網(wǎng)監(jiān)聽基礎(chǔ)設施之一，專門為國家安全局提供數(shù)據(jù)資料。

Narus的設備還被聯(lián)邦調(diào)查局用于替代原先由其自主研發(fā)的“Carnivore”系統(tǒng)。它會對“配對標簽”數(shù)據(jù)包（即數(shù)據(jù)包的屬性與數(shù)值監(jiān)控對象）進行掃描，并保留與設定條件相匹配的數(shù)據(jù)包信息。我曾在2012年9月對Narus公司網(wǎng)絡分析產(chǎn)品管理總監(jiān)NeilHarrington進行過采訪，Harrington表示該公司的洞察系統(tǒng)能夠以每秒達GB級別的速度對數(shù)據(jù)進行分析與排序。“通常采用一個萬兆以太網(wǎng)接口，而且全力啟動后系統(tǒng)的數(shù)據(jù)吞吐通能力可達到12Gb每秒。由于20Gb處理能力無法實現(xiàn)，因此我們選擇了12Gb方案。如果我們暫時關(guān)閉不感興趣的配對標簽，則處理效率還能進一步提升。

單獨一臺NarusITA每秒能夠處理1.5GB數(shù)據(jù)包信息的全部內(nèi)容。這意味著其每小時處理能力達到5400GB、每天則為129.6TB，這還只是一個萬兆網(wǎng)絡裝置的水準。所有數(shù)據(jù)都通過專有信息傳輸協(xié)議被歸納到一組邏輯服務器當中，數(shù)據(jù)包內(nèi)容在這里被處理并重新匹配，從而把每天上PB的總體數(shù)據(jù)量降低至GB級別。具體方法是制作數(shù)據(jù)流量列表（在表中填寫數(shù)據(jù)包的元數(shù)據(jù)內(nèi)容）與應用程序數(shù)據(jù)列表。

國家安全局的這套網(wǎng)絡“龍頭”分流機制在美國及世界其它區(qū)域都普遍存在。不過在如此龐大的數(shù)據(jù)流面前，如何從中提取數(shù)據(jù)包并分析出真正有價值的信息是安全局方面面臨的最大難題。存儲、索引與分析工作需要面對超乎想象的規(guī)模化對象。根據(jù)思科公司的統(tǒng)計，2012年全球互聯(lián)網(wǎng)流量每天達1.1艾字節(jié)，單從物理角度講將其存儲下來就已經(jīng)無法實現(xiàn)，更不要說實際使用了。因此，國家安全局目前所捕捉并保留的數(shù)據(jù)總量僅占每天全球互聯(lián)網(wǎng)流量中的一小部分。

另一大難點在于截獲的數(shù)據(jù)包往往受到安全套接層（簡稱SSL）加密機制的保護。即使是在理想情況下，破解SSL加密機制也需要投入高昂成本，而且根本不可能應用到所有互聯(lián)網(wǎng)流量當中（盡管針對伊朗的Flame惡意軟件攻擊已經(jīng)證明SSL機制可以被破解）。因此，雖然美國國家安全局有能力掌握數(shù)據(jù)流的真實內(nèi)容，但他們恐怕無法以實時方式獲取這部分信息。#p#

原始社交網(wǎng)絡

根據(jù)2006年曝出的消息，互聯(lián)網(wǎng)監(jiān)控還不是國家安全局的惟一一種數(shù)據(jù)收集方式。就在同年五月，有消息稱安全局從電話運營商處獲取到通話數(shù)據(jù)庫，其中包含大量通話數(shù)據(jù)記錄（例如通話時間與通話時長、相關(guān)電話號碼以及移動設備本地數(shù)據(jù)等等）。這套數(shù)據(jù)庫建立于2001年“911”恐怖襲擊事件后不久，而且得到了AT&T、Verizon與BellSouth三家運營商的支持。長途通信供應商Qwest通訊公司則由于不認同F(xiàn)ISA的合法地位而拒絕加入該計劃。

根據(jù)《今日美國》發(fā)布的報告，國家安全局利用這套數(shù)據(jù)庫進行“社交網(wǎng)絡分析”。雖然分析流程主要是希望找出涉及海外個人的通話記錄，但安全局方面仍然從運營商處獲得了整套記錄數(shù)據(jù)庫，其中包括國內(nèi)電話信息。

這套數(shù)據(jù)庫（或者至少是其后續(xù)方案）被稱為MARINA，《倫敦周刊》的MarcAmbinder報道稱。而且根據(jù)上周英國《衛(wèi)報》公布的文檔，國家安全局仍然在無差別收集美國國內(nèi)及涉外兩類電話信息——目前惟一的區(qū)別在于FISA已經(jīng)得到正式許可。根據(jù)FISA法令，其信息收集范圍包括“廣義通訊路徑信息，包括但不限于對話識別信息（例如呼入呼出電話號碼、國際移動用戶識別碼（簡稱IMEI）等）、端口標識、電話卡號碼以及呼叫時間與時長。”

2006年，《今日美國》稱這套通話數(shù)據(jù)庫是“世界上規(guī)模最大的數(shù)據(jù)庫”。該數(shù)據(jù)庫處理著數(shù)以十億記的電話記錄數(shù)據(jù)，而這無疑是安全局物理空間難題的早期翻版。在如今互聯(lián)網(wǎng)全面爆發(fā)的時代，監(jiān)控工作的規(guī)模與難度無疑又會進一步提升。另外，要想通過電話信息推斷人與人之間的關(guān)系，恐怕需要對大量柱狀數(shù)據(jù)進行索引與分析。#p#

神秘的社交圖譜

頗為諷刺的是，幾乎在同一時間，谷歌與雅虎等互聯(lián)網(wǎng)公司開始著手部署計劃、希望解決大數(shù)據(jù)的存儲與分析難題。2006年11月，谷歌公司率先公布了BigTable數(shù)據(jù)庫計劃書，稱其有能力對PB級別的網(wǎng)絡數(shù)據(jù)進行索引，且支持谷歌地球及其它應用程序。雅虎也不甘示弱，在努力追趕谷歌GFS文件系統(tǒng)（也就是BigTable的基礎(chǔ)）的同時拿出了自己的成果——Hadoop。

BigTable與基于Hadoop的數(shù)據(jù)庫為國家安全局指出了一條光明大道，使其真正有能力對獲得的海量數(shù)據(jù)進行處理。但二者在服務情報工作方面還存在一大致命缺點：區(qū)分化安全（或者說廣義層面上的安全性缺失）。因此在2008年，安全局方面決定著手建立一套更為理想的BigTable版本，也就是目前歸屬于Apache基金會的Accumulo項目。

Accumulo是一套“NoSQL”數(shù)據(jù)庫，以鍵值對為基礎(chǔ)。其設計思路類似于谷歌的Big Table與Amazon的Dynamo DB，但Accumulo卻擁有一部分由國家安全局親自設計的特殊安全功能，例如多級安全訪問機制。該項目利用開源Hadoop平臺及其它Apache產(chǎn)品創(chuàng)建而來。

在眾多功能當中，Column Visibility值得關(guān)注，該功能允許數(shù)據(jù)行中的個別項目擁有不同分類屬性。這樣一來，擁有不同數(shù)據(jù)訪問權(quán)限的用戶與應用程序就能在信息列中查看與其職責匹配的數(shù)據(jù)內(nèi)容。訪問權(quán)限較低的用戶無法閱讀當前列中級別較高的數(shù)據(jù)。

Accumulo還能夠通過特定模式以幾乎實時的方式生成數(shù)據(jù)報告。舉例來說，該系統(tǒng)可以根據(jù)某個IP地址范圍找到特定的關(guān)鍵詞或者電子郵件信息；它還能夠以某個目標電話號碼為基礎(chǔ)分析出其它號碼與之關(guān)聯(lián)的程度。經(jīng)過甄別后，它會將有價值的電子郵件或者電話號碼傳出另一套數(shù)據(jù)庫，以供安全局工作人員慢慢加以分析。

換句話來說，Accumulo為國家安全局帶來與谷歌同樣的電子郵件與網(wǎng)絡搜索分析能力——互聯(lián)網(wǎng)上的任意操作、通話過程中的全部內(nèi)容，一切都在其掌控之中。

它的運行基于名為“迭代器”的特定服務器進程類型。這些代碼會持續(xù)處理輸入的信息并以新型模式生成反饋報告。由于查詢PB級數(shù)據(jù)庫并等待響應往往需要耗費大量時間，特別是不斷有新數(shù)碼加入進來的情況下，因此迭代器就像是一群不知疲倦的小螞蟻、日夜幫助國家安全局進行數(shù)據(jù)處理工作。

Accumulo還只是安全局武器庫中的成員之一。由Accumulo生成的融合數(shù)據(jù)會被傳輸至Palantir的分析數(shù)據(jù)庫及其Graph應用程序當中，能利用這些工具完成分析。Graph能夠根據(jù)屬性、關(guān)系以及基于此類關(guān)系的搜索行為在不同“實體”之間建立虛擬化連接——這些關(guān)系從概念上講類似于Facebook的Unicorn搜索與社交圖譜、谷歌的KnowledgeGraph以及微軟研究院的Satori。

Palantir這類工具只能與大數(shù)據(jù)庫中的小型子集協(xié)作，例如MARINA電話數(shù)據(jù)庫。不過由Accumulo實現(xiàn)的后端工作能從規(guī)模大到無法由分析工具管理的海量數(shù)據(jù)中抽取出數(shù)據(jù)集。由于安全局與其它社交網(wǎng)絡相互連通，關(guān)系類數(shù)據(jù)還擁有另一種處理源頭，這就是PRISM。#p#

PRISM也走后門

國家安全局監(jiān)控互聯(lián)網(wǎng)通信的障礙之一在于SSL。從表面上看，以Gmail、Facebook以及原先也曾人氣爆棚的Hotmail這類“云”服務令分析難題更加難以克服，因為它們等于是在SSL的保護之下為會話加入更多交互機制。然而諷刺的是，這些通信服務本身反而降低了安全局利用PRISM方案收集受保護數(shù)據(jù)的難度。

根據(jù)國家安全局承包商Edward Snowden泄露出的圖片信息（已經(jīng)由<華盛頓郵報>與<衛(wèi)報>刊發(fā)），微軟公司早在2007年就開始為安全局方面提供數(shù)據(jù)。在這一計劃中，國家安全局開始訪問云服務背后的服務器并查看用戶數(shù)據(jù)，這等于是繞過了SSL保護機制、直接觸及存儲數(shù)據(jù)。

PRISM為國家安全局提供了一條與云供應商相通的網(wǎng)絡紐帶。不過目前對于安全局如何通過PRISM與云供應商對接還存在一些爭議。《衛(wèi)報》與《華盛頓郵報》在文章中將其稱為通向服務器的“坦途”。不過《衛(wèi)報》與《紐約時報》也報道稱，微軟表示其信息供應機制與DropBox非常相似，即設立一個由服務向安全局遞交數(shù)據(jù)的“安全在線空間”，且與其服務器內(nèi)容同步。其中容納的信息包括用戶從何處接入服務、他們與哪些對象進行溝通、電子郵件中的原始數(shù)據(jù)以及共享的文檔等。其實聯(lián)邦調(diào)查局也一直在進行類似的信息收集工作，但有趣的是曝出這條新聞的正是其同行——中央情報局主管DavidPatraeus與他的傳記作家PaulaBroadwell。

國家安全局理論上可以將這些來自服務的元數(shù)據(jù)大量導出以實現(xiàn)內(nèi)容搜索的全面性。然而事實上這根本不現(xiàn)實，理由很簡單——他們沒有那么大的存儲空間。安全局方面根本不可能親自保存包括電子郵件及附件在內(nèi)的規(guī)模化應用程序數(shù)據(jù)。PRISM也允許安全局通過服務對特定對象的操作進行監(jiān)控，包括臨場數(shù)據(jù)（在其上線時自動通知安全局工作人員）、即時消息、視頻與語音聊天以及利用服務實現(xiàn)的IP語音電話等。

國家安全局位于猶他州布拉夫代爾的數(shù)據(jù)中心正在建設之中，將配備澤字節(jié)級別的存儲能力。#p#

途徑與方式

有了收集得來的海量數(shù)據(jù)，我們就能很容易理解為什么安全局要在猶他州興建擁有澤字節(jié)級別存儲能力的數(shù)據(jù)中心了。另外，大家應該也能理解為什么隱私保護倡導者們會擔心政府方面可能濫用個人數(shù)據(jù)。

我們先把政策放在一邊，專注于審視當前監(jiān)控體系的功能。國家安全局手中的技術(shù)能夠創(chuàng)建出覆蓋數(shù)億人口的地理與關(guān)系圖，其監(jiān)控能力甚至超出了美國本土，這意味著我們的日常溝通都面臨著被侵入的威脅。安全局同樣有能力保護這些數(shù)據(jù)免受閑雜人等的窺探。而且在必要時，相信安全局也有能力讓信息遠離犯罪分子的覬覦。

即使已經(jīng)開始著手建設如此龐大的數(shù)據(jù)中心，國家安全局仍然沒有能力收集整個互聯(lián)網(wǎng)的數(shù)據(jù)流量。但安全局事實上也不一定要通過捕捉全部信息來掌握特殊人士的動向——單是從流量中整理出的元數(shù)據(jù)已經(jīng)足以勾勒出特定對象在網(wǎng)絡上的大體活動。

現(xiàn)在的問題不在于國家安全局能或者不能勘破個人用戶的數(shù)字化生活軌跡、并以“國家公敵”的形式動用一切力量打擊特定對象。真正的關(guān)鍵是，安全局方面是否有能力將管理政策落實到位、保證這種強大的感知能力不會被濫用。當然，安全局的內(nèi)部數(shù)據(jù)庫肯定采用了更深入的信息劃分機制，但外界對于這種保障措施的嚴格程度無從知曉。

國家情報主任JamesClapper及其他一些美國官員稱，法律承諾這些數(shù)據(jù)“不會被用于故意針對任何美國公民、身處境外的美國人或者任何身處美國本土的人士。”然而EdwardSnowden的聲明告訴我們，光靠法律的制約還遠遠不夠，國家安全局需要出臺更嚴厲的措施來保證其項目承包商不會將這套搜索引擎體系用于個人目的。