早在一年前，美國國防部先進(jìn)研究項目局(DARPA)曾透漏過一個秘密項目——一款新型搜索引擎，通過深度挖掘暗網(wǎng)(Dark Web)，獲取Google搜索和其他商業(yè)搜索引擎未能涉及到的所有隱秘信息?，F(xiàn)在，它已經(jīng)悄然問世。

科普：什么是暗網(wǎng)

暗網(wǎng)并非十分龐大，甚至沒有想象中那樣特別的神秘。事實(shí)上，所謂“暗網(wǎng)”都是公共可見的網(wǎng)站，但卻將真實(shí)的服務(wù)器IP隱藏了而已。這意為著，任何人都可以訪問暗網(wǎng)，但“暗”就暗在這些網(wǎng)站隱藏極深，難以調(diào)查的幕后。

黑客辭典：暗網(wǎng)(the Dark Web)

神秘的“暗網(wǎng)搜索引擎”

暗網(wǎng)搜索引擎項目被命名為“Memex”，測試顯示項目運(yùn)營效果良好。

上周日晚，Memex首度亮相于公眾，我們有幸搶先一睹這款特別的搜索引擎的風(fēng)采——這是一款以打擊犯罪為目的搜索引擎，美國國防部五角大樓的研究機(jī)構(gòu)批準(zhǔn)Scientific American新聞網(wǎng)預(yù)睹其真容，然后讓60分鐘節(jié)目組獨(dú)家對這款新技術(shù)的結(jié)晶進(jìn)行了視頻報道。

Memex這個單詞來自于記憶(memory)與索引(index)的組合，它基于開源的數(shù)字可視化搜索分析程序，通過與后端服務(wù)器軟件交互，完成復(fù)雜的計算和數(shù)據(jù)分析。

通過用戶搜索的信息，Memex搜索引擎會對相關(guān)內(nèi)容進(jìn)行抓取。經(jīng)過爬蟲對頁面內(nèi)容的遞歸獲取，有效地識別不同數(shù)據(jù)塊之間的關(guān)系。研究人員能夠利用搜索到的空間和時間的數(shù)據(jù)構(gòu)建數(shù)據(jù)圖，進(jìn)行可視化分析。

視頻介紹

下面附上的視頻能給各位FreeBuf讀者更直觀的感受和理解。

暗網(wǎng)是一個遍布婦女兒童綁架、色情信息、毒品交易、網(wǎng)絡(luò)犯罪和人口販賣的邪惡聚集地，但是由于暗網(wǎng)的隱秘性極高，所以它能輕易躲避主流引擎的搜索。

當(dāng)然，隨著暗網(wǎng)搜索引擎的誕生，相信它們的好運(yùn)也就到此為止了。

設(shè)計理念

暗網(wǎng)搜索引擎Memex用于保護(hù)網(wǎng)絡(luò)免受黑客、人販子或者其他類型罪犯的的侵害。它的設(shè)計理念即：擴(kuò)展搜索引擎的能力，根據(jù)特定人物的興趣迅速進(jìn)行信息的全面整合。

Memex搜索引擎的研究發(fā)起者Chris White等人詳談了整個暗網(wǎng)搜索引擎的工作原理，以及它是如何幫助執(zhí)法機(jī)構(gòu)進(jìn)行調(diào)查的。

White表示：“互聯(lián)網(wǎng)比人們想得要復(fù)雜得多。據(jù)統(tǒng)計分析，Google、微軟bing以及雅虎搜索，只收錄了網(wǎng)絡(luò)上大約5%的web內(nèi)容。”很明顯，這給網(wǎng)絡(luò)犯罪留下了很大的潛在發(fā)展空間。

在上述有關(guān)Memex搜索引擎的視頻片段里，大家還能看到美國國防部先進(jìn)研究項目局的Dan Kaufman。這位主管在視頻里表示：“Memex的理念簡化來說就是——如何挖掘不易被發(fā)現(xiàn)的東西。”

White嚴(yán)肅地說：“大多數(shù)網(wǎng)民都是守法公民，但是也肯定會存在一些網(wǎng)絡(luò)寄生蟲。我們會剝奪其利用網(wǎng)絡(luò)侵害我們的能力，創(chuàng)造一個更加美好的網(wǎng)絡(luò)環(huán)境。”

項目進(jìn)度

Memex如今還處于beta階段，現(xiàn)有一個政府機(jī)構(gòu)和一個非政府組織負(fù)責(zé)測試。當(dāng)然，在幾周后的下一測試階段，Memex還會擴(kuò)大內(nèi)測范圍。

“這一輪的測試，其中一個主要目標(biāo)就是分析照片。比如對于毒販面部的匹配，或者是根據(jù)圖片背景中電視屏幕映出圖像，進(jìn)行模糊搜索匹配。另一個目標(biāo)，則是嘗試用不同用戶界面，嘗試使用流媒體結(jié)構(gòu)來評估時間敏感的數(shù)據(jù)。”

這意味著在暗網(wǎng)搜索引擎Memex的幫助下，美國國防部先進(jìn)研究項目局(DARPA)有可能會根據(jù)圖片中電視屏幕的上的倒影圖像，通過圖像模糊匹配技術(shù)進(jìn)行分析定位，在使用一定手段確認(rèn)后對罪犯實(shí)施抓捕。

這聽起來似乎如好萊塢電影一般富有奇幻色彩，不過Memex團(tuán)隊強(qiáng)調(diào)，這一切“黑科技”本意只是降低犯罪率，而不是侵犯大多數(shù)人的隱私。