在理想的世界中，我們希望各種先進的技術能夠在“陽光”下被使用，然而，現實世界從來不是烏托邦。

眾所周知，“暗網”一直都是各種非法網絡活動的庇護所，甚至是滋生罪惡的溫床，以窩藏非法匿名網站和支持非法活動(例如交易被盜數據、毒品和武器)而臭名昭著。但是，暗網中也存在大量的商業(yè)數據和個人信息，而其中的很多數據是在公開網絡中難以獲取到的。試想一下，如果用暗網中的數據訓練AI，將會發(fā)生什么?

近日，韓國科學技術院 (KAIST) 的一個研究團隊發(fā)布了一款可應用于網絡安全領域的大語言模型工具——DarkBERT，這是一個專門從暗網獲取數據進行訓練的LLM。DarkBERT并非出于惡意目的而創(chuàng)建，研究人員的目標是創(chuàng)造一種超越現有安全方案的智能化暗網威脅監(jiān)控工具，幫助威脅研究人員、執(zhí)法機構和網絡安全分析師打擊網絡威脅。

據了解，此次發(fā)布的DarkBERT工具，是一個基于RoBERTa架構的transformer-based編碼器模型。該模型目前已經接受了數百萬個暗網網頁的訓練，全面包括了來自地下黑客論壇、詐騙網站和其他非法網站的數據。為了訓練DarkBERT，研究人員會通過Tor網絡進入暗網并收集原始數據，然后創(chuàng)建一個可以不斷完善的暗網數據資料庫，并在兩周內將更新后的數據提供給RoBERTa。

該研究團隊表示，即使是從最不尋常的來源所收集的數據，也可以訓練出有用的人工智能模型。盡管一些人可能會擔心暗網數據會帶有天然的“邪惡”屬性，并可能對DarkBERT造成不好的影響，但我們認為，在AI技術迅速發(fā)展的今天，需要更加關注如何讓這些數據能夠在受控和透明的環(huán)境下運行，并確保他們產生對社會有利的價值。

為了評估DarkBERT的有效性，研究人員將其與兩個著名的NLP工具BERT和RoBERTa進行了比較，并從以下三個關鍵網絡安全場景評估DarkBERT的實際可用性：

監(jiān)控暗網論壇潛在的有害線程

監(jiān)控暗網論壇(通常用于交換非法信息)對于識別潛在的危險線程至關重要。由于人工檢查非常耗時，因此自動化過程對安全專家來說不可或缺。評估結果顯示，DarkBERT在準確率、召回率和漏報率方面的表現均不同程度優(yōu)于其他兩種工具。

檢測包含機密信息的暗網站點

黑客和勒索軟件組織會利用暗網創(chuàng)建泄密網站，供各種網絡犯罪分子將竊取的敏感數據(如密碼和財務信息)上傳到暗網，并以此進行牟利。在研究中，研究人員收集了臭名昭著的勒索軟件組織的數據，并分析了發(fā)布組織私人數據的勒索軟件泄漏站點。結果顯示，DarkBERT在識別和分類此類網站方面優(yōu)于其他兩種工具，原因在于它對暗網論壇中所使用的語言有更好的理解。

識別暗網威脅關鍵字

DarkBERT可以利用BERT家族語言模型的固有特征進行暗語轉化，從而準確識別與非法活動相關的關鍵字，例如暗網上的毒品銷售。評估結果顯示，當“MDMA”這個詞被隱藏在藥品銷售頁面上時，DarkBERT生成了與毒品相關的單詞，而其他工具則顯示了與毒品無關的一般單詞和術語，比如各種職業(yè)。

以上評估結果表明，DarkBERT模型對網絡罪犯的語言有著非凡的理解能力，并善于發(fā)現特定的潛在威脅。它可以幫助安全人員更好地研究暗網，并成功識別和標記數據泄露及勒索軟件等網絡安全威脅，成為打擊網絡安全犯罪活動的有力工具。

DarkBERT目前還并不向公眾開放，只接受部分將其用于學術研究目的的應用請求。因為像其他LLM模型一樣，DarkBERT還是一個尚在發(fā)展中的模型，有許多地方還需要通過不斷的訓練和調整去優(yōu)化。創(chuàng)新模型的出現將會提高現有網絡安全防護體系的能力和性能，但同時，也必須要關注其可能帶來的新挑戰(zhàn)和問題，例如數據隱私、自主決策等方面的問題，需要得到充分的重視和解決。

參考鏈接：

https://www.makeuseof.com/what-is-darkbert-ai/。

https://cybersecuritynews.com/darkbert-ai/。