Web指紋識(shí)別的介紹與編寫(xiě)

作者：數(shù)字觀星技術(shù)組 2019-11-23 15:45:38

網(wǎng)絡(luò)上開(kāi)源的Web指紋識(shí)別程序很多，如Wappalyzer，Whatweb, wpscan, joomscan等等，在線指紋平臺(tái)有云悉，還有我們本文重點(diǎn)介紹的數(shù)字觀星指紋平臺(tái)等。接下來(lái)會(huì)介紹如何編寫(xiě)以及編譯指紋并提交到平臺(tái)上。

一、前言

Web指紋是Web服務(wù)組件在開(kāi)發(fā)時(shí)留下的對(duì)其類型及版本進(jìn)行標(biāo)識(shí)的特殊信息，包括Web服務(wù)器指紋、Web運(yùn)用指紋以及前端框架指紋等。在Web安全測(cè)試過(guò)程中，收集Web指紋信息也是一個(gè)比較重要的步驟;在安全運(yùn)營(yíng)過(guò)程中，通過(guò)指紋識(shí)別識(shí)別資產(chǎn)的Web信息，這樣能更加了解整個(gè)資產(chǎn)存在哪些方面的威脅，然后對(duì)癥檢測(cè)修補(bǔ)。

網(wǎng)絡(luò)上開(kāi)源的Web指紋識(shí)別程序很多，如Wappalyzer，Whatweb, wpscan, joomscan等等，在線指紋平臺(tái)有云悉，還有我們本文重點(diǎn)介紹的數(shù)字觀星指紋平臺(tái)

(https://fp.shuziguanxing.com/#/)等。接下來(lái)會(huì)介紹如何編寫(xiě)以及編譯指紋并提交到平臺(tái)上。

?[[283374]]?

二、初見(jiàn)

實(shí)踐是認(rèn)識(shí)事物最快的途徑，這里先使用常見(jiàn)的指紋識(shí)別工具做簡(jiǎn)單的指紋識(shí)別示范。

1. Whatweb

Whatweb是一個(gè)基于Ruby語(yǔ)言的開(kāi)源網(wǎng)站指紋識(shí)別軟件，正如它的名字一樣，Whatweb能夠識(shí)別各種關(guān)于網(wǎng)站的詳細(xì)信息包括：CMS類型、博客平臺(tái)、中間件、Web框架模塊、網(wǎng)站服務(wù)器、腳本類型、JavaScript庫(kù)、IP、Cookie等。

在kali下sudo apt install whatweb ：

對(duì)網(wǎng)站進(jìn)行指紋識(shí)別：

2. Wappalyzer

Wappalyzer是基于正則表達(dá)式來(lái)識(shí)別Web應(yīng)用，它的功能是識(shí)別單個(gè)url的指紋，其原理就是給指定URI發(fā)送HTTP請(qǐng)求，獲取響應(yīng)頭與響應(yīng)體并按指紋規(guī)則進(jìn)行匹配。它也是一款瀏覽器插件，能識(shí)別出網(wǎng)站采用了那種Web技術(shù)，能夠檢測(cè)出CMS和電子商務(wù)系統(tǒng)、留言板、Javascript框架，主機(jī)面板，分析統(tǒng)計(jì)工具和其它的一些Web系統(tǒng)。這里主要介紹基于node.js的Wappalyer的安裝與使用。

(1)node.js環(huán)境的安裝，官網(wǎng)下載地址https://nodejs.org/en/

(2)通過(guò)Node.js安裝Wappalyzer

記住這個(gè)路徑 C:\Users\xx\AppData\Roaming\npm\node_modules\wappalyzer之后講解調(diào)試指紋有用

(3)使用wappalyzer指紋識(shí)別

三、探究

這里主要探討如何編寫(xiě)基于Wappalyzer的指紋(參考https://fp.shuziguanxing.com/#/fingerplatinfo)

1. 指紋識(shí)別的幾種方式

網(wǎng)頁(yè)中發(fā)現(xiàn)關(guān)鍵字
特定文件的MD5(主要是靜態(tài)文件、不一定要是MD5)
指定URL的關(guān)鍵字
指定URL的TAG模式

2. 指紋識(shí)別分類

基于Wappalyzer的指紋識(shí)別分類

3. 指紋規(guī)則

4. 指紋識(shí)別例子講解

"Struts": {
"cats": [
"18"
],
"html":"(href|action|src).*?=.*?(action|do)\\;confidence:50",
"url": "/.*\\.do$|/.*\\.action$\\;confidence:40",
"html": "Struts Problem Report",
"website": "http://struts.apache.org/",
"_fingerprint_note":"Apache Struts是一個(gè)用于開(kāi)發(fā)Java EE網(wǎng)絡(luò)應(yīng)用程序的開(kāi)放源代碼網(wǎng)頁(yè)應(yīng)用程序架構(gòu)。",
"_fingerprint_test_url":"https://www.shuziguanxing.com/"
}

描述：struts組件，分類18(Web框架)，匹配html中是否存在action,do后綴，定義可信值50，匹配url中是否有do和action后綴，定義可信值40，匹配html中是否存在“Struts Problem Report”字符串，默認(rèn)不定義可信值則為100。備注：總體可信值如果超過(guò)100，也只會(huì)返回100。

5. 簡(jiǎn)單分析Wappalyzer的執(zhí)行過(guò)程

Wappalyze執(zhí)行文件在C:\Users\xx\AppData\Roaming\npm\下。

Wappalyzer的包目錄在C:\Users\xx\AppData\Roaming\npm\node_modules\wappalyzer。

這里我們重點(diǎn)看apps.json文件，apps.json文件是個(gè)什么東西呢?apps.json記錄的是整個(gè)的指紋規(guī)則，之后我們自己編寫(xiě)的指紋就是要放進(jìn)這里調(diào)試。

看下里面是一個(gè)怎么樣的構(gòu)造：

{
"$schema":"../schema.json",
"apps":{
"1C-Bitrix":{
"cats":[
1
],
"headers":{
"Set-Cookie":"BITRIX_",
"X-Powered-CMS":"Bitrix Site Manager"
},
"html":"(?:<link[^>]+components/bitrix|(?:src|href)=\"/bitrix/(?:js|templates))",
"icon":"1C-Bitrix.png",
"implies":"PHP",
"script":"1c-bitrix",
"website":"http://www.1c-bitrix.ru"
},
},
"categories":{
"1":{
"name":"CMS",
"priority":1
},
......
}
}

Json文件里面有兩部分apps與categories，我們可以發(fā)現(xiàn)apps里面的信息跟上面指紋例子特別像，其實(shí)我們之后寫(xiě)的指紋就是放在這里面進(jìn)行識(shí)別網(wǎng)站的，categories是指紋的類型，這項(xiàng)可以不用管，只看apps。

6. 調(diào)試編寫(xiě)好的指紋

Wappalyzer在執(zhí)行過(guò)程中會(huì)調(diào)用apps.json文件內(nèi)容進(jìn)行指紋匹配。所以我們編寫(xiě)好的指紋放進(jìn)里面進(jìn)行調(diào)試。

如果你希望只顯示你要調(diào)試的指紋的話，你可以把a(bǔ)pps.json文件備份為apps.json.bak，然后把a(bǔ)pps.json中的apps部分里面的內(nèi)容刪除,只放入自己編寫(xiě)的指紋。

以織夢(mèng)cms為例子，執(zhí)行全部的指紋：