用Go實現自己的網絡流量解析和行為檢測引擎
1.前言
最近有個在學校讀書的迷弟問我:大德德, 有沒有這么一款軟件, 能夠批量讀取多個抓包文件,并把我想要的數據呈現出來, 比如:源IP、目的IP、源mac地址、目的mac地址等等。我說：“這樣的軟件你要認真找真能找出不少開源軟件, 但畢竟沒有你自己的靈魂在里面,要不咱自己用Go實現一個吧”, OK , Let's go。
2.摘要
能夠實現網絡協議解析和分析的工具有很多,最有名使用最多的是基于圖形化界面的Wireshark, 除了能夠實現網絡實時抓包,還能夠離線分析Pcap包文件, 雖然它通常用于手動分析網絡數據包, 但也支持自動化腳本和插件來提取元數據。而Wireshark還有一個基于命令行版本的Tshark, 可以用于自動化任務, 可以批量處理Pcap文件, 提取所需數據并導出到文件中。
本次用Go語言實現的網絡協議解析功能是基于Google公司開發一個開源庫:gopacket, 該庫幫我們完成了網絡協議的一些底層封裝, 它允許我們能夠捕獲、解析和處理網絡數據包, 與Wireshark一樣,也支持對離線抓包文件的分析。gopacket庫提供了一系列功能,包括:數據包捕獲、解析和構建, 以及對多種協議的支持,如:Ethernet、IP、TCP、UDP、HTTP等。它還提供了方便的API, 以幫助開發者操作和分析網絡數據包。
3.實現原理
谷歌公司開發的gopacket提供了5個子包接口供使用者調用,其中Layers子包負責協議解析;pcap子包實際是libpcap的包裝,主要用于數據包格式解析;pfring子包和afpacket用于快速數據庫包抓取;tcpassembly用于TCP流重組。在本篇文章中,主要利用gopacket提供的Layers和pcap接口實現上層業務邏輯。在流量解析引擎中,調用pcap接口對離線pcap抓包文件進行數據包解析,并配合Layers接口實現協議解析,目前根據業務種類,實現的協議解析包括:HTTP協議、TCP/UDP協議、ICMP協議和802.11協議。流量解析引擎的整體架構如下:
我們實現的流量解析引擎主要針對離線pcap包文件, 支持的協議類型包括:HTTP協議、TCP/UDP協議、ICMP協議、802.11(無線協議)，通過對各類協議的解析,可以實現一些高級功能,例如: 特征庫匹配、漏洞掃描檢測、一些網絡攻擊檢測等等。
通過對gopacket開源包的研究,整理出其使用方法如下:
- 利用pcap子包的OpenOffline方法加載離線數據包文件,加載成功返回離線數據包文件句柄。
- 離線包文件句柄通過SetBPFFilter方法過濾數據類型,調用LinkType()方法獲取鏈路類型。
- 將第2步中的文件句柄和LinkType作為參數調用方法NewPacketSource。
- NewPacketSource調用Packet()方法獲取離線包文件中所有的數據包,通過遍歷每個數據包進行下一步操作。
- 每個數據包對象通過調用Layer()方法獲取數據對象層,參數為數據對象的種類,種類有很多種,根據不同的協議類型進行區分。
- 獲取的數據層級操作對象是數據包解析基礎方法需要達到的目的,即將解析的具體數據將在數據層級中進行不同方法的篩選。
大致的調用關系整理如下圖:
4.功能代碼實現
在我們的工程項目中,首先要引入三個包,它們是:
import(
"github.com/google/gopacket"
"github.com/google/gopacket/layers"
"github.com/google/gopacket/pcap"
)因為我們操作的對象主要是針對離線pcap包, 因此首先要加載離線包文件,代碼如下:
handle, err = pcap.OpenOffline(pcapFilePath)
if err != nil {
log.Panic(err)
}handle是加載離線包文件后返回的文件句柄,類型為:*pcap.Handle,接下來我們要設置一下過濾,只針對tcp連接的包,所以通過上面的文件句柄調用過濾函數:
err = handle.SetBPFFilter("tcp")
if err != nil {
log.Panic(err)
}根據上面的調用關系圖,我們需要調用NewPacketSource方法,代碼如下:
packetSource := gopacket.NewPacketSource(handle, handle.LinkType())
packets := packetSource.Packets()packetSource.Packets()方法返回的是一個通道, 用來接收gopacket解析出來的每一個數據包,
因此這里需要做循環接收,并在循環內容解析ethernet層, 解析大致過程如下:
下面我們根據上面的流程圖解析LayerTypeEthernet, 代碼如下:
for packet := range packetSource.Packets() {
ethernetLayer := packet.Layer(layers.LayerTypeEthernet)
if ethernetLayer == nil {
continue
}
ethernetPacket, _ := ethernetLayer.(*layers.Ethernet)
}下面涉及到協議的層級,我們對照Wireshark的包對比看一下,如圖:
從上圖的協議結構中我們可以看到,源IP地址和目的IP地址是在IPv4層上, 源端口和目的端口是在TCP層上, 而mac地址是在Ethernet層上, 因此要想獲取這6個元數據,我們至少要解析三層協議, 添加以下代碼:
for packet := range packetSource.Packets() {
ethernetLayer := packet.Layer(layers.LayerTypeEthernet)
if ethernetLayer == nil {
continue
}
ethernetPacket, _ := ethernetLayer.(*layers.Ethernet)
if ethernetPacket.EthernetType.String() == "IPv4" {
ipLayer := packet.Layer(layers.LayerTypeIPv4)
if ipLayer == nil { continue }
// 這里從IPv4協議層取源IP和目的IP數據
ipInfo, _ := ipLayer.(*layers.IPv4)
tcpLayer := packet.Layer(layers.LayerTypeTCP)
if tcpLayer == nil { continue }
// 這里從TCP協議層取TCP數據,獲取源端口和目的端口數據
tcpInfo, _ := tcpLayer.(*layers.TCP)
//下面的代碼取具體的Payload
applicationLayer := packet.ApplicationLayer()
if applicationLayer == nil { continue }
payload := string(applicationLayer.Payload())
// 從GET或POST請求中取出元數據
if strings.HasPrefix(payload, "GET") || strings.HasPrefix(payload, "POST") {
fmt.Println("源mac地址:", ethernetPacket.SrcMAC.String())
fmt.Println("目的Mac地址:", ethernetPacket.DstMAC.String())
fmt.Println("源IP地址:", ipInfo.SrcIP.String())
fmt.Println("目的IP地址:", ipInfo.DstIP.String())
fmt.Println("源端口:", int(tcpInfo.SrcPort))
fmt.Println("目的端口:", int(tcpInfo.DstPort))
}
}
}5.行為檢測實現
這里我們以檢測數據庫的匿名登錄行為為例子, 首先在kali系統上對目標數據庫嘗試匿名登錄,如圖:
在登錄過程中,使用Wireshark進行網絡抓包,如圖:
從上面的抓包文件中,我們可以根據Payload偏移提取一些行為特征,例如:
將特征檢測的邏輯加入到代碼中:
for packet := range packetSource.Packets() {
ethernetLayer := packet.Layer(layers.LayerTypeEthernet)
if ethernetLayer == nil {
continue
}
ethernetPacket, _ := ethernetLayer.(*layers.Ethernet)
if ethernetPacket.EthernetType.String() == "IPv4" {
ipLayer := packet.Layer(layers.LayerTypeIPv4)
if ipLayer == nil { continue }
// 這里從IPv4協議層取源IP和目的IP數據
ipInfo, _ := ipLayer.(*layers.IPv4)
if ipInfo.Protocol.String() == "TCP" {
tcpLayer := packet.Layer(layers.LayerTypeTCP)
tcp, _ := tcpLayer.(*layers.TCP)
if (len(tcp.Payload) > 36 && bytes.Equal(tcp.Payload[13:37], []byte{0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0})) || (len(tcp.Payload) > 39 && bytes.Equal(tcp.Payload[13:40], []byte{0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 114, 111, 111, 116})) {
fmt.Println("發現數據庫匿名登錄行為!")
}
}
}
}將上面的代碼編譯后加載離線pcap包跑一下,可以看到已經匹配到行為特征,如圖:
可以看到,已經成功命中行為特征。
