"黑客"的目的是尋找目標漏洞，然后去發起攻擊或者提出解決方案修補漏洞，而尋找漏洞的過程，你就需要掌握很多知識，例如計算機原理、計算機網絡、操作系統、計算機軟件、編程語言、數據結構、數據庫技術、前沿技術等等，在這么多要學習的內容里，首先需要先學習"網絡通信原理"，為什么?因為網絡通信原理十分重要，根據他的原理可以判斷出許多貌似正確的理論其實是有很多漏洞的通信過程，而很多黑客攻擊就是利用了這些漏洞，很多網絡安全解決方案也是用來解決這些漏洞問題的。

一、網絡的由來

互聯網的本質就是一系列的網絡協議。

一臺硬設有了操作系統，然后裝上軟件你就可以正常使用了，每個人都擁有一臺自己的機器，然而彼此孤立。

如何能讓大家一起玩耍，就有了初步的網絡，其實兩臺計算機之間通信與兩個人打電話之間通信的原理是一樣的，普通話屬于中國國內人與人之間通信的標準，那如果是兩個國家的人交流呢?問題是，你不可能要求一個人/計算機掌握全世界的語言/標準，于是有了世界統一的通信標準：英語

結論：英語成為世界上所有人通信的統一標準，如果把計算機看成分布于世界各地的人，那么連接兩臺計算機之間的internet實際上就是一系列統一的標準，這些標準稱之為互聯網協議，互聯網的本質就是一系列的協議，總稱為'互聯網協議'(Internet Protocol Suite).

互聯網協議的功能：定義計算機如何接入internet，以及接入internet的計算機通信的標準。

二、網絡協議介紹

互聯網協議按照功能不同分為osi七層或tcp/ip五層

每層運行常見物理設備

五層模型講解

我們將應用層，表示層，會話層并作應用層，從tcp/ip五層協議的角度來闡述每層的由來與功能，搞清楚了每層的主要協議，就理解了整個互聯網通信的原理。

首先，用戶感知到的只是最上面一層應用層，自上而下每層都依賴于下一層，所以我們從最下一層開始切入，比較好理解每層都運行特定的協議，越往上越靠近用戶，越往下越靠近硬件

1. 物理層：

上面提到，孤立的計算機之間要想一起玩，就必須接入internet，言外之意就是計算機之間必須完成組網

物理層功能：主要是基于電器特性發送高低電壓(電信號)，高電壓對應數字1，低電壓對應數字0

2. 數據鏈路層：

單純的電信號0和1沒有任何意義，必須規定電信號多少位一組，每組什么意思

數據鏈路層的功能：定義了電信號的分組方式

(1) 以太網協議：

早期的時候各個公司都有自己的分組方式，后來形成了統一的標準，即以太網協議ethernet。

ethernet規定

• 一組電信號構成一個數據包，叫做'幀'
• 每一數據幀分成：報頭head和數據data兩部分
• head包含：(固定18個字節)
• 發送者/源地址，6個字節
• 接收者/目標地址，6個字節
• 數據類型，6個字節
• data包含：(最短46字節，最長1500字節)

數據包的具體內容

• head長度+data長度=最短64字節，最長1518字節，超過最大限制就分片發送

(2) mac地址：

head中包含的源和目標地址由來：ethernet規定接入internet的設備都必須具備網卡，發送端和接收端的地址便是指網卡的地址，即mac地址。

mac地址：每塊網卡出廠時都被燒制上一個世界唯一的mac地址，長度為48位2進制，通常由12位16進制數表示(前六位是廠商編號，后六位是流水線號)

(3) 廣播：

有了mac地址，同一網絡內的兩臺主機就可以通信了(一臺主機通過arp協議獲取另外一臺主機的mac地址)ethernet采用最原始的方式，廣播的方式進行通信，即計算機通信基本靠吼

3. 網絡層：

有了ethernet、mac地址、廣播的發送方式，世界上的計算機就可以彼此通信了，問題是世界范圍的互聯網是由一個個彼此隔離的小的局域網組成的，那么如果所有的通信都采用以太網的廣播方式，那么一臺機器發送的包全世界都會收到，這就不僅僅是效率低的問題了，這會是一種災難

上圖結論：必須找出一種方法來區分哪些計算機屬于同一廣播域，哪些不是，如果是就采用廣播的方式發送，如果不是，就采用路由的方式(向不同廣播域/子網分發數據包)，mac地址是無法區分的，它只跟廠商有關。

網絡層功能：引入一套新的地址用來區分不同的廣播域/子網，這套地址即網絡地址

(1) IP協議：

規定網絡地址的協議叫ip協議，它定義的地址稱之為ip地址，廣泛采用的v4版本即ipv4，它規定網絡地址由32位2進制表示。

范圍0.0.0.0-255.255.255.255

一個ip地址通常寫成四段十進制數，例：172.16.10.1

ip地址分成兩部分

• 網絡部分：標識子網
• 主機部分：標識主機

注意：單純的ip地址段只是標識了ip地址的種類，從網絡部分或主機部分都無法辨識一個ip所處的子網

例：172.16.10.1與172.16.10.2并不能確定二者處于同一子網

(2) 子網掩碼

所謂"子網掩碼"，就是表示子網絡特征的一個參數。它在形式上等同于IP地址，也是一個32位二進制數字，它的網絡部分全部為1，主機部分全部為0。比如，IP地址172.16.10.1，如果已知網絡部分是前24位，主機部分是后8位，那么子網絡掩碼就是11111111.11111111.11111111.00000000，寫成十進制就是255.255.255.0。

知道"子網掩碼"，我們就能判斷，任意兩個IP地址是否處在同一個子網絡。方法是將兩個IP地址與子網掩碼分別進行AND運算(兩個數位都為1，運算結果為1，否則為0)，然后比較結果是否相同，如果是的話，就表明它們在同一個子網絡中，否則就不是。

比如，已知IP地址172.16.10.1和172.16.10.2的子網掩碼都是255.255.255.0，請問它們是否在同一個子網絡?兩者與子網掩碼分別進行AND運算，

172.16.10.1：10101100.00010000.00001010.000000001  
255255.255.255.0:11111111.11111111.11111111.00000000 

AND運算得網絡地址結果：

10101100.00010000.00001010.000000001->172.16.10.0 
172.16.10.2：10101100.00010000.00001010.000000010 
255255.255.255.0:11111111.11111111.11111111.00000000 

AND運算得網絡地址結果：

10101100.00010000.00001010.000000001->172.16.10.0 

結果都是172.16.10.0，因此它們在同一個子網絡。

總結一下，IP協議的作用主要有兩個，一個是為每一臺計算機分配IP地址，另一個是確定哪些地址在同一個子網絡。

(3) ip數據包

ip數據包也分為head和data部分，無須為ip包定義單獨的欄位，直接放入以太網包的data部分

• head：長度為20到60字節
• data：最長為65,515字節。

而以太網數據包的"數據"部分，最長只有1500字節。因此，如果IP數據包超過了1500字節，它就需要分割成幾個以太網數據包，分開發送了。

(4) ARP協議

arp協議由來：計算機通信基本靠吼，即廣播的方式，所有上層的包到最后都要封裝上以太網頭，然后通過以太網協議發送，在談及以太網協議時候，我門了解到通信是基于mac的廣播方式實現，計算機在發包時，獲取自身的mac是容易的，如何獲取目標主機的mac，就需要通過arp協議

arp協議功能：廣播的方式發送數據包，獲取目標主機的mac地址

協議工作方式：每臺主機ip都是已知的

例如：主機172.16.10.10/24訪問172.16.10.11/24

• 首先通過ip地址和子網掩碼區分出自己所處的子網
• 分析172.16.10.10/24與172.16.10.11/24處于同一網絡(如果不是同一網絡，那么下表中目標ip為172.16.10.1,通過arp獲取的是網關的mac)
• 這個包會以廣播的方式在發送端所處的自網內傳輸，所有主機接收后拆開包，發現目標ip為自己的，就響應，返回自己的mac

4. 傳輸層：

網絡層的ip幫我們區分子網，以太網層的mac幫我們找到主機，然后大家使用的都是應用程序，你的電腦上可能同時開啟qq，暴風影音，等多個應用程序，那么我們通過ip和mac找到了一臺特定的主機，如何標識這臺主機上的應用程序，答案就是端口，端口即應用程序與網卡關聯的編號。

傳輸層功能：建立端口到端口的通信

補充：端口范圍0-65535，0-1023為系統占用端口

• tcp協議：可靠傳輸，TCP數據包沒有長度限制，理論上可以無限長，但是為了保證網絡的效率，通常TCP數據包的長度不會超過IP數據包的長度，以確保單個TCP數據包不必再分割。
• udp協議：不可靠傳輸，"報頭"部分一共只有8個字節，總長度不超過65,535字節，正好放進一個IP數據包。
• tcp報文

• tcp三次握手和四次揮手

5. 應用層：

用戶使用的都是應用程序，均工作于應用層，互聯網是開發的，大家都可以開發自己的應用程序，數據多種多樣，必須規定好數據的組織形式

應用層功能：規定應用程序的數據格式。

例：TCP協議可以為各種各樣的程序傳遞數據，比如Email、WWW、FTP等等。那么，必須有不同協議規定電子郵件、網頁、FTP數據的格式，這些應用程序協議就構成了"應用層"。

6. Socket：

我們知道兩個進程如果需要進行通訊最基本的一個前提能能夠唯一的標示一個進程，在本地進程通訊中我們可以使用PID來唯一標示一個進程，但PID只在本地唯一，網絡中的兩個進程PID沖突幾率很大，這時候我們需要另辟它徑了，我們知道IP層的ip地址可以唯一標示主機，而TCP層協議和端口號可以唯一標示主機的一個進程，這樣我們可以利用ip地址+協議+端口號唯一標示網絡中的一個進程。

能夠唯一標示網絡中的進程后，它們就可以利用socket進行通信了，什么是socket呢?我們經常把socket翻譯為套接字，socket是在應用層和傳輸層之間的一個抽象層，它把TCP/IP層復雜的操作抽象為幾個簡單的接口供應用層調用已實現進程在網絡中通信。

socket起源于UNIX，在Unix一切皆文件哲學的思想下，socket是一種"打開—讀/寫—關閉"模式的實現，服務器和客戶端各自維護一個"文件"，在建立連接打開后，可以向自己文件寫入內容供對方讀取或者讀取對方內容，通訊結束時關閉文件。

三、網絡通信實現

每臺主機實現網絡通信的基本四要素：

• 本機的IP地址
• 子網掩碼
• 網關的IP地址
• DNS的IP地址

獲取這四要素分兩種方式：

(1) 靜態獲取：即手動配置

(2) 動態獲取：通過dhcp獲取

• 最前面的"以太網標頭"，設置發出方(本機)的MAC地址和接收方(DHCP服務器)的MAC地址。前者就是本機網卡的MAC地址，后者這時不知道，就填入一個廣播地址：FF-FF-FF-FF-FF-FF。
• 后面的"IP標頭"，設置發出方的IP地址和接收方的IP地址。這時，對于這兩者，本機都不知道。于是，發出方的IP地址就設為0.0.0.0，接收方的IP地址設為255.255.255.255。
• 最后的"UDP標頭"，設置發出方的端口和接收方的端口。這一部分是DHCP協議規定好的，發出方是68端口，接收方是67端口。

這個數據包構造完成后，就可以發出了。以太網是廣播發送，同一個子網絡的每臺計算機都收到了這個包。因為接收方的MAC地址是FF-FF-FF-FF-FF-FF，看不出是發給誰的，所以每臺收到這個包的計算機，還必須分析這個包的IP地址，才能確定是不是發給自己的。當看到發出方IP地址是0.0.0.0，接收方是255.255.255.255，于是DHCP服務器知道"這個包是發給我的"，而其他計算機就可以丟棄這個包。

接下來，DHCP服務器讀出這個包的數據內容，分配好IP地址，發送回去一個"DHCP響應"數據包。這個響應包的結構也是類似的，以太網標頭的MAC地址是雙方的網卡地址，IP標頭的IP地址是DHCP服務器的IP地址(發出方)和255.255.255.255(接收方)，UDP標頭的端口是67(發出方)和68(接收方)，分配給請求端的IP地址和本網絡的具體參數則包含在Data部分。

新加入的計算機收到這個響應包，于是就知道了自己的IP地址、子網掩碼、網關地址、DNS服務器等等參數。

四、例舉主機訪問網站的網絡通信過程

首先打開瀏覽器，在地址欄輸入URL，回車，出現網站內容。這是我們幾乎每天都在做的事，那這個過程中到底是什么原理呢?HTTP、TCP、DNS、IP這些耳熟能詳的名詞都在什么時候起著什么作用呢?在這里整體梳理一遍。

1. 整個過程基本分做下面幾個部分：

• 域名解析成IP地址;
• 與目的主機進行TCP連接(三次握手);
• 發送與收取數據;
• 與目的主機斷開TCP連接(四次揮手);

下面分別進行詳細說明。

2. 域名解析成IP地址

(1) 首先說什么是域名解析?

我們在瀏覽器地址欄中輸入的都是類似"www.baidu.com"、"www.qq.com"等等容易記憶的英文域名，但這些字母你直接交給整個網絡線路去尋找目的主機找得到嗎?找不到，因為每個主機在網絡中的位置都是以IP標識的，IP才是主機在網絡中的位置，域名只是為了方便用戶記憶而已，這就要求瀏覽器能夠識別域名并且將其轉化為對應的IP地址。

所以瀏覽器會有一個DNS緩存，其中記錄了一些域名與IP的對應關系，供瀏覽器快速查找需要的IP。但是這個DNS緩存不可能存下所有的域名-IP地址，何況IP地址有時候還會變化，因此當在DNS緩存中沒有找到的時候，就要先向DNS服務器請求域名解析，我們常聽到的DNS服務器很大的作用就是進行域名解析。

值得一提的是，DNS域名解析時用的是UDP協議。

(2) 整個域名解析的過程如下：

• 瀏覽器向本機DNS模塊發出DNS請求，DNS模塊生成相關的DNS報文;
• DNS模塊將生成的DNS報文傳遞給傳輸層的UDP協議單元;
• UDP協議單元將該數據封裝成UDP數據報，傳遞給網絡層的IP協議單元;
• IP協議單元將該數據封裝成IP數據包，其目的IP地址為DNS服務器的IP地址;
• 封裝好的IP數據包將傳遞給數據鏈路層的協議單元進行發送;
• 發送時在ARP緩存中查詢相關數據，如果沒有，就發送ARP廣播(包含待查詢的IP地址，收到廣播的主機檢查自己的IP，符合條件的主機將含有自己MAC地址的ARP包發送給ARP廣播的主機)請求，等待ARP回應;
• 得到ARP回應后，將IP地址與路由的下一跳MAC地址對應的信息寫入ARP緩存表;
• 寫入緩存后，以路由下一跳的地址填充目的MAC地址，以數據幀形式轉發;
• 轉發可能進行多次;
• DNS請求到達DNS服務器的數據鏈路層協議單元;
• DNS服務器的數據鏈路層協議單元解析數據幀，將內部的IP數據包傳遞給網絡層IP協議單元;
• DNS服務器的IP協議單元解析IP數據包，將內部的UDP數據報傳遞給傳輸層UDP協議單元;
• DNS服務器的UDP協議單元解析收到的UDP數據報，將內部的DNS報文傳遞給DNS服務單元;
• DNS服務單元將域名解析成對應IP地址，產生DNS回應報文;
• DNS回應報文->UDP->IP->MAC->我的主機;
• 我的主機收到數據幀，將數據幀->IP->UDP->瀏覽器;
• 將域名解析結果以域名和IP地址對應的形式寫入DNS緩存表。

其中提到了一個ARP的概念，類似于DNS將域名翻譯成IP，ARP則是將IP翻譯成MAC地址，我們知道了IP后，需要通過主機的MAC地址來更具體的找到主機。同樣的也有一個ARP緩存，其中存儲了一些IP與MAC地址的對應關系，如果緩存中找不到，就會進行廣播來查找MAC地址，收到廣播的主機會檢查自己的IP是否是待查找的IP，是的話就返回自己的MAC地址。

如果做開發，往往還會接觸到端口這個概念，那端口是什么呢?這里是指TCP/IP協議中的端口，端口號的范圍從0到65535，比如用于瀏覽網頁服務的80端口，用于FTP服務的21端口等等，都有一些固定的端口號，被占用后就不能被別的服務拿來傳輸數據了。

3. 與目的主機進行TCP連接(三次握手)

得到域名對應的IP地址后，也就表示可以將數據送達目的主機了，這時候才開始我們常說的三次握手建立連接。

HTTP的請求時使用TCP進行傳輸的，可以保證可靠傳輸，并且有序，而TCP是有連接的傳輸，也就是在傳輸數據之前，會建立我的主機與目的主機之間的連接，然后才能傳輸數據，傳輸完成后，還有斷開連接。這也就是TCP的三次握手和四次揮手，大致過程如下圖所示：

具體的三次握手建立連接的過程如下表述，其中數據包的傳輸過程類似上文請求DNS服務器時的過程，就簡單的表示一下：

• 向目的主機發送TCP連接請求報文;
• 該TCP報文中SYN標志位設為1，表示連接請求;
• 該TCP報文通過IP(DNS)->MAC(ARP)->網關->目的主機;
• 目的主機收到數據幀，通過IP->TCP，TCP協議單元回應請求應答報文;
• 該報文中SYN和ACK標志設為1，表示連接請求應答;
• 該TCP報文通過IP(DNS)->MAC(ARP)->網關->我的主機;
• 我的主機收到數據幀，通過IP->TCP，TCP協議單元回應請求確認報文;
• 該TCP報文通過IP(DNS)->MAC(ARP)->網關->目的主機;
• 目的主機收到數據幀，通過IP->TCP，連接建立完成。

三次握手的過程就是一去一回一去，互相確認一下，就建立連接啦。這個過程中任何一個報文出錯或者超時，都要進行重傳。

4. 發送與收取數據

如上所說，只有建立連接后才能開始傳輸數據，數據其實有多種傳輸方式，比如分段啊分組啊分時啊等等。而一個數據包的傳輸過程如下所示，以HTTP的GET方法請求為例：

• 瀏覽器向域名發出GET方法報文;
• 該GET方法報文通過TCP->IP(DNS)->MAC(ARP)->網關->目的主機;
• 目的主機收到數據幀，通過IP->TCP->HTTP，HTTP協議單元會回應HTTP協議格式封裝好的HTML形式數據;
• 該HTML數據通過TCP->IP(DNS)->MAC(ARP)->網關->我的主機;
• 我的主機收到數據幀，通過IP->TCP->HTTP->瀏覽器，瀏覽器以網頁形式顯示HTML內容。

其他的HTTP方法在傳輸數據時方法都類似，只是所攜帶的內容不同。

5. 與目的主機斷開TCP連接(四次揮手)

數據傳輸完成后需要斷開連接，與建立時不同，斷開連接需要多一次，有四次揮手，至于為什么，看完過程我們再講。

看圖理解過程：

過程如下：

• 瀏覽器向目的主機發出TCP連接結束請求報文，此時進入FIN WAIT狀態;
• 該報文FIN標志位設為1，表示結束請求;
• TCP結束請求報文通過IP(DNS)->MAC(ARP)->網關->目的主機;
• 目的主機收到數據幀，通過IP->TCP，TCP協議單元回應結束應答報文;
• 當前只是進行回應，因為目的主機可能還有數據要傳，并不急著斷開連接;
• 該報文中ACK標志位設為1，表示收到結束請求;
• 目的數據發送完所有數據后，向我的主機發出TCP連接結束請求報文;
• 該報文FIN標志位設為1，表示結束請求;
• TCP結束請求報文通過IP(DNS)->MAC(ARP)->網關->我的主機;
• 我的主機收到數據幀，通過IP->TCP，TCP協議單元回應結束應答報文，此時進入TIME WAIT狀態，因為不相信網絡是可靠的，如果目的主機沒收到還可以重發;
• 該報文中的FIN標志位均設為1，表示結束應答;
• 該TCP回應報文通過IP(DNS)->MAC(ARP)->網關->目的主機;
• 目的主機關閉連接;
• TIME WAIT等待結束后，沒有收到回復，說明目的正常關閉了，我的主機也關閉連接。

這里的過程是以我的主機主動發起結束請求開始的，實際上也可以由目的主機主動發起，那么過程就會跟上面相反，但細節差不多。

FIN_WAIT狀態是主動發起請求時等待確認信息，而TIME_WAIT狀態是收到結束請求后發送確認信息后等待看是否需要重發。

現在來說說為什么斷開連接時需要四次揮手呢?因為建立連接時目的主機可以直接發送SYN(同步)+ACK(應答)報文。而當斷開時，目的主機收到FIN后可能還有數據要發，并不一定直接斷開，所以先發送一次應答，告知我的主機收到了請求，等確認所有數據都發完了，再發送FIN，同時等待我的主機應答，這里的FIN和ACK就不能一起發送，所以需要四次。

6. 總結一下：

以上就是主機訪問網站時的網絡通信全過程，歸納起來就是：

首先要通過域名找到IP，如果緩存里沒有就要請求DNS服務器;得到IP后開始于目的主機進行三次握手來建立TCP連接;連接建立后進行HTTP訪問，傳輸并獲取網頁內容;傳輸完后與目的主機四次揮手來斷開TCP連接。