QQ通信原理及QQ是怎么穿透內(nèi)網(wǎng)進(jìn)行通信的?
QQ是一個(gè)基于TCP/UDP協(xié)議的通訊軟件。發(fā)送消息的時(shí)候是UDP打洞,登陸的時(shí)候使用HTTP。因?yàn)榈顷懛?wù)器其實(shí)就是一個(gè)HTTP服務(wù)器,只不過不是常用的那些,那個(gè)服務(wù)器是騰訊自行開發(fā)的。
一、登錄
QQ客戶端在局域網(wǎng)內(nèi),當(dāng)你打開QQ登錄到QQ服務(wù)器時(shí),通過外網(wǎng),你的客戶端與QQ服務(wù)器建立了一個(gè)長連接。你可以用netstat -bn 看到此連接的狀態(tài)是 establish
此時(shí),在QQ服務(wù)器那面看到的連接的IP是你們局域網(wǎng)對(duì)外的IP。舉個(gè)例子:
QQ服務(wù)器 IP:121.115.11.81 服務(wù)端口:80
你的機(jī)器在局域網(wǎng)中內(nèi)部IP: 10.19.9.89
你局域網(wǎng)出口InternetIP: 61.183.172.149
你的客戶端的請(qǐng)求將通過外網(wǎng)出去,如果防火墻沒有禁止訪問Internet上80端口服務(wù),那么你的QQ客戶端可以正常登錄。你看到的連接是 (netstat -bn)
10.19.9.89:55579 124.115.11.81:80 establish
這是一個(gè)假象。通過QQ服務(wù)器看到的連接是:
124.115.11.81:80 61.183.172.149:31234 establish
這樣,防火墻上的31234口對(duì)應(yīng)的就是你機(jī)器的55579口。(由于你是發(fā)起方,這個(gè)數(shù)是變化的。動(dòng)態(tài)的)
當(dāng)有信息給你時(shí),QQ服務(wù)器只需要發(fā)給防火墻的55579口即可。(這里防火墻作了地址翻譯)
不管UDP還是TCP,最終登陸成功之后,QQ都會(huì)有一個(gè)TCP連接來保持在線狀態(tài)。這個(gè)TCP連接的遠(yuǎn)程端口一般是80,采用UDP方式登陸的時(shí)候,端口是8000。因此,假如你所在的網(wǎng)絡(luò)開放了80端口(80端口是最常用端口。。就是通常訪問Web的端口,禁掉它的話,你的網(wǎng)絡(luò)對(duì)你來說價(jià)值已經(jīng)不大了),但沒有屏蔽騰訊的服務(wù)器IP,恭喜你,你是可以登陸成功QQ的。
二、聊天消息通信
采用UDP協(xié)議,通過服務(wù)器中轉(zhuǎn)方式。大家都知道,UDP 協(xié)議是不可靠協(xié)議,它只管發(fā)送,不管對(duì)方是否收到的,但它的傳輸很高效。但是,作為聊天軟件,怎么可以采用這樣的不可靠方式來傳輸消息呢?于是,騰訊采用了上層協(xié)議來保證可靠傳輸:如果客戶端使用UDP協(xié)議發(fā)出消息后,服務(wù)器收到該包,需要使用UDP協(xié)議發(fā)回一個(gè)應(yīng)答包。如此來保證消息可以無遺漏傳輸。之所以會(huì)發(fā)生在客戶端明明看到“消息發(fā)送失敗”但對(duì)方又收到了這個(gè)消息的情況,就是因?yàn)榭蛻舳税l(fā)出的消息服務(wù)器已經(jīng)收到并轉(zhuǎn)發(fā)成功,但客戶端由于網(wǎng)絡(luò)原因沒有收到服務(wù)器的應(yīng)答包引起的。
因?yàn)橛脩粢话愣际窃诰钟蚓W(wǎng)內(nèi),地址都為私有IP,騰訊服務(wù)器是如何將信息轉(zhuǎn)發(fā)到用戶的?
首先先介紹一些基本概念:
NAT(Network AddressTranslators),網(wǎng)絡(luò)地址轉(zhuǎn)換:網(wǎng)絡(luò)地址轉(zhuǎn)換是在IP地址日益缺乏的情況下產(chǎn)生的,它的主要目的就是為了能夠地址重用。NAT分為兩大類,基本的NAT和NAPT(Network Address/Port Translator)。
最開始NAT是運(yùn)行在路由器上的一個(gè)功能模塊。
***提出的是基本的NAT,它的產(chǎn)生基于如下事實(shí):一個(gè)私有網(wǎng)絡(luò)(域)中的節(jié)點(diǎn)中只有很少的節(jié)點(diǎn)需要與外網(wǎng)連接(呵呵,這是在上世紀(jì)90年代中期提出的)。那么這個(gè)子網(wǎng)中其實(shí)只有少數(shù)的節(jié)點(diǎn)需要全球唯一的IP地址,其他的節(jié)點(diǎn)的IP地址應(yīng)該是可以重用的。
因此,基本的NAT實(shí)現(xiàn)的功能很簡單,在子網(wǎng)內(nèi)使用一個(gè)保留的IP子網(wǎng)段,這些IP對(duì)外是不可見的。子網(wǎng)內(nèi)只有少數(shù)一些IP地址可以對(duì)應(yīng)到真正全球唯一的IP地址。如果這些節(jié)點(diǎn)需要訪問外部網(wǎng)絡(luò),那么基本NAT就負(fù)責(zé)將這個(gè)節(jié)點(diǎn)的子網(wǎng)內(nèi)IP轉(zhuǎn)化為一個(gè)全球唯一的IP然后發(fā)送出去。(基本的NAT會(huì)改變IP包中的原IP地址,但是不會(huì)改變IP包中的端口)
關(guān)于基本的NAT可以參看RFC 1631
另外一種NAT叫做NAPT,從名稱上我們也可以看得出,NAPT不但會(huì)改變經(jīng)過這個(gè)NAT設(shè)備的IP數(shù)據(jù)報(bào)的IP地址,還會(huì)改變IP數(shù)據(jù)報(bào)的TCP/UDP端口。基本NAT的設(shè)備可能我們見的不多(呵呵,我沒有見到過),NAPT才是我們真正討論的主角。看下圖:
有一個(gè)私有網(wǎng)絡(luò)10.*.*.*,ClientA是其中的一臺(tái)計(jì)算機(jī),這個(gè)網(wǎng)絡(luò)的網(wǎng)關(guān)(一個(gè)NAT設(shè)備)的外網(wǎng)IP是155.99.25.11(應(yīng)該還有一個(gè)內(nèi)網(wǎng)的IP地址,比如10.0.0.10)。如果Client A中的某個(gè)進(jìn)程(這個(gè)進(jìn)程創(chuàng)建了一個(gè)UDPSocket,這個(gè)Socket綁定1234端口)想訪問外網(wǎng)主機(jī)18.181.0.31的1235端口,那么當(dāng)數(shù)據(jù)包通過NAT時(shí)會(huì)發(fā)生什么事情呢?
首先NAT會(huì)改變這個(gè)數(shù)據(jù)包的原IP地址,改為155.99.25.11。接著NAT會(huì)為這個(gè)傳輸創(chuàng)建一個(gè)Session(Session是一個(gè)抽象的概念,如果是TCP,也許Session是由一個(gè)SYN包開始,以一個(gè)FIN包結(jié)束。而UDP呢,以這個(gè)IP的這個(gè)端口的***個(gè)UDP開始,結(jié)束呢,呵呵,也許是幾分鐘,也許是幾小時(shí),這要看具體的實(shí)現(xiàn)了)并且給這個(gè)Session分配一個(gè)端口,比如62000,然后改變這個(gè)數(shù)據(jù)包的源端口為62000。所以本來是(10.0.0.1:1234->18.181.0.31:1235)的數(shù)據(jù)包到了互聯(lián)網(wǎng)上變?yōu)榱?155.99.25.11:62000->18.181.0.31:1235)。
一旦NAT創(chuàng)建了一個(gè)Session后,NAT會(huì)記住62000端口對(duì)應(yīng)的是10.0.0.1的1234端口,以后從18.181.0.31發(fā)送到62000端口的數(shù)據(jù)會(huì)被NAT自動(dòng)的轉(zhuǎn)發(fā)到10.0.0.1上。(注意:這里是說18.181.0.31發(fā)送到62000端口的數(shù)據(jù)會(huì)被轉(zhuǎn)發(fā),其他的IP發(fā)送到這個(gè)端口的數(shù)據(jù)將被NAT拋棄)這樣Client A就與Server S1建立以了一個(gè)連接。#p#
呵呵,上面的基礎(chǔ)知識(shí)可能很多人都知道了,那么下面是關(guān)鍵的部分了。
看看下面的情況:
接上面的例子,如果Client A的原來那個(gè)Socket(綁定了1234端口的那個(gè)UDP Socket)又接著向另外一個(gè)Server S2發(fā)送了一個(gè)UDP包,那么這個(gè)UDP包在通過NAT時(shí)會(huì)怎么樣呢?
這時(shí)可能會(huì)有兩種情況發(fā)生,一種是NAT再次創(chuàng)建一個(gè)Session,并且再次為這個(gè)Session分配一個(gè)端口號(hào)(比如:62001)。另外一種是NAT再次創(chuàng)建一個(gè)Session,但是不會(huì)新分配一個(gè)端口號(hào),而是用原來分配的端口號(hào)62000。前一種NAT叫做SymmetricNAT,后一種叫做ConeNAT。我們期望我們的NAT是第二種,呵呵,如果你的NAT剛好是***種,那么很可能會(huì)有很多P2P軟件失靈。(可以慶幸的是,現(xiàn)在絕大多數(shù)的NAT屬于后者,即Cone NAT)
好了,我們看到,通過NAT,子網(wǎng)內(nèi)的計(jì)算機(jī)向外連結(jié)是很容易的(NAT相當(dāng)于透明的,子網(wǎng)內(nèi)的和外網(wǎng)的計(jì)算機(jī)不用知道NAT的情況)。
但是如果外部的計(jì)算機(jī)想訪問子網(wǎng)內(nèi)的計(jì)算機(jī)就比較困難了(而這正是P2P所需要的)。
那么我們?nèi)绻霃耐獠堪l(fā)送一個(gè)數(shù)據(jù)報(bào)給內(nèi)網(wǎng)的計(jì)算機(jī)有什么辦法呢?首先,我們必須在內(nèi)網(wǎng)的NAT上打上一個(gè)“洞”(也就是前面我們說的在NAT上建立一個(gè)Session),這個(gè)洞不能由外部來打,只能由內(nèi)網(wǎng)內(nèi)的主機(jī)來打。而且這個(gè)洞是有方向的,比如從內(nèi)部某臺(tái)主機(jī)(比如:192.168.0.10)向外部的某個(gè)IP(比如:219.237.60.1)發(fā)送一個(gè)UDP包,那么就在這個(gè)內(nèi)網(wǎng)的NAT設(shè)備上打了一個(gè)方向?yàn)?19.237.60.1的“洞”,(這就是稱為UDP HolePunching的技術(shù))以后219.237.60.1就可以通過這個(gè)洞與內(nèi)網(wǎng)的192.168.0.10聯(lián)系了。(但是其他的IP不能利用這個(gè)洞)。
呵呵,現(xiàn)在該輪到我們的正題P2P了。有了上面的理論,實(shí)現(xiàn)兩個(gè)內(nèi)網(wǎng)的主機(jī)通訊就差***一步了:兩邊都無法主動(dòng)發(fā)出連接請(qǐng)求,誰也不知道誰的公網(wǎng)地址,那我們?nèi)绾蝸泶蜻@個(gè)洞呢?我們需要一個(gè)中間人來聯(lián)系這兩個(gè)內(nèi)網(wǎng)主機(jī)。
現(xiàn)在我們來看看一個(gè)P2P軟件的流程,以下圖為例:
Server S (219.237.60.1)
|
|
+-----------------------+----------------------+
| |
NAT A (外網(wǎng)IP:202.187.45.3) NAT B (外網(wǎng)IP:187.34.1.56)
| (內(nèi)網(wǎng)IP:192.168.0.1) | (內(nèi)網(wǎng)IP:192.168.0.1)
| |
Client A (192.168.0.20:60000) Client B (192.168.0.10:40000)
首先,Client A登錄服務(wù)器,NAT A為這次的Session分配了一個(gè)端口60000,那么ServerS收到的Client A的地址是202.187.45.3:60000,這就是Client A的外網(wǎng)地址了。同樣,ClientB登錄Server S,NAT B給此次Session分配的端口是40000,那么ServerS收到的B的地址是187.34.1.56:40000。
此時(shí),Client A與Client B都可以與ServerS通信了。如果Client A此時(shí)想直接發(fā)送信息給Client B,那么他可以從ServerS那兒獲得B的公網(wǎng)地址187.34.1.56:40000,是不是Client A向這個(gè)地址發(fā)送信息ClientB就能收到了呢?答案是不行,因?yàn)槿绻@樣發(fā)送信息,NATB會(huì)將這個(gè)信息丟棄(因?yàn)檫@樣的信息是不請(qǐng)自來的,為了安全,大多數(shù)NAT都會(huì)執(zhí)行丟棄動(dòng)作)。那該怎么辦呢? 首先我們假設(shè)Server S是219.237.60.1:7000,當(dāng)Clinet A(202.187.45.3:60000)向Server S(219.237.60.1:7000)發(fā)送數(shù)據(jù)包,Server S是可以正常接收到數(shù)據(jù),因?yàn)樗菍儆谕庑烷_放的服務(wù)器端口。當(dāng)Server S收到數(shù)據(jù)包后可以獲知Clinet A(202.187.45.3:60000)對(duì)外通信的臨時(shí)session信息(這個(gè)叫臨時(shí)的端口,假設(shè)是60000會(huì)過期,具體時(shí)間不同,一般是每30S發(fā)送一個(gè)keep住連接以保證端口維持通信連接不斷)Server S此時(shí)應(yīng)將次信息保存起來。而同時(shí),Client B (192.168.0.10:40000)也在時(shí)刻向
Server S發(fā)送心跳包,Server S就向Client B (192.168.0.10:40000)發(fā)送一個(gè)通知,讓Client B (192.168.0.10:4000) 發(fā)送探測包(這個(gè)數(shù)據(jù)包***發(fā)幾個(gè)),Client B (192.168.0.10:4000)在收到通知后在向Server S發(fā)送反饋包,說明以向自己以向Client A (192.168.0.20:60000)發(fā)送了探測包,Server S在收到反饋之后再向Client A (192.168.0.20:60000)轉(zhuǎn)發(fā)反饋包,Client A (192.168.0.20:60000)在收到數(shù)據(jù)包之后在向原本要求請(qǐng)求的Client B (192.168.0.10:4000)發(fā)送數(shù)據(jù)包,此時(shí)連接已經(jīng)打通,實(shí)現(xiàn)穿透。Client B (192.168.0.10:4000)會(huì)將數(shù)據(jù)包轉(zhuǎn)發(fā)給
Client A (192.168.0.20:60000)從而在轉(zhuǎn)發(fā)給內(nèi)網(wǎng)內(nèi)網(wǎng)IP:192.168.0.1。
對(duì)于Symmetric NAPT的情況,網(wǎng)上有人說可以通過探測端口的方式,不過成功率并不高,我建議可用服務(wù)器進(jìn)行中轉(zhuǎn)。另外,***在數(shù)據(jù)包發(fā)送前先檢測是否進(jìn)行的是同個(gè)NAT的情況,也就是內(nèi)網(wǎng)發(fā)內(nèi)網(wǎng),如果是,直接發(fā)送即可,而無需通過外網(wǎng)再繞回來。
ps:探測包其實(shí)就是為了在雙方的NAT上建立session,比如A要發(fā)給B,但B在NAT上找不到session,就會(huì)把包丟棄;但A通過發(fā)這個(gè)探測包,會(huì)在自己所在的ANT上建session。同理,B也發(fā)探測包。當(dāng)然,這種探測包一般會(huì)發(fā)好幾次,直到對(duì)方應(yīng)答。所謂的心跳包,其實(shí)就是為了讓session保持活動(dòng),不至于被NAT清除。