QQ通訊原理及QQ是怎麼穿透內網進行通訊的？
阿新 • • 發佈：2019-02-07
QQ是一個基於TCP/UDP協議的通訊軟體
傳送訊息的時候是UDP打洞,登陸的時候使用HTTP~因為登陸伺服器其實就是一個HTTP伺服器,只不過不是常用的那些,那個伺服器是騰訊自行開發的！！！
一、登入
QQ客戶端在區域網內，當你開啟QQ登入到QQ伺服器時，通過外網，你的客戶端與QQ伺服器建立了一個長連線。你可以用netstat -bn 看到此連線的狀態是 establish
此時，在QQ伺服器那面看到的連線的IP是你們區域網對外的IP。舉個例子：
QQ伺服器 IP：121.115.11.81 服務埠：80
你的機器在區域網中內部IP： 10.19.9.89
你區域網出口InternetIP： 61.183.172.149
你的客戶端的請求將通過外網出去，如果防火牆沒有禁止訪問Internet上80埠服務，那麼你的QQ客戶端可以正常登入。你看到的連線是 （netstat -bn）
10.19.9.89:55579 124.115.11.81：80 establish
這是一個假象。通過QQ伺服器看到的連線是：
124.115.11.81：80 61.183.172.149：31234 establish
這樣，防火牆上的31234口對應的就是你機器的55579口。（由於你是發起方，這個數是變化的。動態的）
當有資訊給你時，QQ伺服器只需要發給防火牆的55579口即可。（這裡防火牆作了地址翻譯）
不管UDP還是TCP，最終登陸成功之後，QQ都會有一個TCP連線來保持線上狀態。這個TCP連線的遠端埠一般是80，採用UDP方式登陸的時候，埠是8000。因此，假如你所在的網路開放了80埠（80埠是最常用埠。。就是通常訪問Web的埠，禁掉它的話，你的網路對你來說價值已經不大了），但沒有遮蔽騰訊的伺服器IP，恭喜你，你是可以登陸成功QQ的。
二、聊天訊息通訊
採用UDP協議，通過伺服器中轉方式。大家都知道，UDP 協議是不可靠協議，它只管傳送，不管對方是否收到的，但它的傳輸很高效。但是，作為聊天軟體，怎麼可以採用這樣的不可靠方式來傳輸訊息呢？於是，騰訊採用了上層協議來保證可靠傳輸：如果客戶端使用UDP協議發出訊息後，伺服器收到該包，需要使用UDP協議發回一個應答包。如此來保證訊息可以無遺漏傳輸。之所以會發生在客戶端明明看到“訊息傳送失敗”但對方又收到了這個訊息的情況，就是因為客戶端發出的訊息伺服器已經收到並轉發成功，但客戶端由於網路原因沒有收到伺服器的應答包引起的。
因為使用者一般都是在區域網內,地址都為私有IP,騰訊伺服器是如何將資訊轉發到使用者的?
首先先介紹一些基本概念：
NAT(Network AddressTranslators)，網路地址轉換：網路地址轉換是在IP地址日益缺乏的情況下產生的，它的主要目的就是為了能夠地址重用。NAT分為兩大類，基本的NAT和NAPT(Network Address/Port Translator)。
最開始NAT是執行在路由器上的一個功能模組。
最先提出的是基本的NAT，它的產生基於如下事實：一個私有網路（域）中的節點中只有很少的節點需要與外網連線（呵呵，這是在上世紀90年代中期提出的）。那麼這個子網中其實只有少數的節點需要全球唯一的IP地址，其他的節點的IP地址應該是可以重用的。
因此，基本的NAT實現的功能很簡單，在子網內使用一個保留的IP子網段，這些IP對外是不可見的。子網內只有少數一些IP地址可以對應到真正全球唯一的IP地址。如果這些節點需要訪問外部網路，那麼基本NAT就負責將這個節點的子網內IP轉化為一個全球唯一的IP然後傳送出去。(基本的NAT會改變IP包中的原IP地址，但是不會改變IP包中的埠)
關於基本的NAT可以參看RFC 1631
另外一種NAT叫做NAPT，從名稱上我們也可以看得出，NAPT不但會改變經過這個NAT裝置的IP資料報的IP地址，還會改變IP資料報的TCP/UDP埠。基本NAT的裝置可能我們見的不多（呵呵，我沒有見到過），NAPT才是我們真正討論的主角。看下圖：
Server S1
18.181.0.31:1235
|
^ Session 1 (A-S1) ^ |
| 18.181.0.31:1235 | |
v 155.99.25.11:62000 v |
|
NAT
155.99.25.11
|
^ Session 1 (A-S1) ^ |
| 18.181.0.31:1235 | |
v 10.0.0.1:1234 v |
|
Client A
10.0.0.1:1234
有一個私有網路10.*.*.*，ClientA是其中的一臺計算機，這個網路的閘道器（一個NAT裝置）的外網IP是155.99.25.11(應該還有一個內網的IP地址，比如10.0.0.10)。如果Client A中的某個程序（這個程序建立了一個UDPSocket,這個Socket繫結1234埠）想訪問外網主機18.181.0.31的1235埠，那麼當資料包通過NAT時會發生什麼事情呢？
首先NAT會改變這個資料包的原IP地址，改為155.99.25.11。接著NAT會為這個傳輸建立一個Session（Session是一個抽象的概念，如果是TCP，也許Session是由一個SYN包開始，以一個FIN包結束。而UDP呢，以這個IP的這個埠的第一個UDP開始，結束呢，呵呵，也許是幾分鐘，也許是幾小時，這要看具體的實現了）並且給這個Session分配一個埠，比如62000，然後改變這個資料包的源埠為62000。所以本來是（10.0.0.1:1234->18.181.0.31:1235）的資料包到了網際網路上變為了（155.99.25.11:62000->18.181.0.31:1235）。
一旦NAT建立了一個Session後，NAT會記住62000埠對應的是10.0.0.1的1234埠，以後從18.181.0.31傳送到62000埠的資料會被NAT自動的轉發到10.0.0.1上。（注意：這裡是說18.181.0.31傳送到62000埠的資料會被轉發，其他的IP傳送到這個埠的資料將被NAT拋棄）這樣Client A就與Server S1建立以了一個連線。
呵呵，上面的基礎知識可能很多人都知道了，那麼下面是關鍵的部分了。
看看下面的情況：
Server S1 Server S2
18.181.0.31:1235 138.76.29.7:1235
| |
| |
+----------------------+----------------------+
|
^ Session 1 (A-S1) ^ | ^ Session 2 (A-S2) ^
| 18.181.0.31:1235 | | | 138.76.29.7:1235 |
v 155.99.25.11:62000 v | v 155.99.25.11:62000 v
|
Cone NAT
155.99.25.11
|
^ Session 1 (A-S1) ^ | ^ Session 2 (A-S2) ^
| 18.181.0.31:1235 | | | 138.76.29.7:1235 |
v 10.0.0.1:1234 v | v 10.0.0.1:1234 v
|
Client A
10.0.0.1:1234
接上面的例子，如果Client A的原來那個Socket(綁定了1234埠的那個UDP Socket)又接著向另外一個Server S2傳送了一個UDP包，那麼這個UDP包在通過NAT時會怎麼樣呢？
這時可能會有兩種情況發生，一種是NAT再次建立一個Session，並且再次為這個Session分配一個埠號（比如：62001）。另外一種是NAT再次建立一個Session，但是不會新分配一個埠號，而是用原來分配的埠號62000。前一種NAT叫做SymmetricNAT，後一種叫做ConeNAT。我們期望我們的NAT是第二種，呵呵，如果你的NAT剛好是第一種，那麼很可能會有很多P2P軟體失靈。（可以慶幸的是，現在絕大多數的NAT屬於後者，即Cone NAT）
好了，我們看到，通過NAT,子網內的計算機向外連結是很容易的（NAT相當於透明的，子網內的和外網的計算機不用知道NAT的情況）。
但是如果外部的計算機想訪問子網內的計算機就比較困難了（而這正是P2P所需要的）。
那麼我們如果想從外部發送一個數據報給內網的計算機有什麼辦法呢？首先，我們必須在內網的NAT上打上一個“洞”（也就是前面我們說的在NAT上建立一個Session），這個洞不能由外部來打，只能由內網內的主機來打。而且這個洞是有方向的，比如從內部某臺主機（比如：192.168.0.10）向外部的某個IP(比如：219.237.60.1)傳送一個UDP包，那麼就在這個內網的NAT裝置上打了一個方向為219.237.60.1的“洞”，（這就是稱為UDP HolePunching的技術）以後219.237.60.1就可以通過這個洞與內網的192.168.0.10聯絡了。（但是其他的IP不能利用這個洞）。
呵呵，現在該輪到我們的正題P2P了。有了上面的理論，實現兩個內網的主機通訊就差最後一步了：兩邊都無法主動發出連線請求，誰也不知道誰的公網地址，那我們如何來打這個洞呢？我們需要一箇中間人來聯絡這兩個內網主機。
現在我們來看看一個P2P軟體的流程，以下圖為例：
Server S （219.237.60.1）
|
|
+-----------------------+----------------------+
| |
NAT A (外網IP:202.187.45.3) NAT B (外網IP:187.34.1.56)
| (內網IP:192.168.0.1) | (內網IP:192.168.0.1)
| |
Client A (192.168.0.20:60000) Client B (192.168.0.10:40000)
首先，Client A登入伺服器，NAT A為這次的Session分配了一個埠60000，那麼ServerS收到的Client A的地址是202.187.45.3:60000，這就是Client A的外網地址了。同樣，ClientB登入Server S，NAT B給此次Session分配的埠是40000，那麼ServerS收到的B的地址是187.34.1.56:40000。
此時，Client A與Client B都可以與ServerS通訊了。如果Client A此時想直接傳送資訊給Client B，那麼他可以從ServerS那兒獲得B的公網地址187.34.1.56:40000，是不是Client A向這個地址傳送資訊ClientB就能收到了呢？答案是不行，因為如果這樣傳送資訊，NATB會將這個資訊丟棄（因為這樣的資訊是不請自來的，為了安全，大多數NAT都會執行丟棄動作）。那該怎麼辦呢？ 首先我們假設Server S是219.237.60.1：7000，當Clinet A（202.187.45.3：60000）向Server S（219.237.60.1：7000）傳送資料包，Server S是可以正常接收到資料，因為它是屬於外型開放的伺服器埠。當Server S收到資料包後可以獲知Clinet A（202.187.45.3：60000）對外通訊的臨時session資訊（這個叫臨時的埠，假設是60000會過期，具體時間不同，一般是每30S傳送一個keep住連線以保證埠維持通訊連線不斷）Server S此時應將次資訊儲存起來。而同時，Client B (192.168.0.10:40000)也在時刻向
Server S傳送心跳包，Server S就向Client B (192.168.0.10:40000)傳送一個通知，讓Client B (192.168.0.10:4000) 傳送探測包（這個資料包最好發幾個），Client B (192.168.0.10:4000)在收到通知後在向Server S傳送反饋包，說明以向自己以向Client A (192.168.0.20:60000)傳送了探測包，Server S在收到反饋之後再向Client A (192.168.0.20:60000)轉發反饋包，Client A (192.168.0.20:60000)在收到資料包之後在向原本要求請求的Client B (192.168.0.10:4000)傳送資料包，此時連線已經打通，實現穿透。Client B (192.168.0.10:4000)會將資料包轉發給
Client A (192.168.0.20:60000)從而在轉發給內網內網IP:192.168.0.1。
對於Symmetric NAPT的情況，網上有人說可以通過探測埠的方式，不過成功率並不高，我建議可用伺服器進行中轉。另外，最好在資料包傳送前先檢測是否進行的是同個NAT的情況，也就是內網發內網，如果是，直接傳送即可，而無需通過外網再繞回來。
傳送訊息的時候是UDP打洞,登陸的時候使用HTTP~因為登陸伺服器其實就是一個HTTP伺服器,只不過不是常用的那些,那個伺服器是騰訊自行開發的！！！
一、登入
QQ客戶端在區域網內，當你開啟QQ登入到QQ伺服器時，通過外網，你的客戶端與QQ伺服器建立了一個長連線。你可以用netstat -bn 看到此連線的狀態是 establish
此時，在QQ伺服器那面看到的連線的IP是你們區域網對外的IP。舉個例子：
QQ伺服器 IP：121.115.11.81 服務埠：80
你的機器在區域網中內部IP： 10.19.9.89
你區域網出口InternetIP： 61.183.172.149
你的客戶端的請求將通過外網出去，如果防火牆沒有禁止訪問Internet上80埠服務，那麼你的QQ客戶端可以正常登入。你看到的連線是 （netstat -bn）
10.19.9.89:55579 124.115.11.81：80 establish
這是一個假象。通過QQ伺服器看到的連線是：
124.115.11.81：80 61.183.172.149：31234 establish
這樣，防火牆上的31234口對應的就是你機器的55579口。（由於你是發起方，這個數是變化的。動態的）
當有資訊給你時，QQ伺服器只需要發給防火牆的55579口即可。（這裡防火牆作了地址翻譯）
不管UDP還是TCP，最終登陸成功之後，QQ都會有一個TCP連線來保持線上狀態。這個TCP連線的遠端埠一般是80，採用UDP方式登陸的時候，埠是8000。因此，假如你所在的網路開放了80埠（80埠是最常用埠。。就是通常訪問Web的埠，禁掉它的話，你的網路對你來說價值已經不大了），但沒有遮蔽騰訊的伺服器IP，恭喜你，你是可以登陸成功QQ的。
二、聊天訊息通訊
採用UDP協議，通過伺服器中轉方式。大家都知道，UDP 協議是不可靠協議，它只管傳送，不管對方是否收到的，但它的傳輸很高效。但是，作為聊天軟體，怎麼可以採用這樣的不可靠方式來傳輸訊息呢？於是，騰訊採用了上層協議來保證可靠傳輸：如果客戶端使用UDP協議發出訊息後，伺服器收到該包，需要使用UDP協議發回一個應答包。如此來保證訊息可以無遺漏傳輸。之所以會發生在客戶端明明看到“訊息傳送失敗”但對方又收到了這個訊息的情況，就是因為客戶端發出的訊息伺服器已經收到並轉發成功，但客戶端由於網路原因沒有收到伺服器的應答包引起的。
因為使用者一般都是在區域網內,地址都為私有IP,騰訊伺服器是如何將資訊轉發到使用者的?
首先先介紹一些基本概念：
NAT(Network AddressTranslators)，網路地址轉換：網路地址轉換是在IP地址日益缺乏的情況下產生的，它的主要目的就是為了能夠地址重用。NAT分為兩大類，基本的NAT和NAPT(Network Address/Port Translator)。
最開始NAT是執行在路由器上的一個功能模組。
最先提出的是基本的NAT，它的產生基於如下事實：一個私有網路（域）中的節點中只有很少的節點需要與外網連線（呵呵，這是在上世紀90年代中期提出的）。那麼這個子網中其實只有少數的節點需要全球唯一的IP地址，其他的節點的IP地址應該是可以重用的。
因此，基本的NAT實現的功能很簡單，在子網內使用一個保留的IP子網段，這些IP對外是不可見的。子網內只有少數一些IP地址可以對應到真正全球唯一的IP地址。如果這些節點需要訪問外部網路，那麼基本NAT就負責將這個節點的子網內IP轉化為一個全球唯一的IP然後傳送出去。(基本的NAT會改變IP包中的原IP地址，但是不會改變IP包中的埠)
關於基本的NAT可以參看RFC 1631
另外一種NAT叫做NAPT，從名稱上我們也可以看得出，NAPT不但會改變經過這個NAT裝置的IP資料報的IP地址，還會改變IP資料報的TCP/UDP埠。基本NAT的裝置可能我們見的不多（呵呵，我沒有見到過），NAPT才是我們真正討論的主角。看下圖：
Server S1
18.181.0.31:1235
|
^ Session 1 (A-S1) ^ |
| 18.181.0.31:1235 | |
v 155.99.25.11:62000 v |
|
NAT
155.99.25.11
|
^ Session 1 (A-S1) ^ |
| 18.181.0.31:1235 | |
v 10.0.0.1:1234 v |
|
Client A
10.0.0.1:1234
有一個私有網路10.*.*.*，ClientA是其中的一臺計算機，這個網路的閘道器（一個NAT裝置）的外網IP是155.99.25.11(應該還有一個內網的IP地址，比如10.0.0.10)。如果Client A中的某個程序（這個程序建立了一個UDPSocket,這個Socket繫結1234埠）想訪問外網主機18.181.0.31的1235埠，那麼當資料包通過NAT時會發生什麼事情呢？
首先NAT會改變這個資料包的原IP地址，改為155.99.25.11。接著NAT會為這個傳輸建立一個Session（Session是一個抽象的概念，如果是TCP，也許Session是由一個SYN包開始，以一個FIN包結束。而UDP呢，以這個IP的這個埠的第一個UDP開始，結束呢，呵呵，也許是幾分鐘，也許是幾小時，這要看具體的實現了）並且給這個Session分配一個埠，比如62000，然後改變這個資料包的源埠為62000。所以本來是（10.0.0.1:1234->18.181.0.31:1235）的資料包到了網際網路上變為了（155.99.25.11:62000->18.181.0.31:1235）。
一旦NAT建立了一個Session後，NAT會記住62000埠對應的是10.0.0.1的1234埠，以後從18.181.0.31傳送到62000埠的資料會被NAT自動的轉發到10.0.0.1上。（注意：這裡是說18.181.0.31傳送到62000埠的資料會被轉發，其他的IP傳送到這個埠的資料將被NAT拋棄）這樣Client A就與Server S1建立以了一個連線。
呵呵，上面的基礎知識可能很多人都知道了，那麼下面是關鍵的部分了。
看看下面的情況：
Server S1 Server S2
18.181.0.31:1235 138.76.29.7:1235
| |
| |
+----------------------+----------------------+
|
^ Session 1 (A-S1) ^ | ^ Session 2 (A-S2) ^
| 18.181.0.31:1235 | | | 138.76.29.7:1235 |
v 155.99.25.11:62000 v | v 155.99.25.11:62000 v
|
Cone NAT
155.99.25.11
|
^ Session 1 (A-S1) ^ | ^ Session 2 (A-S2) ^
| 18.181.0.31:1235 | | | 138.76.29.7:1235 |
v 10.0.0.1:1234 v | v 10.0.0.1:1234 v
|
Client A
10.0.0.1:1234
接上面的例子，如果Client A的原來那個Socket(綁定了1234埠的那個UDP Socket)又接著向另外一個Server S2傳送了一個UDP包，那麼這個UDP包在通過NAT時會怎麼樣呢？
這時可能會有兩種情況發生，一種是NAT再次建立一個Session，並且再次為這個Session分配一個埠號（比如：62001）。另外一種是NAT再次建立一個Session，但是不會新分配一個埠號，而是用原來分配的埠號62000。前一種NAT叫做SymmetricNAT，後一種叫做ConeNAT。我們期望我們的NAT是第二種，呵呵，如果你的NAT剛好是第一種，那麼很可能會有很多P2P軟體失靈。（可以慶幸的是，現在絕大多數的NAT屬於後者，即Cone NAT）
好了，我們看到，通過NAT,子網內的計算機向外連結是很容易的（NAT相當於透明的，子網內的和外網的計算機不用知道NAT的情況）。
但是如果外部的計算機想訪問子網內的計算機就比較困難了（而這正是P2P所需要的）。
那麼我們如果想從外部發送一個數據報給內網的計算機有什麼辦法呢？首先，我們必須在內網的NAT上打上一個“洞”（也就是前面我們說的在NAT上建立一個Session），這個洞不能由外部來打，只能由內網內的主機來打。而且這個洞是有方向的，比如從內部某臺主機（比如：192.168.0.10）向外部的某個IP(比如：219.237.60.1)傳送一個UDP包，那麼就在這個內網的NAT裝置上打了一個方向為219.237.60.1的“洞”，（這就是稱為UDP HolePunching的技術）以後219.237.60.1就可以通過這個洞與內網的192.168.0.10聯絡了。（但是其他的IP不能利用這個洞）。
呵呵，現在該輪到我們的正題P2P了。有了上面的理論，實現兩個內網的主機通訊就差最後一步了：兩邊都無法主動發出連線請求，誰也不知道誰的公網地址，那我們如何來打這個洞呢？我們需要一箇中間人來聯絡這兩個內網主機。
現在我們來看看一個P2P軟體的流程，以下圖為例：
Server S （219.237.60.1）
|
|
+-----------------------+----------------------+
| |
NAT A (外網IP:202.187.45.3) NAT B (外網IP:187.34.1.56)
| (內網IP:192.168.0.1) | (內網IP:192.168.0.1)
| |
Client A (192.168.0.20:60000) Client B (192.168.0.10:40000)
首先，Client A登入伺服器，NAT A為這次的Session分配了一個埠60000，那麼ServerS收到的Client A的地址是202.187.45.3:60000，這就是Client A的外網地址了。同樣，ClientB登入Server S，NAT B給此次Session分配的埠是40000，那麼ServerS收到的B的地址是187.34.1.56:40000。
此時，Client A與Client B都可以與ServerS通訊了。如果Client A此時想直接傳送資訊給Client B，那麼他可以從ServerS那兒獲得B的公網地址187.34.1.56:40000，是不是Client A向這個地址傳送資訊ClientB就能收到了呢？答案是不行，因為如果這樣傳送資訊，NATB會將這個資訊丟棄（因為這樣的資訊是不請自來的，為了安全，大多數NAT都會執行丟棄動作）。那該怎麼辦呢？ 首先我們假設Server S是219.237.60.1：7000，當Clinet A（202.187.45.3：60000）向Server S（219.237.60.1：7000）傳送資料包，Server S是可以正常接收到資料，因為它是屬於外型開放的伺服器埠。當Server S收到資料包後可以獲知Clinet A（202.187.45.3：60000）對外通訊的臨時session資訊（這個叫臨時的埠，假設是60000會過期，具體時間不同，一般是每30S傳送一個keep住連線以保證埠維持通訊連線不斷）Server S此時應將次資訊儲存起來。而同時，Client B (192.168.0.10:40000)也在時刻向
Server S傳送心跳包，Server S就向Client B (192.168.0.10:40000)傳送一個通知，讓Client B (192.168.0.10:4000) 傳送探測包（這個資料包最好發幾個），Client B (192.168.0.10:4000)在收到通知後在向Server S傳送反饋包，說明以向自己以向Client A (192.168.0.20:60000)傳送了探測包，Server S在收到反饋之後再向Client A (192.168.0.20:60000)轉發反饋包，Client A (192.168.0.20:60000)在收到資料包之後在向原本要求請求的Client B (192.168.0.10:4000)傳送資料包，此時連線已經打通，實現穿透。Client B (192.168.0.10:4000)會將資料包轉發給
Client A (192.168.0.20:60000)從而在轉發給內網內網IP:192.168.0.1。
對於Symmetric NAPT的情況，網上有人說可以通過探測埠的方式，不過成功率並不高，我建議可用伺服器進行中轉。另外，最好在資料包傳送前先檢測是否進行的是同個NAT的情況，也就是內網發內網，如果是，直接傳送即可，而無需通過外網再繞回來。