1. 程式人生 > >Python網絡編程之基礎

Python網絡編程之基礎

區域 tcp協議 不同 傳輸數據 就會 版本 七層 抓取 順序

計算機網絡基礎

網絡到底是什麽?計算機之間如何通信的?

早期:聯機
以太網:局域網與交換機

******廣播

主機之間“一對所有”的通訊模式,網絡對其中每一臺主機發出的信號都進行無條件復制並轉發,
所有主機都可以接收到所有信息(不管你是否需要),由於其不用路徑選擇,所以其網絡成本
可以很低廉。有線電視網就是典型的廣播型網絡,我們的電視機實際上是接受到所有頻道的信號,
但只將一個頻道的信號還原成畫面。在數據網絡中也允許廣播的存在,但其被限制在二層交換機
的局域網範圍內,禁止廣播數據穿過路由器,防止廣播數據影響大面積的主機。


******ip地址與ip協議

規定網絡地址的協議叫ip協議,它定義的地址稱之為ip地址,廣泛采用的v4版本即ipv4,它規定網絡地址由32位2進制表示
範圍0.0.0.0-255.255.255.255
一個ip地址通常寫成四段十進制數,例:172.16.10.1

******mac地址

head中包含的源和目標地址由來:ethernet規定接入internet的設備都必須具備網卡,
發送端和接收端的地址便是指網卡的地址,即mac地址。
mac地址:每塊網卡出廠時都被燒制上一個世界唯一的mac地址,長度為48位2進制,通常
由12位16進制數表示(前六位是廠商編號,後六位是流水線號)

******arp協議----查詢IP地址和MAC地址的對應關系

地址解析協議,即ARP(Address Resolution Protocol),是根據IP地址獲取物理地址的一個TCP/IP協議。
主機發送信息時將包含目標IP地址的ARP請求廣播到網絡上的所有主機,並接收返回消息,以此確定目標的物理地址。
收到返回消息後將該IP地址和物理地址存入本機ARP緩存中並保留一定時間,下次請求時直接查詢ARP緩存以節約資源。
地址解析協議是建立在網絡中各個主機互相信任的基礎上的,網絡上的主機可以自主發送ARP應答消息,其他主機收到應
答報文時不會檢測該報文的真實性就會將其記入本機ARP緩存;由此攻擊者就可以向某一主機發送偽ARP應答報文,使其發
送的信息無法到達預期的主機或到達錯誤的主機,這就構成了一個ARP欺騙。ARP命令可用於查詢本機ARP緩存中IP地址和
MAC地址的對應關系、添加或刪除靜態對應關系等。相關協議有RARP、代理ARP。NDP用於在IPv6中代替地址解析協議。


******廣域網與路由器******

******路由器

路由器(Router),是連接因特網中各局域網、廣域網的設備,它會根據信道的情況自動選擇和設定路由,
以最佳路徑,按前後順序發送信號。 路由器是互聯網絡的樞紐,"交通警察"。目前路由器已經廣泛應用於
行各業,各種不同檔次的產品已成為實現各種骨幹網內部連接、骨幹網間互聯和骨幹網與互聯網互聯互通業
的主力軍。路由和交換機之間的主要區別就是交換機發生在OSI參考模型第二層(數據鏈路層),而路由發
在第三層,即網絡層。這一區別決定了路由和交換機在移動信息的過程中需使用不同的控制信息,所以說兩
者實現各自功能的方式是不同的。
路由器(Router)又稱網關設備(Gateway)是用於連接多個邏輯上分開的網絡,所謂邏輯網絡是代表一
單獨的網絡或者一個子網。當數據從一個子網傳輸到另一個子網時,可通過路由器的路由功能來完成。因
路由器具有判斷網絡地址和選擇IP路徑的功能,它能在多網絡互聯環境中,建立靈活的連接,可用完全
同的數據分組和介質訪問方法連接各種子網,路由器只接受源站或其他路由器的信息,屬網絡層的一種互
聯設備。


******局域網

局域網(Local Area Network,LAN)是指在某一區域內由多臺計算機互聯成的計算機組。一般是
方圓幾千米以內。局域網可以實現文件管理、應用軟件共享、打印機共享、工作組內的日程安排、電
子郵件和傳真通信服務等功能。局域網是封閉型的,可以由辦公室內的兩臺計算機組成,也可以由一
個公司內的上千臺計算機組成。


******子網掩碼

所謂”子網掩碼”,就是表示子網絡特征的一個參數。它在形式上等同於IP地址,也是一個32位二進制
數字,它的網絡部分全部為1,主機部分全部為0。比如,IP地址172.16.10.1,如果已知網絡部分是
前24位,主機部分是後8位,那麽子網絡掩碼就是11111111.11111111.11111111.00000000,寫成
十進制就是255.255.255.0。

知道”子網掩碼”,我們就能判斷,任意兩個IP地址是否處在同一個子網絡。方法是將兩個IP地址與子網
掩碼分別進行AND運算(兩個數位都為1,運算結果為1,否則為0),然後比較結果是否相同,如果是的
話,就表明它們在同一個子網絡中,否則就不是。 

比如,已知IP地址172.16.10.1和172.16.10.2的子網掩碼都是255.255.255.0,請問它們是否在同
一個子網絡?兩者與子網掩碼分別進行AND運算,

172.16.10.1:10101100.00010000.00001010.000000001
255255.255.255.0:11111111.11111111.11111111.00000000
AND運算得網絡地址結果:10101100.00010000.00001010.000000001->172.16.10.0

 

172.16.10.2:10101100.00010000.00001010.000000010
255255.255.255.0:11111111.11111111.11111111.00000000
AND運算得網絡地址結果:10101100.00010000.00001010.000000001->172.16.10.0
結果都是172.16.10.0,因此它們在同一個子網絡。

總結:IP協議的作用主要有兩個,一個是為每一臺計算機分配IP地址,另一個是確定哪些地址在同一個子網絡。


******tcp協議和udp協議******

用於應用程序之間的通信。如果說ip地址和mac地址幫我們確定唯一的一臺機器,
那麽我們怎麽找到一臺機器上的一個軟件呢?


******端口

我們知道,一臺擁有IP地址的主機可以提供許多服務,比如Web服務、FTP服務、SMTP服務等,這些服務
完全可以通過1個IP地址來實現。那麽,主機是怎樣區分不同的網絡服務呢?顯然不能只靠IP地址,因為
IP 地址與網絡服務的關系是一對多的關系。實際上是通過“IP地址+端口號”來區分不同的服務的。


****TCP協議****

當應用程序希望通過 TCP 與另一個應用程序通信時,它會發送一個通信請求。這個請求必須被送到一個
確切的地址。在雙方“握手”之後,TCP 將在兩個應用程序之間建立一個全雙工 (full-duplex) 的通信。

這個全雙工的通信將占用兩個計算機之間的通信線路,直到它被一方或雙方關閉為止。


****tcp的三次握手

TCP是因特網中的傳輸層協議,使用三次握手協議建立連接。當主動方發出SYN連接請求後,
等待對方回答SYN+ACK[1],並最終對對方的 SYN 執行 ACK 確認。這種建立連接的方法
可以防止產生錯誤的連接。[1] 
TCP三次握手的過程如下:
客戶端發送SYN(SEQ=x)報文給服務器端,進入SYN_SEND狀態。
服務器端收到SYN報文,回應一個SYN (SEQ=y)ACK(ACK=x+1)報文,進入SYN_RECV狀態。
客戶端收到服務器端的SYN報文,回應一個ACK(ACK=y+1)報文,進入Established狀態。
三次握手完成,TCP客戶端和服務器端成功地建立連接,可以開始傳輸數據了。

****tcp的四次揮手

建立一個連接需要三次握手,而終止一個連接要經過四次握手,這是由TCP的半關閉(half-close)造成的。
(1) 某個應用進程首先調用close,稱該端執行“主動關閉”(active close)。該端的TCP於是發送
一個FIN分節,表示數據發送完畢。
(2) 接收到這個FIN的對端執行 “被動關閉”(passive close),這個FIN由TCP確認。
註意:FIN的接收也作為一個文件結束符(end-of-file)傳遞給接收端應用進程,放在已排隊等候該
應用進程接收的任何其他數據之後,因為,FIN的接收意味著接收端應用進程在相應連接上再無額外數
據可接收。
(3) 一段時間後,接收到這個文件結束符的應用進程將調用close關閉它的套接字。這導致它的TCP也
發送一個FIN。
(4) 接收這個最終FIN的原發送端TCP(即執行主動關閉的那一端)確認這個FIN。[1] 
既然每個方向都需要一個FIN和一個ACK,因此通常需要4個分節。
註意:
(1) “通常”是指,某些情況下,步驟1的FIN隨數據一起發送,另外,步驟2和步驟3發送的分節都出自
執行被動關閉那一端,有可能被合並成一個分節。[2] 
(2) 在步驟2與步驟3之間,從執行被動關閉一端到執行主動關閉一端流動數據是可能的,
這稱為“半關閉”(half-close)。
(3) 當一個Unix進程無論自願地(調用exit或從main函數返回)還是非自願地
(收到一個終止本進程的信號)終止時,所有打開的描述符都被關閉,這也導致
仍然打開的任何TCP連接上也發出一個FIN。

無論是客戶還是服務器,任何一端都可以執行主動關閉。通常情況是,客戶執行主動關閉,
但是某些協議,例如,HTTP/1.0卻由服務器執行主動關閉。[2] 



****UDP協議****

當應用程序希望通過UDP與一個應用程序通信時,傳輸數據之前源端和終端不建立連接。
當它想傳送時就簡單地去抓取來自應用程序的數據,並盡可能快地把它扔到網絡上


****tcp和udp的對比

TCP---傳輸控制協議,提供的是面向連接、可靠的字節流服務。當客戶和服務器彼此交換數據前,
必須先在雙方之間建立一個TCP連接,之後才能傳輸數據。TCP提供超時重發,丟棄重復數據,
檢驗數據,流量控制等功能,保證數據能從一端傳到另一端。 
UDP---用戶數據報協議,是一個簡單的面向數據報的運輸層協議。UDP不提供可靠性,它只是把應
用程序傳給IP層的數據報發送出去,但是並不能保證它們能到達目的地。由於UDP在傳輸數據報前
不用在客戶和服務器之間建立一個連接,且沒有超時重發等機制,故而傳輸速度很快

MORE:
現在Internet上流行的協議是TCP/IP協議,該協議中對低於1024的端口都有確切的定義,
他們對應著Internet上一些常見的服務。這些常見的服務可以分為使用TCP端口(面向連接)
和使用UDP端口(面向無連接)兩種。 
說到TCP和UDP,首先要明白“連接”和“無連接”的含義,他們的關系可以用一個形象地比喻來說明,
就是打電話和寫信。兩個人如果要通話,首先要建立連接——即打電話時的撥號,等待響應後——即
接聽電話後,才能相互傳遞信息,最後還要斷開連接——即掛電話。寫信就比較簡單了,填寫好收
信人的地址後將信投入郵筒,收信人就可以收到了。從這個分析可以看出,建立連接可以在需要
痛心地雙方建立一個傳遞信息的通道,在發送方發送請求連接信息接收方響應後,由於是在接受
方響應後才開始傳遞信息,而且是在一個通道中傳送,因此接受方能比較完整地收到發送方發出
的信息,即信息傳遞的可靠性比較高。但也正因為需要建立連接,使資源開銷加大(在建立連接
前必須等待接受方響應,傳輸信息過程中必須確認信息是否傳到及斷開連接時發出相應的信號等)
獨占一個通道,在斷開連接錢不能建立另一個連接,即兩人在通話過程中第三方不能打入電話。
而無連接是一開始就發送信息(嚴格說來,這是沒有開始、結束的),只是一次性的傳遞,是先
不需要接受方的響應,因而在一定程度上也無法保證信息傳遞的可靠性了,就像寫信一樣,我們
只是將信寄出去,卻不能保證收信人一定可以收到。 
TCP是面向連接的,有比較高的可靠性, 一些要求比較高的服務一般使用這個協議,
如FTP、Telnet、SMTP、HTTP、POP3等。
而UDP是面向無連接的,使用這個協議的常見服務有DNS、SNMP、QQ等。對於QQ必須另外說明一下,
QQ2003以前是只使用UDP協議的,其服務器使用8000端口,偵聽是否有信息傳來,客戶端使用4000端口,
外發送信息(這也就不難理解在一般的顯IP的QQ版本中顯示好友的IP地址信息中端口常為4000或其後續
端口的原因了),即QQ程序既接受服務又提供服務,在以後的QQ版本中也支持使用TCP協議了。


******互聯網協議與osi模型******

互聯網協議按照功能不同分為osi七層或tcp/ip五層或tcp/ip四層

技術分享圖片

Python網絡編程之基礎