Python--基礎之socket編程
一 客戶端/服務器架構
即C/S架構,包括
1.硬件C/S架構(打印機)
2.軟件C/S架構(web服務)
美好的願望:
最常用的軟件服務器是 Web 服務器。一臺機器裏放一些網頁或 Web 應用程序,然後啟動 服務。這樣的服務器的任務就是接受客戶的請求,把網頁發給客戶(如用戶計算機上的瀏覽器),然 後等待下一個客戶請求。這些服務啟動後的目標就是“永遠運行下去”。雖然它們不可能實現這樣的 目標,但只要沒有關機或硬件出錯等外力幹擾,它們就能運行非常長的一段時間。
C/S架構與socket的關系:
我們學習socket就是為了完成C/S架構的開發
二 osi七層
互聯網的核心就是由一堆協議組成,協議就是標準,全世界人通信的標準是英語,如果把計算機比作人,互聯網協議就是計算機界的英語。所有的計算機都學會了互聯網協議,那所有的計算機都就可以按照統一的標準去收發信息從而完成通信了。
詳見egon老師網絡通信原理博客:http://www.cnblogs.com/linhaifeng/articles/5937962.html
簡單回顧:
單純的二進制數字0,1(物理層:高電壓對應數字1,低電壓對應數字0)沒有意義,數據鏈路層規定了一串二進制數字是一個幀或者數據包的概念,有固定長度的報頭和數據部分,報頭是用來描述數據部分的。 數據鏈路層跑的協議是以太網協議 數據鏈路層基於mac地址工作 網絡層:IP幫你找到是哪一個子網,mac地址確定對方機器在子網的具體位置 實際知道對方IP,通過ARP協議可以解析出對方mac地址 但是實際我們一般不是確定對方機器位置,而是確定對方某個應用程序的位置,就用到端口的概念,傳輸層協議:tcp協議和udp協議 應用層協議:http協議和FTP協議為何學習socket一定要先學習互聯網協議:
1.首先:本節課程的目標就是教會你如何基於socket編程,來開發一款自己的C/S架構軟件
2.其次:C/S架構的軟件(軟件屬於應用層)是基於網絡進行通信的
3.然後:網絡的核心即一堆協議,協議即標準,你想開發一款基於網絡通信的軟件,就必須遵循這些標準。
4.最後:就讓我們從這些標準開始研究,開啟我們的socket編程之旅
三 socket層
我們需要註意無論是基於tcp的socket還是基於udp的socket:命名文件不要是socket,因為有socket模塊四 socket是什麽
Socket是應用層與TCP/IP協議族通信的中間軟件抽象層,它是一組接口。在設計模式中,Socket其實就是一個門面模式,它把復雜的TCP/IP協議族隱藏在Socket接口後面,對用戶來說,一組簡單的接口就是全部,讓Socket去組織數據,以符合指定的協議。
所以,我們無需深入理解tcp/udp協議,socket已經為我們封裝好了,我們只需要遵循socket的規定去編程,寫出的程序自然就是遵循tcp/udp標準的。
也有人將socket說成ip+port,ip是用來標識互聯網中的一臺主機的位置,而port是用來標識這臺機器上的一個應用程序,ip地址是配置到網卡上的,而port是應用程序開啟的,ip與port的綁定就標識了互聯網中獨一無二的一個應用程序
而程序的pid是同一臺機器上不同進程或者線程的標識
五 套接字發展史及分類
基於文件類型的套接字家族
套接字家族的名字:AF_UNIX
基於網絡類型的套接字家族
套接字家族的名字:AF_INET
AF_INET是使用最廣泛的一個,python支持很多種地址家族,但是由於我們只關心網絡編程,所以大部分時候我麽只使用AF_INET
六 套接字工作流程
一個生活中的場景。你要打電話給一個朋友,先撥號,朋友聽到電話鈴聲後提起電話,這時你和你的朋友就建立起了連接,就可以講話了。等交流結束,掛斷電話結束此次交談。
生活中的場景就解釋了這工作原理,也許TCP/IP協議族就是誕生於生活中,這也不一定。
先從服務器端說起。服務器端先初始化Socket,然後與端口綁定(bind),對端口進行監聽(listen),調用accept阻塞,等待客戶端連接。在這時如果有個客戶端初始化一個Socket,然後連接服務器(connect),如果連接成功,這時客戶端與服務器端的連接就建立了。客戶端發送數據請求,服務器端接收請求並處理請求,然後把回應數據發送給客戶端,客戶端讀取數據,最後關閉連接,一次交互結束
socket()模塊函數用法
import socket socket.socket(socket_family,socket_type,protocal=0) socket_family 可以是 AF_UNIX 或 AF_INET。socket_type 可以是 SOCK_STREAM 或 SOCK_DGRAM。protocol 一般不填,默認值為 0。 獲取tcp/ip套接字 tcpSock = socket.socket(socket.AF_INET, socket.SOCK_STREAM) 獲取udp/ip套接字 udpSock = socket.socket(socket.AF_INET, socket.SOCK_DGRAM) 由於 socket 模塊中有太多的屬性。我們在這裏破例使用了‘from module import *‘語句。使用 ‘from socket import *‘,我們就把 socket 模塊裏的所有屬性都帶到我們的命名空間裏了,這樣能 大幅減短我們的代碼。 例如tcpSock = socket(AF_INET, SOCK_STREAM)
服務端套接字函數
s.bind() 綁定(主機,端口號)到套接字
s.listen() 開始TCP監聽
s.accept() 被動接受TCP客戶的連接,(阻塞式)等待連接的到來
客戶端套接字函數
s.connect() 主動初始化TCP服務器連接
s.connect_ex() connect()函數的擴展版本,出錯時返回出錯碼,而不是拋出異常
公共用途的套接字函數
s.recv() 接收TCP數據
s.send() 發送TCP數據(send在待發送數據量大於己端緩存區剩余空間時,數據丟失,不會發完)
s.sendall() 發送完整的TCP數據(本質就是循環調用send,sendall在待發送數據量大於己端緩存區剩余空間時,數據不丟失,循環調用send直到發完)
s.recvfrom() 接收UDP數據
s.sendto() 發送UDP數據
s.getpeername() 連接到當前套接字的遠端的地址
s.getsockname() 當前套接字的地址
s.getsockopt() 返回指定套接字的參數
s.setsockopt() 設置指定套接字的參數
s.close() 關閉套接字
面向鎖的套接字方法
s.setblocking() 設置套接字的阻塞與非阻塞模式
s.settimeout() 設置阻塞套接字操作的超時時間
s.gettimeout() 得到阻塞套接字操作的超時時間
面向文件的套接字的函數
s.fileno() 套接字的文件描述符
s.makefile() 創建一個與該套接字相關的文件
七 基於TCP的套接字
tcp服務端
ss = socket() #創建服務器套接字 ss.bind() #把地址綁定到套接字 ss.listen() #監聽鏈接 inf_loop: #服務器無限循環 cs = ss.accept() #接受客戶端鏈接 comm_loop: #通訊循環 cs.recv()/cs.send() #對話(接收與發送) cs.close() #關閉客戶端套接字 ss.close() #關閉服務器套接字(可選)
tcp客戶端
1 cs = socket() # 創建客戶套接字 2 cs.connect() # 嘗試連接服務器 3 comm_loop: # 通訊循環 4 cs.send()/cs.recv() # 對話(發送/接收) 5 cs.close() # 關閉客戶套接字
下面以打電話為例說明tcp協議的socket函數用法。以下三例逐漸深入。
客戶端 import socket phone_client=socket.socket(socket.AF_INET,socket.SOCK_STREAM) #買手機 phone_client.connect((‘192.168.16.24‘,8084)) #撥電話 phone_client.send(‘hello 你好嗎‘.encode(‘utf-8‘)) #發消息,說話(只能發送字節類型) server_res=phone_client.recv(1024) #收消息,聽話 print(‘server_res: ‘,server_res.decode(‘utf-8‘)) phone_client.close() #掛電話 服務端 import socket phone_server=socket.socket(socket.AF_INET,socket.SOCK_STREAM) #買手機 phone_server.bind((‘192.168.16.24‘,8084)) #手機插卡 phone_server.listen(5) #手機待機 print(‘server run...‘) conn,client_addr=phone_server.accept() #手機接電話 print(‘客戶端: ‘,client_addr) client_msg=conn.recv(1024) #聽消息,聽話 print(‘client_msg: ‘,client_msg.decode(‘utf-8‘)) conn.send(‘你個SB‘.encode(‘utf-8‘)) #發消息,說話 conn.close() #掛電話 phone_server.close() #手機關機
上述流程的問題是,服務端只能接受一次鏈接,然後就徹底關閉掉了,實際情況應該是,服務端不斷接受鏈接,然後循環通信,通信完畢後只關閉鏈接,服務器能夠繼續接收下一次鏈接,下面是修改版
二例:
客戶端 import socket phone_client=socket.socket(socket.AF_INET,socket.SOCK_STREAM) #買手機 phone_client.connect((‘127.0.0.1‘,8088)) #撥電話 while True: #新增通信循環,客戶端可以不斷發收消息 msg=input(‘>> ‘).strip() if not msg:continue phone_client.send(msg.encode(‘utf-8‘)) #發消息,說話(只能發送字節類型) print(‘has send‘) server_res=phone_client.recv(1024) #收消息,聽話 print(‘server_res: ‘,server_res.decode(‘utf-8‘)) phone_client.close() #掛電話 服務端 import socket phone_server=socket.socket(socket.AF_INET,socket.SOCK_STREAM) #買手機 phone_server.setsockopt(socket.SOL_SOCKET,socket.SO_REUSEADDR,1) phone_server.bind((‘127.0.0.1‘,8088)) #手機插卡 phone_server.listen(5) #手機待機 print(‘server run...‘) while True: #新增接收鏈接循環,可以不停的接電話 conn,client_addr=phone_server.accept() #手機接電話 print(‘客戶端: ‘,client_addr) print(conn) while True: #新增通信循環,可以不斷的通信,收發消息 try: client_msg=conn.recv(1024) #聽消息,聽話 print(‘client_msg: ‘,client_msg.decode(‘utf-8‘)) conn.send(client_msg.upper()) #發消息,說話 except Exception: break conn.close() #掛電話 phone_server.close() #手機關機
三例:
客戶端 import socket phone_client=socket.socket(socket.AF_INET,socket.SOCK_STREAM) phone_client.connect((‘127.0.0.1‘,8088)) while True: cmd=input(‘>> ‘).strip() if not cmd:continue phone_client.send(cmd.encode(‘utf-8‘)) cmd_res=phone_client.recv(1024) print(cmd_res.decode(‘gbk‘)) #windows # print(cmd_res.decode(‘utf-8‘)) #linux phone_client.close() 服務端 import socket import subprocess phone_server=socket.socket(socket.AF_INET,socket.SOCK_STREAM) phone_server.setsockopt(socket.SOL_SOCKET,socket.SO_REUSEADDR,1) phone_server.bind((‘127.0.0.1‘,8088)) phone_server.listen(5) print(‘server run...‘) while True: conn,client_addr=phone_server.accept() print(‘客戶端: ‘,client_addr) while True: try: cmd=conn.recv(1024) res=subprocess.Popen(cmd.decode(‘utf-8‘),shell=True,stdout=subprocess.PIPE,stderr=subprocess.PIPE) stdout=res.stdout.read() stderr=res.stderr.read() conn.sendall(stdout+stderr) except Exception: break conn.close() phone_server.close()
問題:
有的同學在重啟服務端時可能會遇到
這個是由於你的服務端仍然存在四次揮手的time_wait狀態在占用地址(如果不懂,請深入研究1.tcp三次握手,四次揮手 2.syn洪水攻擊 3.服務器高並發情況下會有大量的time_wait狀態的優化方法)
解決方法:
解決方案一 #加入一條socket配置,重用ip和端口 phone=socket(AF_INET,SOCK_STREAM) phone.setsockopt(SOL_SOCKET,SO_REUSEADDR,1) #就是它,在bind前加 phone.bind((‘127.0.0.1‘,8080)) 解決方案二 發現系統存在大量TIME_WAIT狀態的連接,通過調整linux內核參數解決, vi /etc/sysctl.conf 編輯文件,加入以下內容: net.ipv4.tcp_syncookies = 1 net.ipv4.tcp_tw_reuse = 1 net.ipv4.tcp_tw_recycle = 1 net.ipv4.tcp_fin_timeout = 30 然後執行 /sbin/sysctl -p 讓參數生效。 net.ipv4.tcp_syncookies = 1 表示開啟SYN Cookies。當出現SYN等待隊列溢出時,啟用cookies來處理,可防範少量SYN攻擊,默認為0,表示關閉; net.ipv4.tcp_tw_reuse = 1 表示開啟重用。允許將TIME-WAIT sockets重新用於新的TCP連接,默認為0,表示關閉; net.ipv4.tcp_tw_recycle = 1 表示開啟TCP連接中TIME-WAIT sockets的快速回收,默認為0,表示關閉。 net.ipv4.tcp_fin_timeout 修改系統默認的 TIMEOUT 時間 方法二
Python--基礎之socket編程