1. 程式人生 > >web伺服器(併發)、非堵塞、epoll

web伺服器(併發)、非堵塞、epoll

返回瀏覽器請求的頁面:

這是用網路助手模擬:tcp伺服器,然後用瀏覽器,連結伺服器,伺服器接收到瀏覽器的請求。

我們需要返回瀏覽器請求的頁面,我們就需要用正則表示式,將上面的一大串字串提取請求的頁面。

步驟:

1.切割字串。

2.正則表示式提取。

import socket
import re


def service_client(new_socket):
    # 接受瀏覽器傳送的請求
    request = new_socket.recv(1024).decode("utf-8")
    #將字串進行切割
    request_lines = request.splitlines()

    file_name = ""
    # 用正則表示式提取,請求的頁面
    ret = re.match(r"[^/]+(/[^ ]*)", request_lines[0])
    if ret:
        file_name = ret.group(1)
    
        if file_name == "/":
            file_name = "/index.html"
    
    try:
        f = open("./html" + file_name, "rb")
    except:
        response = "HTTP/1.1 404 NOT FOUND\r\n"
        response += "\r\n"
        response += "------file not found-----"
        new_socket.send(response.encode("utf-8"))
    else:
        html_content = f.read()
        f.close()
        response = "HTTP/1.1 200 OK\r\n"
        response += "\r\n"
        new_socket.send(response.encode("utf-8")) 
        new_socket.send(html_content)
    new_socket.close()
    

def main():

    # 1. 建立套接字
    tcp_server_socket = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
    tcp_server_socket.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)

    # 2. 繫結
    tcp_server_socket.bind(("", 7890))

    # 3. 變為監聽套接字
    tcp_server_socket.listen(128)

    while True:
        # 4. 等待新客戶端的連結
        new_socket, client_addr = tcp_server_socket.accept()

        # 5. 為這個客戶端服務
        service_client(new_socket)

    # 關閉監聽套接字
    tcp_server_socket.close()


if __name__ == "__main__":
    main()

將上面那個改寫為多程序程:

只需要改在下面即可:由於程序是不共享的,他在執行子程序的時候複製了一份資源,所以在下面要關閉套接字。


    while True:
        # 4. 等待新客戶端的連結
        new_socket, client_addr = tcp_server_socket.accept()

        # 5. 為這個客戶端服務
        p = multiprocessing.Process(target=service_client, args=(new_socket,))
        p.start()

        new_socket.close()

改寫成多執行緒:改寫下面即可。

  while True:
        # 4. 等待新客戶端的連結
        new_socket, client_addr = tcp_server_socket.accept()

        # 5. 為這個客戶端服務
        p = threading.Thread(target=service_client, args=(new_socket,))
        p.start()

改寫為協程:

 while True:
        # 4. 等待新客戶端的連結
        new_socket, client_addr = tcp_server_socket.accept()

        # 5. 為這個客戶端服務
        gevent.spawn(service_client, new_socket)

非堵塞-長連線的形式:

非堵塞:在accept(),recv()等會發生堵塞的地方,設定為非堵塞。

 socket.setblocking(False)  # socket套接字的名字

長連線:瀏覽器向伺服器請求的時候,得到一個數據,之後還需要請求其他資料,沒有關閉套接字,(不需要在三次握手建立資源),

而我們上面的版本,都是請求完資料之後就關閉套接字,然後等待新請求,在建立套接字。

程式碼主要: 

# 設定傳送內容的長度,這樣瀏覽器才能判斷是否傳送完成  
response_header = "HTTP/1.1 200 OK\r\n"
response_header += "Content-Length:%d\r\n" % len(response_body)

當有多個瀏覽器同時向伺服器請求時:我們建立一個列表,用來儲存這些為瀏覽器服務的套接字。然後一次遍歷,看這些套接字是否接收到瀏覽器的請求。

import socket
import re


def service_client(new_socket, request):
    """為這個客戶端返回資料"""

    request_lines = request.splitlines()
    
    print(request_lines)

    file_name = ""
    ret = re.match(r"[^/]+(/[^ ]*)", request_lines[0])
    if ret:
        file_name = ret.group(1)
    
        if file_name == "/":
            file_name = "/index.html"

    try:
        f = open("./html" + file_name, "rb")
    except:
        response = "HTTP/1.1 404 NOT FOUND\r\n"
        response += "\r\n"
        response += "------file not found-----"
        new_socket.send(response.encode("utf-8"))
    else:
        html_content = f.read()
        f.close()

        response_body = html_content

        response_header = "HTTP/1.1 200 OK\r\n"
        response_header += "Content-Length:%d\r\n" % len(response_body)
        response_header += "\r\n"

        response = response_header.encode("utf-8") + response_body

        new_socket.send(response)


def main():
    # 1. 建立套接字
    tcp_server_socket = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
    tcp_server_socket.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)

    # 2. 繫結
    tcp_server_socket.bind(("", 7890))

    # 3. 變為監聽套接字
    tcp_server_socket.listen(128)
    tcp_server_socket.setblocking(False)  # 將套接字變為非堵塞

    client_socket_list = list()
    while True:
        # 4. 等待新客戶端的連結
        try:
            new_socket, client_addr = tcp_server_socket.accept()
        except Exception as ret:
            pass
        else:
            new_socket.setblocking(False)
            client_socket_list.append(new_socket)


        for client_socket in client_socket_list:
            try:
                recv_data = client_socket.recv(1024).decode("utf-8")
            except Exception as ret:
                pass
            else:
                if recv_data:
                    service_client(client_socket, recv_data)
                else:
                    client_socket.close()
                    client_socket_list.remove(client_socket)

    # 關閉監聽套接字
    tcp_server_socket.close()


if __name__ == "__main__":
    main()

用epoll實現:

通過一種機制使一個程序能同時等待多個檔案描述符,而這些檔案描述符(套接字描述符)其中的任意一個進入讀就緒狀態,epoll()函式就可以返回。 所以, IO多路複用,本質上不會有併發的功能,因為任何時候還是隻有一個程序或執行緒進行工作,它之所以能提高效率是因為select\epoll 把進來的socket放到他們的 '監視' 列表裡面,當任何socket有可讀可寫資料立馬處理,那如果select\epoll 手裡同時檢測著很多socket, 一有動靜馬上返回給程序處理,總比一個一個socket過來,阻塞等待,處理高效率。

主要有兩個特點:

1.減少複製資源:在作業系統核心記憶體,和應用程式記憶體之間開闢一個新的記憶體空間,這個空間都不屬於兩者。將產生的套接字放在,這個記憶體空間中。這樣就減少了,從應用程式中的套接字,在複製到作業系統中去。

2.採用監聽的方式,而不是挨個遍歷的方式,當哪個套接字有響應的時候,就去執行相應的任務,而不是依次遍歷

def main():
    """用來完成整體的控制"""
    # 1. 建立套接字
    tcp_server_socket = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
    tcp_server_socket.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)

    # 2. 繫結
    tcp_server_socket.bind(("", 7890))

    # 3. 變為監聽套接字
    tcp_server_socket.listen(128)
    tcp_server_socket.setblocking(False)  # 將套接字變為非堵塞

    # 建立一個epoll物件
    epl = select.epoll()

    # 將監聽套接字對應的fd註冊到epoll中
    epl.register(tcp_server_socket.fileno(), select.EPOLLIN)

    fd_event_dict = dict()

    while True:

        fd_event_list = epl.poll()  # 預設會堵塞,直到 os監測到資料到來 通過事件通知方式 告訴這個程式,此時才會解堵塞

        # [(fd, event), (套接字對應的檔案描述符, 這個檔案描述符到底是什麼事件 例如 可以呼叫recv接收等)]
        for fd, event in fd_event_list:
            # 等待新客戶端的連結
            if fd == tcp_server_socket.fileno():
                new_socket, client_addr = tcp_server_socket.accept()
                epl.register(new_socket.fileno(), select.EPOLLIN)
                fd_event_dict[new_socket.fileno()] = new_socket
            elif event==select.EPOLLIN:
                # 判斷已經連結的客戶端是否有資料傳送過來
                recv_data = fd_event_dict[fd].recv(1024).decode("utf-8")
                if recv_data:
                    service_client(fd_event_dict[fd], recv_data)
                else:
                    fd_event_dict[fd].close()
                    epl.unregister(fd)
                    del fd_event_dict[fd]


    # 關閉監聽套接字
    tcp_server_socket.close()


if __name__ == "__main__":
    main()