1. 程式人生 > >網絡基礎、ftp任務(進度條、計算文件大小、斷點續傳、搭建框架示例)

網絡基礎、ftp任務(進度條、計算文件大小、斷點續傳、搭建框架示例)

... 請求 pro dal hashlib one win lap ase

一、網絡基礎

1、端口,是什麽?為什麽要有端口?

  端口是為了將同一個電腦上的不同程序進行隔離。

  IP是找電腦;端口是找電腦上的應用程序;

  端口範圍:1 – 65535 ; 1 - 1024 不要用 ; 一般程序員用8000、8001……

2、OSI 七層模型(記住哪七層)

  應用層,使用軟件; 打開軟件或網站

表示層,看到數據,如圖片和視頻; 生產原始數據

會話層,保持登錄或鏈接狀態; 應用偷偷攜帶一點其他數據: 令牌 19rRNAwf8g

傳輸層

,TCP/UDP; [TCP][原始數據|19rRNAwf8g]

網絡層,IP; 【IP】【[TCP][原始數據|19rRNAwf8g]】

數據鏈路層,MAC; [MAC][ 【IP】【[TCP][原始數據|19rRNAwf8g]】]

物理層,將數據轉換成電信號發送;

3、TCP三次握手,四次揮手

  socket客戶端向服務端發起連接請求:三次握手(只能先由客戶端向服務端發起請求)

    client.connect((……))

客戶端 服務端

我能打你嗎

來呀來呀

好的,我這就來

----------------------------------------

client.send(收發數據)

收發數據 收發數據

  客戶端和服務端斷開連接:四次揮手(客戶端和服務端都可以主動斷開連接)

    client.close() 或者 conn.close()

------------------------------------------------------------

我要斷開連接

斷開就斷開,等我處理一些手頭的事情

……

我處理完了,斷開吧

拜拜

  補充:斷開連接時,反應到代碼上:拋出異常(windows)/發送空內容(linux和mac系統)

總結:必須了解網絡相關知識。

二、FTP任務分析(進度條、計算文件大小、斷點續傳、搭建框架示例)

1、進度條(\r移動到行首、print不換行end=””)

    import time
    def jdt(now,all): # 進度條函數
        per = int(now / all * 100)
        print(‘\r%s %s%%‘ % (‘*‘*per , per) ,end=‘‘)
        time.sleep(0.05)

    for i in range(101):
        jdt(i,100) # 執行進度條函數

2、計算文件大小

  之前我們學過一種計算文件大小的方式:os.path.getsize(file_path),現在再來學習一種方式:

    import os
    size1 = os.path.getsize(‘server.py‘)
    size2 = os.stat(‘server.py‘).st_size
    print(size1,size2)  # 1844 1844

3、斷點續傳

  我們先來寫一個斷點續傳(腳本主要實現了客戶端向服務端上傳文件,上傳過程中中斷的話,再次上傳此文件時接著上次中斷的地方繼續上傳)的簡單示例,然後從中提取一些編程思想:

技術分享圖片
    import os
    import json
    import socketserver
    import shutil

    CODE = {
        1001:上傳文件,從頭開始上傳
    }

    def upload(cmd_dict,conn,username):
        """
        服務端完成上傳文件(含斷點續傳)
        :param cmd_dict:
        :param conn:
        :return:
        """
        # 2. 獲取文件信息
        file_md5 = cmd_dict[md5]
        file_name = cmd_dict[file_name]

        file_md5_path = os.path.join(username, file_md5)
        file_name_path = os.path.join(username, file_name)
        upload_file_size = cmd_dict[size]

        # 3. 判斷文件是否存在
        exist = os.path.exists(file_md5_path)
        if not exist:  # 不續傳
            # 3.1.1 可以開始上傳了,我已經準備好。
            response = {code: 1001}
            conn.sendall(json.dumps(response).encode(utf-8))

            # 3.1.2 接收上傳的文件內容
            f = open(file_md5_path, wb)
            recv_size = 0
            while recv_size < upload_file_size:
                data = conn.recv(1024)
                f.write(data)
                f.flush()
                recv_size += len(data)
                return
            f.close()

            # 3.1.3 改名字
            shutil.move(file_md5_path, file_name_path)

        else:  # 續傳
            # 3.2 續傳+大小
            exist_size = os.stat(file_md5_path).st_size
            response = {code: 1002, size: exist_size}
            conn.sendall(json.dumps(response).encode(utf-8))

            f = open(file_md5_path, ab)
            recv_size = exist_size
            while recv_size < upload_file_size:
                data = conn.recv(1024)
                f.write(data)
                f.flush()
                recv_size += len(data)
            f.close()

            # 3.1.3 改名字
            shutil.move(file_md5_path, file_name_path)

    class NbServer(socketserver.BaseRequestHandler):
        def handle(self):
            """
            self.request 是客戶端的socket對象
            :return:
            """
            # 1. 接收命令
            upload_cmd_bytes = self.request.recv(8096)
            cmd_dict = json.loads(upload_cmd_bytes.decode(utf-8))

            if cmd_dict[cmd] == upload:
                upload(cmd_dict,self.request,lili)  # 服務端代碼有個文件夾(lili)才能運行
            elif cmd_dict[cmd] == download:
                pass

    if __name__ == __main__:
        server =     socketserver.ThreadingTCPServer((127.0.0.1,8001),NbServer)
        server.serve_forever()
服務端 技術分享圖片
    import os
    import socket
    import json
    import hashlib
    CODE = {
        1001:上傳文件,從頭開始上傳
    }

    def file_md5(file_path):
        """
        文件進行md5加密
        :param file_path:
        :return:
        """
        obj = open(file_path,rb)
        m = hashlib.md5()
        for line in obj:
            m.update(line)
        obj.close()
        return m.hexdigest()

    def jdt(size,total_size):
        """
        顯示進度條
        :return:
        """
        val = int(size / total_size * 100)
        print(\r%s%%|%s % (val, "#" * val,), end=‘‘)

    def send_file(exist_size,file_total_size):
        """
        發送文件
        :param exist_size:開始讀取字節的位置
        :param file_total_size: 文件總字節大小
        :return:
        """
        f = open(file_path, rb)
        f.seek(exist_size)
        send_size = exist_size
        while send_size < file_total_size:
            data = f.read(1024)
            sk.sendall(data)
            send_size += len(data)
            jdt(send_size,file_total_size)
        f.close()
        print(上傳成功)

    def upload(file_path):
        """
        文件上傳(含斷點)
        :param file_path:
        :return:
        """
        file_md5_val = file_md5(file_path)
        file_name = os.path.basename(file_path)
        file_size = os.stat(file_path).st_size

        cmd_dict = {cmd: upload, file_name: file_name, size: file_size, md5: file_md5_val}
        upload_cmd_bytes = json.dumps(cmd_dict).encode(utf-8)
        sk.sendall(upload_cmd_bytes)

        # 2. 等待服務端的響應
        response = json.loads(sk.recv(8096).decode(utf-8))
        if response[code] == 1001:
            send_file(0, file_size)
        else:
            # 短點續傳
            exist_size = response[size]
            send_file(exist_size,file_size)

    sk = socket.socket()
    sk.connect((127.0.0.1,8001))

    while True:
        # upload|文件路|徑
        user_input = input("請輸入要執行的命令")
        # 1. 自定義協議{‘cmd‘:‘upload‘,‘file_path‘:‘.....‘}
        cmd,file_path = user_input.split(|,maxsplit=1)
        if cmd == upload:
            upload(file_path)
        elif cmd == download:
            pass
客戶端

總結:

  1)CODE 自定義狀態碼;

2)自定義規範: {‘code‘:1000 };

3)if…else… 分支用 反射;

  4)其他:刪除修改文件,如下示例:

 

    import os
    import shutil

    # py2 + win:報錯
    os.rename(‘a.txt‘,‘b.txt‘)

    # py2 + py3 都不會報錯
    shutil.move(‘c.txt‘,‘a.txt‘)  # 若a.txt已經存在,則會將其覆蓋掉
    shutil.rmtree(‘E:\@Lily\pythonDemo\classic‘) # 遞歸刪除一個目錄以及目錄內的所有內容

  

4、搭建框架示例

# myProject/

   # ├── bin (當前項目的啟動腳本在這裏)

   # │ ├── start.py
   # ├── core (核心代碼都在這裏)
   # │ └── main.py
   # └── db
   # └── userInfo.json

   # └── lib(不是內置和第三方模塊,可能是自己寫的,較完善且跟此程序相關性小)
   # └── models.py

   # └── conf(配置文件,多處用到某個值以後可能會被修改,則寫到配置文件中)
   # └── settings.py

   # └── log(日誌文件,供用戶查看追責或者公司分析數據)
   # └── all.log

# ├── readme (對程序作說明,說明如何使用此程序)

網絡基礎、ftp任務(進度條、計算文件大小、斷點續傳、搭建框架示例)