1. 程式人生 > >Python之struct模組(處理二進位制)

Python之struct模組(處理二進位制)

有的時候需要用python處理二進位制資料,比如,存取檔案,socket操作時.這時候,可以使用python的struct模組來完成.可以用 struct來處理c語言中的結構體.

struct模組中最重要的三個函式是pack(), unpack(), calcsize()

pack(fmt, v1, v2, ...) 按照給定的格式(fmt),把資料封裝成字串(實際上是類似於c結構體的位元組流)

unpack(fmt, string) 按照給定的格式(fmt)解析位元組流string,返回解析出來的tuple

calcsize(fmt) 計算給定的格式(fmt)佔用多少位元組的記憶體

struct中支援的格式如下表:

Format C Type Python 位元組數
x pad byte no value 1
c char string of length 1 1
b signed char integer 1
B unsigned char integer 1
? _Bool bool 1
h short integer 2
H unsigned short integer 2
i int integer 4
I unsigned int integer or long 4
l long integer
4
L unsigned long long 4
q long long long 8
Q unsigned long long long 8
f float float 4
d double float 8
s char[] string 1
p char[] string 1
P void * long

注1.q和Q只在機器支援64位操作時有意思

注2.每個格式前可以有一個數字,表示個數

注3.s格式表示一定長度的字串,4s表示長度為4的字串,但是p表示的是pascal字串

注4.P用來轉換一個指標,其長度和機器字長相關

注5.最後一個可以用來表示指標型別的,佔4個位元組

為了同c中的結構體交換資料,還要考慮有的c或c++編譯器使用了位元組對齊,通常是以4個位元組為單位的32位系統,故而struct根據本地機器位元組順序轉換.可以用格式中的第一個字元來改變對齊方式.定義如下:

Character Byte order Size and alignment
@ native native 湊夠4個位元組
= native standard 按原位元組數
< little-endian standard 按原位元組數
> big-endian standard 按原位元組數
! network (= big-endian)

standard 按原位元組數

使用方法是放在fmt的第一個位置,就像'@5s6sif'

示例一:

比如有一個結構體

struct Header

{

unsigned short id;

char[4] tag;

unsigned int version;

unsigned int count;

}

通過socket.recv接收到了一個上面的結構體資料,存在字串s中,現在需要把它解析出來,可以使用unpack()函式.

import struct

id, tag, version, count = struct.unpack("!H4s2I", s)

上面的格式字串中,!表示我們要使用網路位元組順序解析,因為我們的資料是從網路中接收到的,在網路上傳送的時候它是網路位元組順序的.後面的H表示 一個unsigned short的id,4s表示4位元組長的字串,2I表示有兩個unsigned int型別的資料.


就通過一個unpack,現在id, tag, version, count裡已經儲存好我們的資訊了.

同樣,也可以很方便的把本地資料再pack成struct格式.

ss = struct.pack("!H4s2I", id, tag, version, count);

pack函式就把id, tag, version, count按照指定的格式轉換成了結構體Header,ss現在是一個字串(實際上是類似於c結構體的位元組流),可以通過 socket.send(ss)把這個字串傳送出去.


示例二:

import struct

a=12.34

#將a變為二進位制

bytes=struct.pack('i',a)

此時bytes就是一個string字串,字串按位元組同a的二進位制儲存內容相同。


再進行反操作

現有二進位制資料bytes,(其實就是字串),將它反過來轉換成python的資料型別:

a,=struct.unpack('i',bytes)

注意,unpack返回的是tuple

所以如果只有一個變數的話:

bytes=struct.pack('i',a)

那麼,解碼的時候需要這樣

a,=struct.unpack('i',bytes) 或者 (a,)=struct.unpack('i',bytes)

如果直接用a=struct.unpack('i',bytes),那麼 a=(12.34,) ,是一個tuple而不是原來的浮點數了。


如果是由多個數據構成的,可以這樣:

a='hello'

b='world!'

c=2

d=45.123

bytes=struct.pack('5s6sif',a,b,c,d)

此時的bytes就是二進位制形式的資料了,可以直接寫入檔案比如 binfile.write(bytes)

然後,當我們需要時可以再讀出來,bytes=binfile.read()

再通過struct.unpack()解碼成python變數

a,b,c,d=struct.unpack('5s6sif',bytes)

'5s6sif'這個叫做fmt,就是格式化字串,由數字加字元構成,5s表示佔5個字元的字串,2i,表示2個整數等等,下面是可用的字元及型別,ctype表示可以與python中的型別一一對應。


注意:二進位制檔案處理時會碰到的問題

我們使用處理二進位制檔案時,需要用如下方法

binfile=open(filepath,'rb') 讀二進位制檔案

binfile=open(filepath,'wb') 寫二進位制檔案

那麼和binfile=open(filepath,'r')的結果到底有何不同呢?

不同之處有兩個地方:

第一,使用'r'的時候如果碰到'0x1A',就會視為檔案結束,這就是EOF。使用'rb'則不存在這個問題。即,如果你用二進位制寫入再用文字讀出的話,如果其中存在'0X1A',就只會讀出檔案的一部分。使用'rb'的時候會一直讀到檔案末尾。

第二,對於字串x='abc\ndef',我們可用len(x)得到它的長度為7,\n我們稱之為換行符,實際上是'0X0A'。當我們用'w'即文字方式寫的時候,在windows平臺上會自動將'0X0A'變成兩個字元'0X0D','0X0A',即檔案長度實際上變成8.。當用'r'文字方式讀取時,又自動的轉換成原來的換行符。如果換成'wb'二進位制方式來寫的話,則會保持一個字元不變,讀取時也是原樣讀取。所以如果用文字方式寫入,用二進位制方式讀取的話,就要考慮這多出的一個位元組了。'0X0D'又稱回車符。linux下不會變。因為linux只使用'0X0A'來表示換行。

相關推薦

Pythonstruct模組處理二進位制

有的時候需要用python處理二進位制資料,比如,存取檔案,socket操作時.這時候,可以使用python的struct模組來完成.可以用 struct來處理c語言中的結構體. struct模組中最重要的三個函式是pack(), unpack(), calcsize(

Python程式設計從入門到實踐》記錄json模組資料儲存

模組json讓你能夠將簡單的Python資料結構轉儲到檔案中, 並在程式再次執行時載入該檔案中的資料。 你還可以使用json在Python程式之間分享資料。更重要的是,JSON資料格式並非Python專用的,這讓你能夠將以JSON格式儲存的資料與使用其他程式語言的人分享。這是一種輕便格式,很有用

pythonre模組正則表示式常用函式

1、compile() 編譯正則表示式模式,返回一個物件的模式。(可以把那些常用的正則表示式編譯成正則表示式物件,這樣可以提高一點效率。) 格式: re.compile(pattern,flags=0) pattern: 編譯時用的表示式字串。 flags 編譯標誌位,用於修改正

Python元組常見知識點

1、學線性表,學Python,元組肯定有見過,而且反覆,總是記不住它和List的區別 2、元組是個特殊的List,這麼理解就對了 3、元組建立後,不可以修改元素,我試著更改下標為0的元素,直譯器告訴我tuple不支援item指定,據說這樣更安全啊 >>> tempA

Python字串切片String Slice

1、切片操作可以從一個字串中,擷取一個字串,Python牛掰之處,好方便 2、看下基本的語法,這是一個全包括的狀態 [start:end:step] 3、預設的幾種用法 先提及幾個關鍵概念: a、第一個字元的下標是0,即從左到右,是從0開始,然後1、2、3、4、5 b、最後一個

pythonLinux基礎十一

Linux常⽤伺服器構建-ssh和scp <1>ssh介紹 SSH為Secure Shell的縮寫,由 IETF 的⽹絡⼯作⼩組(Network Working Group)所制 定;SSH 為建⽴在應⽤層和傳輸層基礎上的安全協議。 SSH是⽬前較可靠,專為遠端登入會話和其他⽹絡服

pythonLinux基礎十二

got ideavim cto inux 收費 c89 跨平臺 png 檢查 pycharm的集成vim 1. 基本使?激活碼 BIG3CLIK6F-eyJsaWNlbnNlSWQiOiJCSUczQ0xJSzZGIiwibGljZW5zZWVOYW1lIjo

Python——關於常見模組長期更新

1、在Python中,我們最常見的估計就是時間模組,所以第一個我來說一下時間模組: import time print(time.time()) #時間戳,從1970年8點開始的 print(time.clock()) #計算cpu的執行時間 print(ti

Python學習筆記高階特性

[TOC] 切片,迭代,列表表示式,生成器 高階特性 # -*- coding: utf-8 -*- from collections import Iterable L = [] n =

Python入門——Python變數和資料型別——Pythonprint語句3-2

print語句可以向螢幕上輸出指定的文字。比如輸出'hello, world',用程式碼實現如下:>>> print 'hello, world'注意:1.當我們在Python互動式環境下編寫程式碼時,>>>是Python直譯器的提示符,不

我的python路6基礎練習

eof 第一個字符 src 自己的 oba bit 存儲空間 提示符 文字 ---恢復內容開始--- 1、執行Python 腳本的兩種方式 打開Windows命令提示符 二、使用其它集成開發工具進行PYTHON程序的開發,如Eclips\Pycharm等,使用這種集成

python安裝第三方模組windows環境

在windows中需要給Python安裝seuptolls這個工具才能使用easy_install這個命令,使用easy_install這個命令才能安裝第三方模組。 下面先安裝setuptool: 2.用Python執行ez_setup.py。在命令列中輸入:pytyon

Python學習筆記模擬鍵盤

準備 資料 在我們進行用python開發的時候我們可能需要模擬鍵盤操作,比如ppt自動翻頁的功能。那麼在這裡就介紹python的模擬鍵盤。 準備 資料 接著看一些程式碼就知道什麼意思了。 po一段最簡單的程式碼如下: # -*-

Python日期與時間處理模組date和datetime

本節內容 前言 相關術語的解釋 時間的表現形式 time模組 datetime模組 時間格式碼 總結 前言 在開發工作中,我們經常需要用到日期與時間,如: 作為日誌資訊的內容輸出 計算某個功能的執行時間 用日期命名一個日誌檔案的名稱 記錄或展示某文章的釋出或修改

python學習-hashlib模組加密演算法模組

hash演算法模組內有很多種,如md5、sha1等,只是加密的程度不一樣 hash是一種演算法 該演算法接收傳入的文字內容,經過hash運算得到一串hash值 hash值具備三個特點: 1. 如果傳入的內容相同,得到hash一定相同 2. 不能根據hash值反推出內容(無法反解,但是目前已被破解)

python學習-re模組正則表示式模組

什麼是正則表示式 正則就是用一些具有特殊含義的符號組合到一起(稱為正則表示式)來描述字元或者字串的方法。或者說:正則就是用來描述一類事物的規則。(在Python中)它內嵌在Python中,並通過 re 模組實現。正則表示式模式被編譯成一系列的位元組碼,然後由用 C 編寫的匹配引擎執行。 生活中處處都是正則

python學習-subprocess模組子程序模組

什麼是程序 一個程式執行起來了就是一個程序 但是程式本身不是程序,程式是一對程式碼而已 所以程序就是一個抽象的概念,就是程式執行起來的一個過程 程序和程序之間是相互獨立的,互不影響 如何理解子程序和父程序 抽象的說一個QQ程式是一個父程序,word就是一個子程序,兩個互不干預,當然這只是一個比喻

Python學習【第9篇】:Python常用模組時間模組,序列化模組 常用模組2

常用模組2 一、time模組 表示時間的三種方式:   時間戳:數字(計算機能認識的)   時間字串:t='2012-12-12'

Python學習【第8篇】:Python常用模組主要是正則以及collections模組 python--------------常用模組正則

python--------------常用模組之正則 一、認識模組     什麼是模組:一個模組就是一個包含了python定義和宣告的檔案,檔名就是加上.py的字尾,但其實import載入的模組分為四個通用類別 :

Pythontime模組的時間戳、時間字串格式化與轉換13位時間戳

Python處理時間和時間戳的內建模組就有time,和datetime兩個,本文先說time模組。 關於時間戳的幾個概念 時間戳,根據1970年1月1日00:00:00開始按秒計算的偏移量。 時間元組(struct_time),包含9個元素。 t