閱讀目錄

• 認識模塊
  • 什麽是模塊
  • 模塊的導入和使用
• 常用模塊一
  • collections模塊
  • 時間模塊
  • random模塊
  • os模塊
  • sys模塊
  • 序列化模塊
  • re模塊
• 常用模塊二
• hashlib模塊
• configparse模塊
• logging模塊

collections模塊

在內置數據類型（dict、list、set、tuple）的基礎上，collections模塊還提供了幾個額外的數據類型：Counter、deque、defaultdict、namedtuple和OrderedDict等。

1.namedtuple: 生成可以使用名字來訪問元素內容的tuple

2.deque: 雙端隊列，可以快速的從另外一側追加和推出對象

3.Counter: 計數器，主要用來計數

4.OrderedDict: 有序字典

5.defaultdict: 帶有默認值的字典

namedtuple

我們知道tuple可以表示不變集合，例如，一個點的二維坐標就可以表示成：

>>> p = (1, 2)

但是，看到(1, 2)，很難看出這個tuple是用來表示一個坐標的。

這時，namedtuple就派上了用場：

>>> from collections import namedtuple
>>> Point = namedtuple(‘Point‘, [‘x‘, ‘y‘])
>>> p = Point(1, 2)
>>> p.x
1
>>> p.y
2

類似的，如果要用坐標和半徑表示一個圓，也可以用namedtuple定義：

#namedtuple(‘名稱‘, [屬性list]):
Circle = namedtuple(‘Circle‘, [‘x‘, ‘y‘, ‘r‘])

deque

使用list存儲數據時，按索引訪問元素很快，但是插入和刪除元素就很慢了，因為list是線性存儲，數據量大的時候，插入和刪除效率很低。

deque是為了高效實現插入和刪除操作的雙向列表，適合用於隊列和棧：

>>> from collections import deque
>>> q = deque([‘a‘, ‘b‘, ‘c‘])
>>> q.append(‘x‘)
>>> q.appendleft(‘y‘)
>>> q
deque([‘y‘, ‘a‘, ‘b‘, ‘c‘, ‘x‘])

deque除了實現list的append()和pop()外，還支持appendleft()和popleft()，這樣就可以非常高效地往頭部添加或刪除元素。

OrderedDict

使用dict時，Key是無序的。在對dict做叠代時，我們無法確定Key的順序。

如果要保持Key的順序，可以用OrderedDict：

>>> from collections import OrderedDict
>>> d = dict([(‘a‘, 1), (‘b‘, 2), (‘c‘, 3)])
>>> d # dict的Key是無序的
{‘a‘: 1, ‘c‘: 3, ‘b‘: 2}
>>> od = OrderedDict([(‘a‘, 1), (‘b‘, 2), (‘c‘, 3)])
>>> od # OrderedDict的Key是有序的
OrderedDict([(‘a‘, 1), (‘b‘, 2), (‘c‘, 3)])

註意，OrderedDict的Key會按照插入的順序排列，不是Key本身排序：

>>> od = OrderedDict()
>>> od[‘z‘] = 1
>>> od[‘y‘] = 2
>>> od[‘x‘] = 3
>>> od.keys() # 按照插入的Key的順序返回
[‘z‘, ‘y‘, ‘x‘]

defaultdict

有如下值集合 [11,22,33,44,55,66,77,88,99,90...]，將所有大於 66 的值保存至字典的第一個key中，將小於 66 的值保存至第二個key的值中。

使用dict時，如果引用的Key不存在，就會拋出KeyError。如果希望key不存在時，返回一個默認值，就可以用defaultdict：

Counter

Counter類的目的是用來跟蹤值出現的次數。它是一個無序的容器類型，以字典的鍵值對形式存儲，其中元素作為key，其計數作為value。計數值可以是任意的Interger（包括0和負數）。Counter類和其他語言的bags或multisets很相似。

c = Counter(‘abcdeabcdabcaba‘)
print c
輸出：Counter({‘a‘: 5, ‘b‘: 4, ‘c‘: 3, ‘d‘: 2, ‘e‘: 1})

其他關於Counter的內容

Counter目的是用來跟蹤值出現的次數。它是一個無序的容器類型，以字典的鍵值對形式存儲，其中元素作為key，其計數作為value。計數值可以是任意的Interger（包括0和負數）。Counter類和其他語言的bags或multisets很相似。

創建

下面的代碼說明了Counter類創建的四種方法：

>>> c = Counter()  # 創建一個空的Counter類
>>> c = Counter(‘gallahad‘)  # 從一個可iterable對象（list、tuple、dict、字符串等）創建
>>> c = Counter({‘a‘: 4, ‘b‘: 2})  # 從一個字典對象創建
>>> c = Counter(a=4, b=2)  # 從一組鍵值對創建

計數值的訪問與缺失的鍵

當所訪問的鍵不存在時，返回0，而不是KeyError；否則返回它的計數。

>>> c = Counter("abcdefgab")
>>> c["a"]
2
>>> c["c"]
1
>>> c["h"]
0

計數器的更新（update和subtract）

可以使用一個iterable對象或者另一個Counter對象來更新鍵值。

計數器的更新包括增加和減少兩種。其中，增加使用update()方法：

>>> c = Counter(‘which‘)
>>> c.update(‘witch‘)  # 使用另一個iterable對象更新
>>> c[‘h‘]
3
>>> d = Counter(‘watch‘)
>>> c.update(d)  # 使用另一個Counter對象更新
>>> c[‘h‘]
4

減少則使用subtract()方法：

>>> c = Counter(‘which‘)
>>> c.subtract(‘witch‘)  # 使用另一個iterable對象更新
>>> c[‘h‘]
1
>>> d = Counter(‘watch‘)
>>> c.subtract(d)  # 使用另一個Counter對象更新
>>> c[‘a‘]
-1

鍵的修改和刪除

當計數值為0時，並不意味著元素被刪除，刪除元素應當使用del。

>>> c = Counter("abcdcba")
>>> c
Counter({‘a‘: 2, ‘c‘: 2, ‘b‘: 2, ‘d‘: 1})
>>> c["b"] = 0
>>> c
Counter({‘a‘: 2, ‘c‘: 2, ‘d‘: 1, ‘b‘: 0})
>>> del c["a"]
>>> c
Counter({‘c‘: 2, ‘b‘: 2, ‘d‘: 1})

elements()

返回一個叠代器。元素被重復了多少次，在該叠代器中就包含多少個該元素。元素排列無確定順序，個數小於1的元素不被包含。

>>> c = Counter(a=4, b=2, c=0, d=-2)
>>> list(c.elements())
[‘a‘, ‘a‘, ‘a‘, ‘a‘, ‘b‘, ‘b‘]

most_common([n])

返回一個TopN列表。如果n沒有被指定，則返回所有元素。當多個元素計數值相同時，排列是無確定順序的。

>>> c = Counter(‘abracadabra‘)
>>> c.most_common()
[(‘a‘, 5), (‘r‘, 2), (‘b‘, 2), (‘c‘, 1), (‘d‘, 1)]
>>> c.most_common(3)
[(‘a‘, 5), (‘r‘, 2), (‘b‘, 2)] 

淺拷貝copy

>>> c = Counter("abcdcba")
>>> c
Counter({‘a‘: 2, ‘c‘: 2, ‘b‘: 2, ‘d‘: 1})
>>> d = c.copy()
>>> d
Counter({‘a‘: 2, ‘c‘: 2, ‘b‘: 2, ‘d‘: 1})

算術和集合操作

+、-、&、|操作也可以用於Counter。其中&和|操作分別返回兩個Counter對象各元素的最小值和最大值。需要註意的是，得到的Counter對象將刪除小於1的元素。

>>> c = Counter(a=3, b=1)
>>> d = Counter(a=1, b=2)
>>> c + d  # c[x] + d[x]
Counter({‘a‘: 4, ‘b‘: 3})
>>> c - d  # subtract（只保留正數計數的元素）
Counter({‘a‘: 2})
>>> c & d  # 交集:  min(c[x], d[x])
Counter({‘a‘: 1, ‘b‘: 1})
>>> c | d  # 並集:  max(c[x], d[x])
Counter({‘a‘: 3, ‘b‘: 2})

其他常用操作

下面是一些Counter類的常用操作，來源於Python官方文檔

sum(c.values())  # 所有計數的總數
c.clear()  # 重置Counter對象，註意不是刪除
list(c)  # 將c中的鍵轉為列表
set(c)  # 將c中的鍵轉為set
dict(c)  # 將c中的鍵值對轉為字典
c.items()  # 轉為(elem, cnt)格式的列表
Counter(dict(list_of_pairs))  # 從(elem, cnt)格式的列表轉換為Counter類對象
c.most_common()[:-n:-1]  # 取出計數最少的n個元素
c += Counter()  # 移除0和負值

正則表達式：

一說規則我已經知道你很暈了，現在就讓我們先來看一些實際的應用。在線測試工具 http://tool.chinaz.com/regex/

在這裏我們要知道的是，講到正則就只和字符串相關了，你們輸入的每一個字都是字符串

還有一種情況是不用規則的，那就是在一個位置的一個值，就不用去規則了（比如用1去匹配1，或者用2去匹配2）

然而我們考慮的是在同一個位置上可以出現的字符範圍

字符組 ： [字符組]
在同一個位置可能出現的各種字符組成了一個字符組，在正則表達式中用[]表示
字符分為很多類，比如數字、字母、標點等等。
假如你現在要求一個位置"只能出現一個數字",那麽這個位置上的字符只能是0、1、2...9這10個數之一。

正則

待匹配字符

匹配
結果

說明

[0123456789]

8

True

在一個字符組裏枚舉合法的所有字符，字符組裏的任意一個字符
和"待匹配字符"相同都視為可以匹配

[0123456789]

a

False

由於字符組中沒有"a"字符，所以不能匹配

[0-9]

7

True

也可以用-表示範圍,[0-9]就和[0123456789]是一個意思

[a-z]

s

True

同樣的如果要匹配所有的小寫字母，直接用[a-z]就可以表示

[A-Z]

B

True

[A-Z]就表示所有的大寫字母

[0-9][a-f][A-F]

e

True

可以匹配數字，大小寫形式的a～f，用來驗證十六進制字符

字符：

元字符

匹配內容

匹配非字母或數字或下劃線

匹配非數字

匹配非空白符

匹配字符a或字符b

匹配括號內的表達式，也表示一個組

匹配字符組中的字符

匹配除了字符組中字符的所有字符

量詞：

量詞

用法說明

. ^ $

* + ? { }

?表示重復零次或一次，即只匹配"李"後面一個任意字符

*表示重復零次或多次，即匹配"李"後面0或多個任意字符

+表示重復一次或多次，即只匹配"李"後面1個或多個任意字符

{1,2}匹配1到2次任意字符

註意：前面的*,+,?等都是貪婪匹配，也就是盡可能匹配，後面加?號使其變成惰性匹配

字符集［］［^］

表示匹配"李"字後面[傑蓮英二棍子]的字符任意次

表示匹配一個不是"和"的字符任意次

表示匹配任意一個數字，匹配到4個結果

表示匹配任意個數字，匹配到2個結果

分組 ()與 或 ｜［^］

身份證號碼是一個長度為15或18個字符的字符串，如果是15位則全部???數字組成，首位不能為0；如果是18位，則前17位全部是數字，末位可能是數字或x，下面我們嘗試用正則來表示：

表示也可以匹配這串數字，但這並不是一個正確的身份證號碼，它是一個16位的數字

現在不會匹配錯誤的身份證號了
()表示分組，將\d{2}[0-9x]分成一組，就可以整體約束他們出現的次數為0-1次

表示先匹配[1-9]\d{16}[0-9x]如果沒有匹配上就匹配[1-9]\d{14}

轉義符 \

在正則表達式中，有很多有特殊意義的是元字符，比如\d和\s等，如果要在正則中匹配正常的"\d"而不是"數字"就需要對"\"進行轉義，變成‘\\‘。

在python中，無論是正則表達式，還是待匹配的內容，都是以字符串的形式出現的，在字符串中\也有特殊的含義，本身還需要轉義。所以如果匹配一次"\d",字符串中要寫成‘\\d‘，那麽正則裏就要寫成"\\\\d",這樣就太麻煩了。這個時候我們就用到了r‘\d‘這個概念，此時的正則是r‘\\d‘就可以了。

因為在正則表達式中\是有特殊意義的字符，所以要匹配\d本身，用表達式\d無法匹配

轉義\之後變成\\，即可匹配

如果在python中，字符串中的‘\‘也需要轉義，所以每一個字符串‘\‘又需要轉義一次

在字符串之前加r，讓整個字符串不轉義

貪婪匹配

貪婪匹配：在滿足匹配時，匹配盡可能長的字符串，默認情況下，采用貪婪匹配

默認為貪婪匹配模式，會匹配盡量長的字符串

加上？為將貪婪匹配模式轉為非貪婪匹配模式，會匹配盡量短的字符串

幾個常用的非貪婪匹配Pattern

*? 重復任意次，但盡可能少重復
+? 重復1次或更多次，但盡可能少重復
?? 重復0次或1次，但盡可能少重復
{n,m}? 重復n到m次，但盡可能少重復
{n,}? 重復n次以上，但盡可能少重復

.*?的用法

. 是任意字符
* 是取 0 至 無限長度
? 是非貪婪模式。
何在一起就是 取盡量少的任意字符，一般不會這麽單獨寫，他大多用在：
.*?x

就是取前面任意長度的字符，直到一個x出現

re模塊下的常用方法（一定要記住的）

import re

ret = re.findall(‘a‘, ‘eva egon yuan‘)  # 返回所有滿足匹配條件的結果,放在列表裏
print(ret) #結果 : [‘a‘, ‘a‘]

ret = re.search(‘a‘, ‘eva egon yuan‘).group()
print(ret) #結果 : ‘a‘
# 函數會在字符串內查找模式匹配,只到找到第一個匹配然後返回一個包含匹配信息的對象,該對象可以
# 通過調用group()方法得到匹配的字符串,如果字符串沒有匹配，則返回None。

ret = re.match(‘a‘, ‘abc‘).group()  # 同search,不過盡在字符串開始處進行匹配
print(ret)
#結果 : ‘a‘

ret = re.split(‘[ab]‘, ‘abcd‘)  # 先按‘a‘分割得到‘‘和‘bcd‘,在對‘‘和‘bcd‘分別按‘b‘分割
print(ret)  # [‘‘, ‘‘, ‘cd‘]

ret = re.sub(‘\d‘, ‘H‘, ‘eva3egon4yuan4‘, 1)#將數字替換成‘H‘，參數1表示只替換1個
print(ret) #evaHegon4yuan4

ret = re.subn(‘\d‘, ‘H‘, ‘eva3egon4yuan4‘)#將數字替換成‘H‘，返回元組(替換的結果,替換了多少次)
print(ret)

obj = re.compile(‘\d{3}‘)  #將正則表達式編譯成為一個 正則表達式對象，規則要匹配的是3個數字
ret = obj.search(‘abc123eeee‘) #正則表達式對象調用search，參數為待匹配的字符串
print(ret.group())  #結果 ： 123

import re
ret = re.finditer(‘\d‘, ‘ds3sy4784a‘)   #finditer返回一個存放匹配結果的叠代器
print(ret)  # <callable_iterator object at 0x10195f940>
print(next(ret).group())  #查看第一個結果
print(next(ret).group())  #查看第二個結果
print([i.group() for i in ret])  #查看剩余的左右結果

註意：

1 findall的優先級查詢：

import re

ret = re.findall(‘www.(baidu|oldboy).com‘, ‘www.oldboy.com‘)
print(ret)  # [‘oldboy‘]     這是因為findall會優先把匹配結果組裏內容返回,如果想要匹配結果,取消權限即可

ret = re.findall(‘www.(?:baidu|oldboy).com‘, ‘www.oldboy.com‘)
print(ret)  # [‘www.oldboy.com‘]

2 split的優先級查詢

ret=re.split("\d+","eva3egon4yuan")
print(ret) #結果 ： [‘eva‘, ‘egon‘, ‘yuan‘]

ret=re.split("(\d+)","eva3egon4yuan")
print(ret) #結果 ： [‘eva‘, ‘3‘, ‘egon‘, ‘4‘, ‘yuan‘]


#在匹配部分加上（）之後所切出的結果是不同的，
#沒有（）的沒有保留所匹配的項，但是有（）的卻能夠保留了匹配的項，
#這個在某些需要保留匹配部分的使用過程是非常重要的。

常用模塊知識