Python-叠代器&生成器&裝飾器&軟件目錄結構規範-Day5
目錄
Day-Python-叠代器&生成器 2
1、生成器 2
1.1、生成器引入 2
1.2、生成器作用 3
1.3、創建生成器的方法 3
1.4、用函數來實現復雜的生成器 5
1.5、把函數變成生成器通過yield來實現 6
1.6、函數定義中包含yield關鍵字==generator生成器 8
1.7、通過yield實現單線程並發運算效果 9
2、叠代器 10
2.1、叠代器的定義 10
2.2、inter()函數-將列表、字典、字符串轉換成叠代器 11
2.3、小結 12
3、裝飾器 12
3.1、裝飾器-最初需求 12
3.2、裝飾器-添加認證需求： 13
3.3、開發規範 14
3.4、高階函數引出 14
3.4、添加認證後代碼 15
3.5、以上的添加會更改其他用戶的調用方式 15
3.6、解決觸發認證-定義一層函數 16
3.7、對於新增功能-添加參數 17
3.8、裝飾器小結 18
4、軟件目錄結構規範 18
4.1、為什麽要設計好目錄結構? 18
4.2、項目目錄舉例 19
4.3、關於README的內容 19
4.4、setup.py環境部署 20
4.5、requirements.txt環境依賴 20
4.6、關於配置文件的使用方法 21
1、生成器
1.1、生成器引入
通過列表生成式，我們可以直接創建一個列表。但是，受到內存限制，列表容量肯定是有限的。而且，創建一個包含100萬個元素的列表，不僅占用很大的存儲空間，如果我們僅僅需要訪問前面幾個元素，那後面絕大多數元素占用的空間都白白浪費了。
所以，如果列表元素可以按照某種算法推算出來，那我們是否可以在循環的過程中不斷推算出後續的元素呢？這樣就不必創建完整的list，從而節省大量的空間。在Python中，這種一邊循環一邊計算的機制，稱為生成器（Generator）。
我現在有個需求，看列表[0, 1, 2, 3, 4, 5, 6, 7, 8, 9],我要求你把列表裏的每個值加1，你怎麽實現？你可能會想到2種方式
列表生成式
>>> a
[0, 1, 2, 3, 4, 5, 6, 7, 8, 9]
>>> b = []
>>> for i in a:b.append(i+1)
...
>>> b
[1, 2, 3, 4, 5, 6, 7, 8, 9, 10]
>>> a = b
>>> a
[1, 2, 3, 4, 5, 6, 7, 8, 9, 10]
>>> a
[1, 2, 3, 4, 5, 6, 7, 8, 9, 10]
>>> a = map(lambda x:x+1, a)
>>> a
<map object at 0x101d2c630>
>>> for i in a:print(i)
...
2
3
4
5
6
7
8
9
10
11 其實還有一種寫法，如下
>>> a = [i+1 for i in range(10)]
>>> a
[1, 2, 3, 4, 5, 6, 7, 8, 9, 10]這就叫做列表生成
1.2、生成器作用
作用：邊運算邊生成
通過列表生成式，我們可以直接創建一個列表。但是，受到內存限制，列表容量肯定是有限的。而且，創建一個包含100萬個元素的列表，不僅占用很大的存儲空間，如果我們僅僅需要訪問前面幾個元素，那後面絕大多數元素占用的空間都白白浪費了。
所以，如果列表元素可以按照某種算法推算出來，那我們是否可以在循環的過程中不斷推算出後續的元素呢？這樣就不必創建完整的list，從而節省大量的空間。在Python中，這種一邊循環一邊計算的機制，稱為生成器：generator。
1.3、創建生成器的方法
要創建一個generator，有很多種方法。第一種方法很簡單，只要把一個列表生成式的[]改成()，就創建了一個generator：
>>> L = [x * x for x in range(10)]
>>> L
[0, 1, 4, 9, 16, 25, 36, 49, 64, 81]
>>> g = (x * x for x in range(10))
>>> g
<generator object <genexpr> at 0x1022ef630>創建L和g的區別僅在於最外層的[]和()，L是一個list，而g是一個generator。
我們可以直接打印出list的每一個元素，但我們怎麽打印出generator的每一個元素呢？
如果要一個一個打印出來，可以通過next()函數獲得generator的下一個返回值：
>>> next(g)
0
>>> next(g)
1
>>> next(g)
4
>>> next(g)
9
>>> next(g)
16
>>> next(g)
25
>>> next(g)
36
>>> next(g)
49
>>> next(g)
64
>>> next(g)
81
>>> next(g)
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
StopIterationgenerator保存的是算法，每次調用next(g)，就計算出g的下一個元素的值，直到計算到最後一個元素，沒有更多的元素時，拋出StopIteration的錯誤。
當然，上面這種不斷調用next(g)實在是太變態了，正確的方法是使用for循環，因為generator也是可叠代對象：
>>> g = (x * x for x in range(10))
>>> for n in g:
... print(n)
...
0
1
4
9
16
25
36
49
64
81所以，我們創建了一個generator後，基本上永遠不會調用next()，而是通過for循環來叠代它，並且不需要關心StopIteration的錯誤。
1.4、用函數來實現復雜的生成器
generator非常強大。如果推算的算法比較復雜，用類似列表生成式的for循環無法實現的時候，還可以用函數來實現。
比如，著名的斐波拉契數列（Fibonacci），除第一個和第二個數外，任意一個數都可由前兩個數相加得到：
1, 1, 2, 3, 5, 8, 13, 21, 34, ...斐波拉契數列用列表生成式寫不出來，但是，用函數把它打印出來卻很容易：
def fib(max):
n, a, b = 0, 0, 1
while n < max:
print(b)
a, b = b, a + b
n = n + 1
return ‘done‘
註意，賦值語句：
a, b = b, a + b
相當於：
t = (b, a + b) # t是一個tuple
a = t[0]
b = t[1]但不必顯式寫出臨時變量t就可以賦值。
上面的函數可以輸出斐波那契數列的前N個數：
>>> fib(10)
1
1
2
3
5
8
13
21
34
55
done仔細觀察，可以看出，fib函數實際上是定義了斐波拉契數列的推算規則，可以從第一個元素開始，推算出後續任意的元素，這種邏輯其實非常類似generator。
1.5、把函數變成生成器通過yield來實現
函數和generator僅一步之遙。要把fib函數變成generator，只需要把print(b)改為yield b就可以了：
def fib(max):
n,a,b = 0,0,1
while n < max:
#print(b)
yield b
a,b = b,a+b
n += 1
return ‘done‘
yield a#返回a,同事掛起當前這個函數，a返回給了通過__next__()調用當前函數通過yiel就實現了函數的中斷，並且保存了函數的中間狀態
send()可以傳遞yield表達式的值進去，而next()不能傳遞特定的值，只能傳遞None進去
更簡單的寫法
>>> a= 3
>>> b =6
>>> a,b=b,a
>>> a
6
>>> b
3
>>> a =3
>>> b = 6
>>> a,b=b,b+a
>>> a
6
>>> b
9
>>>1.6、函數定義中包含yield關鍵字==generator生成器
這就是定義generator的另一種方法。如果一個函數定義中包含yield關鍵字，那麽這個函數就不再是一個普通函數，而是一個generator：
>>> f = fib(6)
>>> f
<generator object fib at 0x104feaaa0>這裏，最難理解的就是generator和函數的執行流程不一樣。函數是順序執行，遇到return語句或者最後一行函數語句就返回。而變成generator的函數，在每次調用next()的時候執行，遇到yield語句返回，再次執行時從上次返回的yield語句處繼續執行。
data = fib(10)
print(data)
print(data.__next__())
print(data.__next__())
print("幹點別的事")
print(data.__next__())
print(data.__next__())
print(data.__next__())
print(data.__next__())
print(data.__next__())輸出
<generator object fib at 0x101be02b0>
1
1
幹點別的事
2
3
5
8
13在上面fib的例子，我們在循環過程中不斷調用yield，就會不斷中斷。當然要給循環設置一個條件來退出循環，不然就會產生一個無限數列出來。
同樣的，把函數改成generator後，我們基本上從來不會用next()來獲取下一個返回值，而是直接使用for循環來叠代：
>>> for n in fib(6):
... print(n)
...
1
1
2
3
5
8但是用for循環調用generator時，發現拿不到generator的return語句的返回值。如果想要拿到返回值，必須捕獲StopIteration錯誤，返回值包含在StopIteration的value中：
>>> g = fib(6)
>>> while True:
... try:
... x = next(g)
... print(‘g:‘, x)
... except StopIteration as e:
... print(‘Generator return value:‘, e.value)
... break
...
g: 1
g: 1
g: 2
g: 3
g: 5
g: 8
Generator return value: done1.7、通過yield實現單線程並發運算效果
還可通過yield實現在單線程的情況下實現並發運算的效果
通過生成器實現協程並行運算
#_*_coding:utf-8_*_
__author__ = ‘Alex Li‘
import time
def consumer(name):
print("%s 準備吃包子啦!" %name)
while True:
baozi = yield
print("包子[%s]來了,被[%s]吃了!" %(baozi,name))
def producer(name):
c = consumer(‘A‘)
c2 = consumer(‘B‘)
c.__next__()
c2.__next__()
print("老子開始準備做包子啦!")
for i in range(10):
time.sleep(1)
print("做了2個包子!")
c.send(i)
c2.send(i)
producer("alex")2、叠代器
2.1、叠代器的定義
可以直接作用於for循環的數據類型有以下幾種：
一類是集合數據類型，如list、tuple、dict、set、str等；
一類是generator，包括生成器和帶yield的generator function。
這些可以直接作用於for循環的對象統稱為可叠代對象：Iterable。
可以使用isinstance()判斷一個對象是否是Iterable對象：
>>> from collections import Iterable
>>> isinstance([], Iterable)
True
>>> isinstance({}, Iterable)
True
>>> isinstance(‘abc‘, Iterable)
True
>>> isinstance((x for x in range(10)), Iterable)
True
>>> isinstance(100, Iterable)
False而生成器不但可以作用於for循環，還可以被next()函數不斷調用並返回下一個值，直到最後拋出StopIteration錯誤表示無法繼續返回下一個值了。
可以被next()函數調用並不斷返回下一個值的對象稱為叠代器：Iterator。
生成器就是叠代器，但是叠代器不一定都是生成器
可以使用isinstance()判斷一個對象是否是Iterator對象：
>>> from collections import Iterator
>>> isinstance((x for x in range(10)), Iterator)
True
>>> isinstance([], Iterator)
False
>>> isinstance({}, Iterator)
False
>>> isinstance(‘abc‘, Iterator)
False生成器都是Iterator對象，但list、dict、str雖然是Iterable，卻不是Iterator。
2.2、inter()函數-將列表、字典、字符串轉換成叠代器
把list、dict、str等Iterable變成Iterator可以使用iter()函數：
>>> isinstance(iter([]), Iterator)
True
>>> isinstance(iter(‘abc‘), Iterator)
True你可能會問，為什麽list、dict、str等數據類型不是Iterator？
這是因為Python的Iterator對象表示的是一個數據流，Iterator對象可以被next()函數調用並不斷返回下一個數據，直到沒有數據時拋出StopIteration錯誤。可以把這個數據流看做是一個有序序列，但我們卻不能提前知道序列的長度，只能不斷通過next()函數實現按需計算下一個數據，所以Iterator的計算是惰性的，只有在需要返回下一個數據時它才會計算。
Iterator甚至可以表示一個無限大的數據流，例如全體自然數。而使用list是永遠不可能存儲全體自然數的。
2.3、小結
-
凡是可作用於for循環的對象都是Iterable類型；
-
凡是可作用於next()函數的對象都是Iterator類型，它們表示一個惰性計算的序列；
-
集合數據類型如list、dict、str等是Iterable但不是Iterator，不過可以通過iter()函數獲得一個Iterator對象。
Python的for循環本質上就是通過不斷調用next()函數實現的，例如：
for x in [1, 2, 3, 4, 5]:
pass
實際上完全等價於：
# 首先獲得Iterator對象:
it = iter([1, 2, 3, 4, 5])
# 循環:
while True:
try:
# 獲得下一個值:
x = next(it)
except StopIteration:
# 遇到StopIteration就退出循環
break
3、裝飾器
裝飾器是一個很著名的設計模式，經常被用於有切面需求的場景，較為經典的有插入日誌、性能測試、事務處理等。裝飾器是解決這類問題的絕佳設計，有了裝飾器，我們就可以抽離出大量函數中與函數功能本身無關的雷同代碼並繼續重用。概括的講，裝飾器的作用就是為已經存在的對象添加額外的功能。
3.1、裝飾器-最初需求
你是一家視頻網站的後端開發工程師，你們網站有以下幾個版塊
def home():
print("---首頁----")
def america():
print("----歐美專區----")
def japan():
print("----日韓專區----")
def henan():
print("----河南專區----")3.2、裝飾器-添加認證需求：
#_*_coding:utf-8_*_
user_status = False #用戶登錄了就把這個改成True
def login():
_username = "alex" #假裝這是DB裏存的用戶信息
_password = "abc!23" #假裝這是DB裏存的用戶信息
global user_status
if user_status == False:
username = input("user:")
password = input("pasword:")
if username == _username and password == _password:
print("welcome login....")
user_status = True
else:
print("wrong username or password!")
else:
print("用戶已登錄，驗證通過...")
def home():
print("---首頁----")
def america():
login() #執行前加上驗證
print("----歐美專區----")
def japan():
print("----日韓專區----")
def henan():
login() #執行前加上驗證
print("----河南專區----")
home()
america()
henan()3.3、開發規範
封閉：已實現的功能代碼塊
開放：對擴展開發3.4、高階函數引出
高階函數，就是把一個函數當做一個參數傳給另外一個函數，直接 把這個功能 的函數名當做一個參數 傳給 我的驗證模塊就行了
#_*_coding:utf-8_*_
user_status = False #用戶登錄了就把這個改成True
def login(func): #把要執行的模塊從這裏傳進來
_username = "alex" #假裝這是DB裏存的用戶信息
_password = "abc!23" #假裝這是DB裏存的用戶信息
global user_status
if user_status == False:
username = input("user:")
password = input("pasword:")
if username == _username and password == _password:
print("welcome login....")
user_status = True
else:
print("wrong username or password!")
if user_status == True:
func() # 看這裏看這裏，只要驗證通過了，就調用相應功能
def home():
print("---首頁----")
def america():
#login() #執行前加上驗證
print("----歐美專區----")
def japan():
print("----日韓專區----")
def henan():
#login() #執行前加上驗證
print("----河南專區----")
home()
login(america) #需要驗證就調用 login，把需要驗證的功能 當做一個參數傳給login
# home()
# america()
login(henan)3.5、添加認證後代碼
home()
login(america) #需要驗證就調用 login，把需要驗證的功能 當做一個參數傳給login
# home()
# america()
login(henan)3.6、以上的添加會更改其他用戶的調用方式
你之所改變了調用方式，是因為用戶每次調用時需要執行login(henan)，類似的。其實稍一改就可以了呀
home()
america = login(america)
henan = login(henan)
這樣你，其它人調用henan時，其實相當於調用了login(henan), 通過login裏的驗證後，就會自動調用henan功能。
home()
america = login(america) #你在這裏相當於把america這個函數替換了
henan = login(henan)
那用戶調用時依然寫
america()
但是還是有問題，引用會直接觸發認證。
3.7、解決觸發認證-定義一層函數
開始你寫的america = login(america)不觸發你函數的執行，只需要在這個login裏面再定義一層函數，第一次調用america = login(america)只調用到外層login，這個login雖然會執行，但不會觸發認證了，因為認證的所有代碼被封裝在login裏層的新定義 的函數裏了，login只返回 裏層函數的函數名，這樣下次再執行america()時， 就會調用裏層函數啦。。。
def login(func): #把要執行的模塊從這裏傳進來
def inner():#再定義一層函數
_username = "alex" #假裝這是DB裏存的用戶信息
_password = "abc!23" #假裝這是DB裏存的用戶信息
global user_status
if user_status == False:
username = input("user:")
password = input("pasword:")
if username == _username and password == _password:
print("welcome login....")
user_status = True
else:
print("wrong username or password!")
if user_status == True:
func() # 看這裏看這裏，只要驗證通過了，就調用相應功能
return inner #用戶調用login時，只會返回inner的內存地址，下次再調用時加上()才會執行inner函數america = login(america) #你在這裏相當於把america這個函數替換了
只在你要裝飾的函數上面加上下面代碼
@login
def america():
#login() #執行前加上驗證
print("----歐美專區----")
def japan():
print("----日韓專區----")
@login
def henan():
#login() #執行前加上驗證
print("----河南專區----")效果是一樣的。
3.8、對於新增功能-添加參數
對新增加的@login()還可以添加參數*args,**kwargs...
3.9、裝飾器小結
裝飾器：
完全符合 開放-封閉原則，
不改變原有功能代碼，不改變原有調用方式
實現擴展新功能
4、軟件目錄結構規範
4.1、為什麽要設計好目錄結構?
- 可讀性高: 不熟悉這個項目的代碼的人，一眼就能看懂目錄結構，知道程序啟動腳本是哪個，測試目錄在哪兒，配置文件在哪兒等等。從而非常快速的了解這個項目。
- 可維護性高: 定義好組織規則後，維護者就能很明確地知道，新增的哪個文件和代碼應該放在什麽目錄之下。這個好處是，隨著時間的推移，代碼/配置的規模增加，項目結構不會混亂，仍然能夠組織良好。
4.2、項目目錄舉例
假設你的項目名為foo, 我比較建議的最方便快捷目錄結構這樣就足夠了:
Foo/
|-- bin/
| |-- foo
|
|-- foo/
| |-- tests/
| | |-- __init__.py
| | |-- test_main.py
| |
| |-- __init__.py
| |-- main.py
|
|-- docs/
| |-- conf.py
| |-- abc.rst
|
|-- setup.py
|-- requirements.txt
|-- README簡要解釋一下:
bin/: 存放項目的一些可執行文件，當然你可以起名script/之類的也行。
foo/: 存放項目的所有源代碼。
(1) 源代碼中的所有模塊、包都應該放在此目錄。不要置於頂層目錄。
(2) 其子目錄tests/存放單元測試代碼；
(3) 程序的入口最好命名為main.py。
docs/: 存放一些文檔。
setup.py: 安裝、部署、打包的腳本。
requirements.txt: 存放軟件依賴的外部Python包列表。
README: 項目說明文件。4.3、關於README的內容
這個我覺得是每個項目都應該有的一個文件，目的是能簡要描述該項目的信息，讓讀者快速了解這個項目。
它需要說明以下幾個事項:
軟件定位，軟件的基本功能。
運行代碼的方法: 安裝環境、啟動命令等。
簡要的使用說明。
代碼目錄結構說明，更詳細點可以說明軟件的基本原理。
常見問題說明。我覺得有以上幾點是比較好的一個README。在軟件開發初期，由於開發過程中以上內容可能不明確或者發生變化，並不是一定要在一開始就將所有信息都補全。但是在項目完結的時候，是需要撰寫這樣的一個文檔的。
可以參考Redis源碼中Readme的寫法，這裏面簡潔但是清晰的描述了Redis功能和源碼結構。
關於requirements.txt和setup.py
4.4、setup.py環境部署
一般來說，用setup.py來管理代碼的打包、安裝、部署問題。業界標準的寫法是用Python流行的打包工具setuptools來管理這些事情。這種方式普遍應用於開源項目中。不過這裏的核心思想不是用標準化的工具來解決這些問題，而是說，一個項目一定要有一個安裝部署工具，能快速便捷的在一臺新機器上將環境裝好、代碼部署好和將程序運行起來。
setup.py可以將這些事情自動化起來，提高效率、減少出錯的概率。"復雜的東西自動化，能自動化的東西一定要自動化。"是一個非常好的習慣。
setuptools的文檔比較龐大，剛接觸的話，可能不太好找到切入點。學習技術的方式就是看他人是怎麽用的，可以參考一下Python的一個Web框架，flask是如何寫的: setup.py
當然，簡單點自己寫個安裝腳本（deploy.sh）替代setup.py也未嘗不可。
4.5、requirements.txt環境依賴
這個文件存在的目的是:
方便開發者維護軟件的包依賴。
將開發過程中新增的包添加進這個列表中，
避免在setup.py安裝依賴時漏掉軟件包。
方便讀者明確項目使用了哪些Python包。這個文件的格式是每一行包含一個包依賴的說明，通常是flask>=0.10這種格式，要求是這個格式能被pip識別，這樣就可以簡單的通過 pip install -r requirements.txt來把所有Python包依賴都裝好了。
4.6、關於配置文件的使用方法
註意，在上面的目錄結構中，沒有將conf.py放在源碼目錄下，而是放在docs/目錄下。
配置的使用，更好的方式是，
模塊的配置都是可以靈活配置的，不受外部配置文件的影響。
程序的配置也是可以靈活控制的。能夠佐證這個思想的是，用過nginx和mysql的同學都知道，nginx、mysql這些程序都可以自由的指定用戶配置。
所以，不應當在代碼中直接import conf來使用配置文件。上面目錄結構中的conf.py，是給出的一個配置樣例，不是在寫死在程序中直接引用的配置文件。可以通過給main.py啟動參數指定配置路徑的方式來讓程序讀取配置內容。當然，這裏的conf.py你可以換個類似的名字，比如settings.py。或者你也可以使用其他格式的內容來編寫配置文件，比如settings.yaml之類的。
Python-叠代器&生成器&裝飾器&軟件目錄結構規範-Day5