1. 程式人生 > >(轉)python基礎學習-----生成器和叠代器

(轉)python基礎學習-----生成器和叠代器

分享 使用 生成 再次 流程 next 獨立 img eva

在Python中,很多對象都是可以通過for語句來直接遍歷的,例如list、string、dict等等,這些對象都可以被稱為可叠代對象。至於說哪些對象是可以被叠代訪問的,就要了解一下叠代器相關的知識了。

叠代器

叠代器對象要求支持叠代器協議的對象,在Python中,支持叠代器協議就是實現對象的__iter__()和next()方法。其中__iter__()方法返回叠代器對象本身;next()方法返回容器的下一個元素,在結尾時引發StopIteration異常。

__iter__()和next()方法

這兩個方法是叠代器最基本的方法,一個用來獲得叠代器對象,一個用來獲取容器中的下一個元素。

對於可叠代對象,可以使用內建函數iter()來獲取它的叠代器對象:

技術分享圖片

例子中,通過iter()方法獲得了list的叠代器對象,然後就可以通過next()方法來訪問list中的元素了。當容器中沒有可訪問的元素後,next()方法將會拋出一個StopIteration異常終止叠代器。

其實,當我們使用for語句的時候,for語句就會自動的通過__iter__()方法來獲得叠代器對象,並且通過next()方法來獲取下一個元素。

自定義叠代器

了解了叠代器協議之後,就可以自定義叠代器了。

下面例子中實現了一個MyRange的類型,這個類型中實現了__iter__()方法,通過這個方法返回對象本身作為叠代器對象;同時,實現了next()方法用來獲取容器中的下一個元素,當沒有可訪問元素後,就拋出StopIteration異常。

技術分享圖片
class MyRange(object):
    def __init__(self, n):
        self.idx = 0
        self.n = n
        
    def __iter__(self):
        return self
        
    def next(self):
        if self.idx < self.n:
            val = self.idx
            self.idx += 1
            return val
        else:
            raise StopIteration()
技術分享圖片

這個自定義類型跟內建函數xrange很類似,看一下運行結果:

myRange = MyRange(3)
for i in myRange:
    print i   

技術分享圖片

叠代器和可叠代對象

在上面的例子中,myRange這個對象就是一個可叠代對象,同時它本身也是一個叠代器對象。

看下面的代碼,對於一個可叠代對象,如果它本身又是一個叠代器對象,就會有下面的 問題,就沒有辦法支持多次叠代。

技術分享圖片

為了解決上面的問題,可以分別定義可叠代類型對象和叠代器類型對象;然後可叠代類型對象的__iter__()方法可以獲得一個叠代器類型的對象。看下面的實現:

技術分享圖片
class Zrange:
    def __init__(self, n):
        self.n = n

    def __iter__(self):
        return ZrangeIterator(self.n)

class ZrangeIterator:
    def __init__(self, n):
        self.i = 0
        self.n = n

    def __iter__(self):
        return self

    def next(self):
        if self.i < self.n:
            i = self.i
            self.i += 1
            return i
        else:
            raise StopIteration()    

            
zrange = Zrange(3)
print zrange is iter(zrange)         

print [i for i in zrange]
print [i for i in zrange]
技術分享圖片

代碼的運行結果為:

技術分享圖片

其實,通過下面代碼可以看出,list類型也是按照上面的方式,list本身是一個可叠代對象,通過iter()方法可以獲得list的叠代器對象:

技術分享圖片

生成器

在Python中,使用生成器可以很方便的支持叠代器協議。生成器通過生成器函數產生,生成器函數可以通過常規的def語句來定義,但是不用return返回,而是用yield一次返回一個結果,在每個結果之間掛起和繼續它們的狀態,來自動實現叠代協議。

也就是說,yield是一個語法糖,內部實現支持了叠代器協議,同時yield內部是一個狀態機,維護著掛起和繼續的狀態。

下面看看生成器的使用:

技術分享圖片

在這個例子中,定義了一個生成器函數,函數返回一個生成器對象,然後就可以通過for語句進行叠代訪問了。

其實,生成器函數返回生成器的叠代器。 "生成器的叠代器"這個術語通常被稱作"生成器"。要註意的是生成器就是一類特殊的叠代器。作為一個叠代器,生成器必須要定義一些方法,其中一個就是next()。如同叠代器一樣,我們可以使用next()函數來獲取下一個值。

生成器執行流程

下面就仔細看看生成器是怎麽工作的。

從上面的例子也可以看到,生成器函數跟普通的函數是有很大差別的。

結合上面的例子我們加入一些打印信息,進一步看看生成器的執行流程:

技術分享圖片

通過結果可以看到:

  • 當調用生成器函數的時候,函數只是返回了一個生成器對象,並沒有 執行。
  • 當next()方法第一次被調用的時候,生成器函數才開始執行,執行到yield語句處停止
    • next()方法的返回值就是yield語句處的參數(yielded value)
  • 當繼續調用next()方法的時候,函數將接著上一次停止的yield語句處繼續執行,並到下一個yield處停止;如果後面沒有yield就拋出StopIteration異常

生成器表達式

在開始介紹生成器表達式之前,先看看我們比較熟悉的列表解析( List comprehensions),列表解析一般都是下面的形式。

[expr for iter_var in iterable if cond_expr]

叠代iterable裏所有內容,每一次叠代後,把iterable裏滿足cond_expr條件的內容放到iter_var中,再在表達式expr中應該iter_var的內容,最後用表達式的計算值生成一個列表。

例如,生成一個list來保護50以內的所以奇數:

[i for i in range(50) if i%2]

生成器表達式是在python2.4中引入的,當序列過長, 而每次只需要獲取一個元素時,應當考慮使用生成器表達式而不是列表解析。生成器表達式的語法和列表解析一樣,只不過生成器表達式是被()括起來的,而不是[],如下:

(expr for iter_var in iterable if cond_expr)

看一個例子:

技術分享圖片

生成器表達式並不是創建一個列表, 而是返回一個生成器,這個生成器在每次計算出一個條目後,把這個條目"產生"(yield)出來。 生成器表達式使用了"惰性計算"(lazy evaluation),只有在檢索時才被賦值(evaluated),所以在列表比較長的情況下使用內存上更有效。

繼續看一個例子:

技術分享圖片

從這個例子中可以看到,生成器表達式產生的生成器,它自身是一個可叠代對象,同時也是叠代器本身。

遞歸生成器

生成器可以向函數一樣進行遞歸使用的,下面看一個簡單的例子,對一個序列進行全排列:

技術分享圖片
def permutations(li):
    if len(li) == 0:
        yield li
    else:
        for i in range(len(li)):
            li[0], li[i] = li[i], li[0]
            for item in permutations(li[1:]):
                yield [li[0]] + item
    
for item in permutations(range(3)):
    print item
技術分享圖片

代碼的結果為:

技術分享圖片

生成器的send()和close()方法

生成器中還有兩個很重要的方法:send()和close()。

  • send(value):

    從前面了解到,next()方法可以恢復生成器狀態並繼續執行,其實send()是除next()外另一個恢復生成器的方法。

    Python 2.5中,yield語句變成了yield表達式,也就是說yield可以有一個值,而這個值就是send()方法的參數,所以send(None)和next()是等效的。同樣,next()和send()的返回值都是yield語句處的參數(yielded value)

    關於send()方法需要註意的是:調用send傳入非None值前,生成器必須處於掛起狀態,否則將拋出異常。也就是說,第一次調用時,要使用next()語句或send(None),因為沒有yield語句來接收這個值。

  • close():

    這個方法用於關閉生成器,對關閉的生成器後再次調用next或send將拋出StopIteration異常。

下面看看這兩個方法的使用:

技術分享圖片

總結

本文介紹了Python叠代器和生成器的相關內容。

  • 通過實現叠代器協議對應的__iter__()和next()方法,可以自定義叠代器類型。對於可叠代對象,for語句可以通過iter()方法獲取叠代器,並且通過next()方法獲得容器的下一個元素。
  • 像列表這種序列類型的對象,可叠代對象和叠代器對象是相互獨立存在的,在叠代的過程中各個叠代器相互獨立;但是,有的可叠代對象本身又是叠代器對象,那麽叠代器就沒法獨立使用。
  • itertools模塊提供了一系列叠代器,能夠幫助用戶輕松地使用排列、組合、笛卡爾積或其他組合結構。

  • 生成器是一種特殊的叠代器,內部支持了生成器協議,不需要明確定義__iter__()和next()方法。
  • 生成器通過生成器函數產生,生成器函數可以通過常規的def語句來定義,但是不用return返回,而是用yield一次返回一個結果。
  • 出處:https://www.cnblogs.com/wilber2013/p/4652531.html

(轉)python基礎學習-----生成器和叠代器