迭代器生成器閱讀【Python3.8官網文件】

1、迭代器

for element in [1, 2, 3]:

    print(element)

for element in (1, 2, 3):

    print(element)

for key in {'one':1, 'two':2}:

    print(key)

for char in "123":

    print(char)

for line in open("myfile.txt"):

    print(line, end='')

在幕後，for 語句會在容器物件（即列表、元組等）上呼叫 iter()。

iter() 返回一個定義了 __next__() 方法的迭代器物件，__next__()將逐一訪問容器中的元素。 當元素用盡時，__next__() 將引發 StopIteration 異常來通知終止 for 迴圈。

可以使用 next() 內建函式來呼叫 __next__() 方法。這個例子顯示了它的運作方式:

>>> s = 'abc'

>>> it = iter(s)

>>> it

<iterator object at 0x00A1DB50>

>>> next(it)

'a'

>>> next(it)

'b'

>>> next(it)

'c'

>>> next(it)

Traceback (most recent call last):

  File "<stdin>", line 1, in <module>

    next(it)

StopIteration

給類新增迭代器行為：定義一個 __iter__() 方法來返回一個帶有 __next__() 方法的物件。 如果類已定義了 __next__()，則 __iter__() 可以簡單地返回 self:

class Reverse:

    """Iterator for looping over a sequence backwards."""

    def __init__(self, data):

        self.data = data

        self.index = len(data)

    def __iter__(self):

        return self

    def __next__(self):

        if self.index == 0:

            raise StopIteration

        self.index = self.index - 1

        return self.data[self.index]

>>> rev = Reverse('spam')

>>> iter(rev)

<__main__.Reverse object at 0x00A1DB50>

>>> for char in rev:

...     print(char)

...

m

a

p

s

2、生成器

2.1、yield 表示式

yield_atom       ::=  "(" yield_expression ")"

yield_expression ::=  "yield" [expression_list | "from" expression]

只能在函式定義的內部使用 yield 表示式，在一個函式體內使用 yield 表示式會使這個函式變成一個生成器函式。

def gen():  # defines a generator function

    yield 123

2.2、簡要理解概念

官網原文

generator--生成器

返回一個 generator iterator 的函式。

它看起來很像普通函式，不同點在於其包含 yield 表示式，以便產生一系列值供給 for 迴圈使用或是通過 next() 函式逐一獲取。

通常是指生成器函式，但在某些情況下也可能是指生成器迭代器。如果需要清楚表達具體含義，請使用全稱以避免歧義。

generator iterator--生成器迭代器

generator 函式所建立的物件。

每個 yield 會臨時暫停處理，記住當前位置執行狀態（包括區域性變數和掛起的 try 語句）。

當該生成器迭代器恢復時，它會從離開位置繼續執行（這與每次呼叫都從新開始的普通函式差別很大）。

generator expression--成器表示式

返回一個迭代器的表示式。

它看起來很像普通表示式後面帶有定義了一個迴圈變數、範圍的 for 子句，以及一個可選的 if 子句。

以下複合表示式會為外層函式生成一系列值:

>>> sum(i*i for i in range(10))         # sum of squares 0, 1, 4, ... 81

285

2.3、生成器-迭代器的方法

被用於控制生成器函式的執行。

請注意：生成器已經在執行時，呼叫以下任何方法都會引發 ValueError 異常。

• generator.next()

  開始一個生成器函式的執行，或從上次執行的 yield 表示式位置恢復執行。

  當一個生成器函式通過 __next__() 方法恢復執行時，當前的 yield 表示式總是取值為 None。【注：注意區分 yield 表示式的值和返回給呼叫者的值】

  隨後會繼續執行到下一個 yield 表示式，其 expression_list 的值會返回給 __next__() 的呼叫者。

  如果生成器沒有產生下一個值就退出，則將引發 StopIteration 異常。

  此方法通常是隱式地呼叫，例如通過 for 迴圈或是內建的 next() 函式。

• generator.send(value)

  恢復執行，並向生成器函式“傳送”一個值。 value 引數將成為當前 yield 表示式的結果。

  send() 方法會返回生成器所產生的下一個值，或者如果生成器沒有產生下一個值就退出則會引發 StopIteration。

  當呼叫 send() 來啟動生成器時，它必須以 None 作為呼叫引數，因為這時沒有可以接收值的 yield 表示式。

• generator.throw(type[, value[, traceback]])

  在生成器暫停的位置引發 type 型別的異常，並返回該生成器函式所產生的下一個值。

  如果生成器沒有產生下一個值就退出，則將引發 StopIteration 異常。

  如果生成器函式沒有捕獲傳入的異常，或引發了另一個異常，則該異常會被傳播給呼叫者。

• generator.close()

  在生成器函式暫停的位置引發 GeneratorExit。

  如果之後生成器函式正常退出、關閉或引發 GeneratorExit (由於未捕獲該異常)則關閉並返回其呼叫者。 如果生成器產生了一個值，關閉會引發 RuntimeError。

  如果生成器引發任何其他異常，它會被傳播給呼叫者。 如果生成器已經由於異常或正常退出則 close() 不會做任何事。

2.4、生成器理解

# 理解生成器的工作過程

>>> def reverse(data):

...     for index in range(len(data)-1, -1, -1):

...         yield data[index]

...

>>> for char in reverse('golf'):

...     print(char)

...

f

l

o

g

# next(iterator[, default]) : Return the next item from the iterator.

# 上面的for迴圈相當於：

>>> g = reverse('golf')

>>> next(g)

'f'

>>> next(g)

'l'

>>> next(g)

'o'

>>> next(g)

'g'

# 或相當於：

>>> g.__next__()

'f'

>>> g.__next__()

'l'

>>> g.__next__()

'o'

>>> g.__next__()

'g'

>>> g.__next__()   # 迭代完了

Traceback (most recent call last):

  File "<stdin>", line 1, in <module>

StopIteration

當一個生成器函式被呼叫的時候，它返回一個迭代器，稱為生成器迭代器。

然後這個生成器迭代器來控制生成器函式的執行。當這個生成器迭代器的某一個方法被呼叫的時候【注：如__next__()】，生成器函式開始執行。

這時會一直執行到第一個 yield 表示式，在此執行再次被掛起，給生成器迭代器的呼叫者返回 expression_list 的值。【注：也就是返回'f''i'等值。參考 yield 表示式的語法格式部分】

掛起後，所有區域性狀態都被保留下來，包括區域性變數的當前繫結，指令指標，內部求值棧和任何異常處理的狀態。

通過呼叫生成器迭代器的某一個方法，生成器函式繼續執行，此時函式的執行就和 yield 表示式只是一個外部函式呼叫的情況 完全一致。【注：繼續執行時直接呼叫 yield 表示式】

重新開始後，yield 表示式的值取決於呼叫的哪個方法來恢復執行。 如果用的是 __next__() (通常通過語言內建的 for 或是 next() 來呼叫) 那麼結果就是 None。否則，如果用 send(), 那麼結果就是傳遞給 send 方法的值。

【注：是“yield 表示式的值”；參考下一節的generator.__next__()方法理解】

# 理解：重新開始後，yield 表示式的值取決於呼叫的哪個方法來恢復執行。

>>> def reverse(data):

...     for index in range(len(data)-1, -1, -1):

...         y = yield data[index]

...         print(y)

...

>>> g = reverse('golf')

>>> g

<generator object reverse at 0x000001EE2B4875E8>

>>> g.__next__()

'f'

>>> g.__next__()

None

'l'

...

>>> g = reverse('golf')

>>> g.send(None)

'f'

>>> g.send('aa')

aa

'l'

...

2.5、例子

# 整體理解生成器

>>> def echo(value=None):

...     print("Execution starts when 'next()' is called for the first time.")

...     try:

...         while True:

...             try:

...                 value = (yield value)

...             except Exception as e:

...                 value = e

...     finally:

...         print("Don't forget to clean up when 'close()' is called.")

...

>>> generator = echo(1)

>>> print(next(generator))

Execution starts when 'next()' is called for the first time.

1

>>> print(next(generator))  # 迭代器裡沒有值了

None

# 恢復執行，並向生成器函式“傳送”一個值。 value 引數將成為當前 yield 表示式的結果

>>> print(generator.send(2))  # 這裡的2傳送給了`value = (yield value)`裡的左邊的value

2

>>> generator.throw(TypeError, "spam")

TypeError('spam',)

>>> generator.close()

Don't forget to clean up when 'close()' is called.

3、生成器表示式

生成器表示式是用圓括號括起來的緊湊形式生成器標註。

generator_expression ::=  "(" expression comp_for ")"

生成器表示式會產生一個新的生成器物件。其句法與推導式相同，區別在於它是用圓括號而不是用方括號或花括號括起來的。

在生成器表示式中使用的變數會在為生成器物件呼叫 __next__() 方法的時候以惰性方式被求值（即與普通生成器相同的方式）。

但是，最左側 for 子句內的可迭代物件是會被立即求值的，因此它所造成的錯誤會在生成器表示式被定義時被檢測到，而不是在獲取第一個值時才出錯。

後續的 for 子句以及最左側 for 子句內的任何篩選條件無法在外層作用域內被求值，因為它們可能會依賴於從最左側可迭代物件獲取的值。

例如:

(x*y for x in range(10) for y in range(x, x+10)).

圓括號在只附帶一個引數的呼叫中可以被省略。 詳情參見 呼叫 一節。

為了避免干擾到生成器表示式本身的預期操作，禁止在隱式定義的生成器中使用 yield 和 yield from 表示式。

---

英文官方文件

中文官方文件

幫助理解