當談論迭代器時，我談些什麼？
當談論迭代器時，我談些什麼？
花下貓語：之前說過，我對於程式語言跟其它學科的融合非常感興趣，但我還說漏了一點，就是我對於 Python 跟其它程式語言的對比學習，也很感興趣。所以，我一直希望能聚集一些有其它語言基礎的同學，一起討論共通的語言特性間的話題。不同語言的碰撞，常常能帶給人更高維的視角，也能觸及到語言的根基，這個過程是極有益的。
這篇文章是群內 櫻雨樓 小姐姐的投稿，她是我們學習群裡的真·大佬，說到對 Python 的研究以及高階知識的水平，無人能出其右（群裡很多同學都被她實力圈粉啦）。除了 Python，她對 C++、Perl、Go 與 Fortran 等語言都有涉獵，本文主要是對比了 Python 與 C++，來深入談談迭代器。話不多說，請看正文。
櫻雨樓 | 原創作者
豌豆花下貓 | 編輯潤色
本文原創並首發於公眾號【Python貓】，未經授權，請勿轉載。
原文地址：https://mp.weixin.qq.com/s/Be4tHnR0BY-C__xoPPBjhQ
0 前言
迭代器（Iterator）是 Python 以及其他各種程式語言中的一個非常常見且重要，但又充滿著神祕感的概念。無論是 Python 的基礎內建函式，還是各類高階話題，都處處可見迭代器的身影。
那麼，迭代器究竟是怎樣的一個概念？其又為什麼會廣泛存在於各種程式語言中？本文將基於 C++ 與 Python，深入討論這一系列問題。
1 什麼是迭代器？我們為什麼要使用迭代器？
什麼是迭代器？當我初學 Python 的時候，我將迭代器理解為一種能夠放在“for xxx in ...”的“...”位置的東西；後來隨著學習的深入，我瞭解到迭代器就是一種實現了迭代器協議的物件；學習 C++ 時，我瞭解到迭代器是一種行為和指標類似的物件...
事實上，迭代器是一個伴隨著迭代器模式（Iterator Pattern）而生的抽象概念，其目的是分離並統一不同的資料結構訪問其中資料的方式，從而使得各種需要訪問資料結構的函式，對於不同的資料結構可以保持相同的介面。
在很多討論 Python 迭代器的書籍與文章中，我看到這樣兩種觀點：1. 迭代器是為了節約資料結構所產生的記憶體；2. 遍歷迭代器效率更高。
這兩點論斷都是很不準確的：首先，除了某些不定義在資料結構上的迭代器（如檔案控制代碼，itertools 模組的 count、cycle 等無限迭代器等），其他迭代器都定義在某種資料結構上，所以不存在節約記憶體的優勢；其次，由於迭代器是一種高度泛化的實現，其需要在每一次迭代器移動時都做一些額外工作（如 Python 需要不斷檢測迭代器是否耗盡，並進行異常監測；C++ 的 deque 容器需要對其在堆上用於儲存的多段不連續記憶體進行銜接等），故遍歷迭代器的效率一定低於或幾乎接近於直接遍歷容器，而不太可能高於直接遍歷原容器。
綜上所述，迭代器存在的意義，不是為了空間換時間，也不是為了時間換空間，而是一種介面卡（Adapter）。迭代器的存在，使得我們可以使用同樣的 for 語句去遍歷各種容器，或是像 C++ 的 algorithm 模組所示的那樣，使用同樣的介面去處理各種容器。
這些容器可以是一個連續記憶體的陣列或列表，或是一個多段連續記憶體的 deque，甚至是一個完全不連續記憶體的連結串列或是雜湊表等等，我們完全不需要關注迭代器對於不同的容器究竟是怎麼取得資料的。
2 C++中的迭代器
2.1 泛化指標
在 C++ 中，迭代器通過泛化指標（Generalized Pointer）的形式呈現。泛化指標與仿函式（Functor）的定義類似，其包含以下兩種情況：
- 是一個真正的指標
- 不是指標，但過載了某些指標運算子（如“*，++，--，!=” 等），使得其行為和指標相似
根據泛化指標為了將其“偽裝”成一個真正的指標從而過載的運算子的數量，迭代器被分為五種，如下文所示。
2.2 C++的迭代器分類
C++ 中，迭代器按照其所支援的行為被分為五類：
- 輸入迭代器（Input Iterator）：僅可作為右值（rvalue），不可作為左值（lvalue）。可以進行比較（“== 與 !=”）
- 輸出迭代器（Output Iterator）：僅可作為左值，不可作為右值
- 前向迭代器（Forward Iterator）：支援一切輸入迭代器的操作，以及單步前進操作（++）
- 雙向迭代器（Bidirectional Iterator）：支援一切前向迭代器的操作，以及單步後退操作（--）
- 隨機訪問迭代器（Random Access Iterator）：支援一切雙向迭代器操作，以及非單步雙向移動操作
對於前向迭代器，雙向迭代器，以及隨機訪問迭代器，如果其不存在底層 const（Low-Level Const）限定，則同時也支援一切輸出迭代器操作。
2.3 迭代器介面卡
C++ 中還存在一系列迭代器介面卡，用於使得一些非迭代器物件的行為類似於迭代器，或修改迭代器的一些預設行為，大致包含如下幾個類別：
- 插入迭代器（Insert Iterator）：使得對迭代器左值的寫入操作變為向容器中插入資料的操作，按插入位置的不同，可分為 front_insert_iterator，back_insert_iterator 和 insert_iterator
- 反向迭代器（Reverse Iterator）：對調迭代器的移動方向。使得“+”操作變為向左移動，同時“-”操作變為向右移動（類似於 Python 的 reversed 函式）
- 移動迭代器（Move Iterator）：使得對迭代器的取值變為右值引用（Rvalue Reference）
- 流迭代器（Stream Iterator）：使流物件的行為適配迭代器（類似於 Python 的檔案控制代碼）
3 Python中的迭代器
3.1 迭代器協議
在 Python 中，迭代器基於鴨子型別（Duck Type）下的迭代器協議（Iterator Protocol）實現。迭代器協議規定：如果一個類想要成為可迭代物件（Iterable Object），則其必須實現__iter__方法，且其返回值需要是一個實現了__next__方法的物件。即：實現了__iter__方法的類將成為可迭代物件，而實現了__next__方法的類將成為迭代器。
顯然，__iter__方法是iter函式所對應的魔法方法，__next__方法是 next 函式所對應的魔法方法。
對於一個可迭代物件，針對“誰實現了__next__方法？”這一問題進行討論，可將可迭代物件的實現分為兩種情況：
- self 未實現__next__：如果__iter__方法的返回值就是一個 Iterator，則此時 self 即為一個可迭代物件。此時，self 將迭代操作“委託”到了另一個數據結構上。示例程式碼如下：
class SampleIterator:
def __iter__(self):
return iter(...)
- self 實現了__next__：如果__iter__方法返回 self，則說明 self 本身將作為迭代器，此時 self 本身需要繼續實現__next__方法，以實現完整的迭代器協議。示例程式碼如下：
class SampleIterator:
def __iter__(self):
return self
def __next__(self):
# Not The End
if ...:
return ...
# Reach The End
else:
raise StopIteration
此示例中可以看出，當迭代器終止時，通過丟擲 StopIteration 異常告知 Python 迭代器已耗盡。
3.2 生成器
生成器（Generator）是 Python 特有的一組特殊語法，其主要目的為提供一個基於函式而不是類的迭代器定義方式。同時，Python 也具有生成器推導式，其基於推導式語法快速建立迭代器。生成器一般適用於需要建立簡單邏輯的迭代器的場合。
只要一個函式的定義中出現了 yield 關鍵詞，則此函式將不再是一個函式，而成為一個“生成器建構函式”，呼叫此建構函式即可產生一個生成器物件。
由此可見，如果僅討論該語法本身，而不關心實現的話：生成器只是“借用”了函式定義的語法，實際上與函式並無關係（並不代表生成器的底層實現也與函式無關）。示例程式碼如下：
def SampleGenerator():
yield ...
yield ...
yield ...
生成器推導式則更為簡單，只需要將列表推導式的中括號換為小括號即可：
(... for ... in ...)
綜上所述，生成器是 Python 獨有的一類迭代器的特殊構造方式。生成器一旦被構造，其會自動實現完整的迭代器協議。
3.3 無限迭代器
itertools 模組中實現了三個特殊的無限迭代器（Infinite Iterator）：count，cycle 以及 repeat，其有別於普通的表示範圍的迭代器。如果對無限迭代器進行迭代將導致無限迴圈，故無限迭代器通常只可使用 next 函式進行取值。
關於無限迭代器的詳細內容，可參閱 Python 文件。(注：舊文 Python進階：設計模式之迭代器模式 也介紹過)
3.4 與C++迭代器的比較
經過上文的討論可以發現，Python 只有一種迭代器，此種迭代器只能進行單向，單步前進操作，且不可作為左值。故 Python 的迭代器在 C++ 中應屬於單向只讀迭代器，這是一種很低階的迭代器。
此外，由於迭代器只支援單向移動，故一旦向前移動便不可回頭，如果遍歷一個已耗盡迭代器，則 for 迴圈將直接退出，且無任何錯誤產生，此種行為往往會產生一些難以察覺的 bug，實際使用時請務必注意。
綜上所述，Python 對於迭代器的實現其實是高度匱乏的，應謹慎使用。
4 迭代器有效性
4.1 什麼是迭代器有效性？
由於迭代器本身並不是獨立的資料結構，而是指向其他資料結構中的值的泛化指標，故和普通指標一樣，一旦指標指向的記憶體發生變動，則迭代器也將隨之失效。
如果迭代器指向的資料結構是隻讀的，則顯然，直到解構函式被呼叫，迭代器都不會失效。但如果迭代器所指向的資料結構在其存在時發生了插入或刪除操作，則迭代器將可能失效。故討論某個操作是否會導致指向容器的迭代器失效，是一個很重要的話題。
4.2 C++的迭代器有效性
由於 Python 中沒有 C++ 的 list、deque 等資料結構實現，故本文只簡單地討論 vector 與 unordered_map 這兩種資料結構的迭代器有效性。
對於 vector，由於其存在記憶體擴容與轉移操作，故任何會潛在導致記憶體擴容的方法都將損壞迭代器，包括 push_back、emplace_back、insert、emplace 等。
unordered_map 與 vector 的情形類似，對 unordered_map 進行任何插入操作也將損壞迭代器。
4.3 Python的迭代器有效性
注：本節所討論全部內容均基於實際行為進行猜想和推論，並沒有經過對 Python 原始碼的考察和驗證，僅供讀者參考。
4.3.1 尾插入操作不會損壞指向當前元素的List迭代器
考察如下程式碼：
numList = [1, 2, 3]
numListIter = iter(numList)
next(numListIter)
for i in range(1000000):
numList.append(i)
# print 2
print(next(numListIter))
如果在 C++ 中對一個 vector 執行這麼多次的 push_back，則指向第二個元素的迭代器一定早已失效。但在 Python 中可以看到，指向 List 的迭代器並未失效，其仍然返回了 2。
故可猜想：Python 對於 List 所產生的迭代器並不跟蹤指向 List 元素的指標，而僅僅跟蹤的是容器的索引值。
4.3.2 尾插入操作會損壞List尾迭代器
numList = [1,2]
numListIter = iter(numList)
# 1
next(numList)
numList.append(3)
# 2
next(numListIter)
# 3
print(next(numListIter))
首先，Python 不存在尾迭代器這一概念。但由上述程式碼可知，當迭代器所指向的 List 變長後，迭代器的終止點也隨之變化，即：原先的尾迭代器將不再適用。
按照“迭代器僅跟蹤元素索引值”這一推斷，也能解釋這一行為。
4.3.3 迭代器一旦耗盡，則將永久損壞
考察如下程式碼：
numList = [1,2]
numListIter = iter(numList)
for _ in numListIter:
pass
numList.append(3)
# StopIteration
print(next(numListIter))
當完整的 for 一個迭代器後，迭代器將耗盡，在 C++ 中，這將導致頭尾迭代器相等，但由上述程式碼可知， Python 的迭代器一旦耗盡，便不再可以使用，即使繼續往容器中增加元素也不行。
由此可見， Python 的迭代器中可能存在某種用於指示迭代器是否被耗盡的標記，一旦迭代器被標記為耗盡狀態，便永遠不可繼續使用了。
4.3.4 任何插入操作都將損壞Dict迭代器
考察如下程式碼：
numDict = {1:2}
numDictIter = iter(numDict)
numDict[3] = 4
# RuntimeError
next(numDictIter)
當對一個 Dict 進行插入操作後，原 Dict 迭代器將立即失效，並丟擲 RuntimeError。這與 C++ 中的行為是一致的，且更為安全。
Set 與 Dict 具有相同的迭代器失效性質，不再重複討論。
5 後記
迭代器的故事到這裡就結束了。總的看來，Python 中的迭代器雖應用廣泛，但並不是一種高階的，靈活的實現，且存在著一些黑魔法。 故唯有深入的去理解，才能真正的用好迭代器。祝程式設計愉快~
（花下貓注：鑑於有同學看完本文，可能想要加群交流，我補充兩句。我們群雖然是免費群，但一直想走高質量的技術交流路線，因此既限制人數，也嚴稽核。公眾號選單欄有我聯絡方式，感興趣的同學歡迎查看了解。）
公眾號【Python貓】， 本號連載優質的系列文章，有喵星哲學貓系列、Python進階系列、好書推薦系列、技術寫作、優質英文推薦與翻譯等等