原題 | Visualizing PEG Parsing

作者 | Guido van Rossum（Python之父）

譯者 | 豌豆花下貓（“Python貓”公眾號作者）

宣告 | 本翻譯是出於交流學習的目的，基於 CC BY-NC-SA 4.0 授權協議。為便於閱讀，內容略有改動。

上週我展示了一個簡單的 PEG 解析器生成器。本週我將展示生成的解析器在解析程式時實際執行的操作。我深入研究了 ASCII 藝術的復古世界，特別是一個名為“curses”的庫，它可以在 Linux 和 Mac 的 Python 標準庫中找到，也可以作為 Windows 的附加元件。

【這是我的 PEG 系列的第 4 部分。見

讓我們來看看視覺化已取得的進展。截圖裡的螢幕被分隔為三個部分，分別是簡單的 ASCII 字元，以及用連字元劃出的線：

• 上部分顯示瞭解析器的呼叫堆疊，你可能還記得它是一個具有無限回溯的遞迴下降解析器。我將在下面解釋如何閱讀它。
• 中間的單行部分展示了標記符緩衝區的內容，游標指向下一個要解析的標記符。
• 在底部，我們呈現 packrat 解析演算法使用的記憶快取。它的條目類似於一些解析器堆疊條目（具有結果的條目）。

閱讀此圖表時，要注意的主要事項是：頂部和底部部分的縮排線與標記符緩衝區相對應。（譯註：最好看一下後面的 gif 動圖，再往下看這部分內容。）

• 前兩行（以statement 和assignment 開頭）表示尚未返回的解析方法呼叫，並且當標記位置處在第一個標記符（'aap' ）之前時呼叫。
• 接下來的兩行（以expr 和term 開頭）與標記符'cat' 的開頭垂直對齊，後者是呼叫相應解析方法的地方。
• 堆疊部分所顯示的第五行和最後一行是一個expect('/') 呼叫，它返回 None 。它是在標記符'+' 處被呼叫的。

快取部分的條目的縮排也對應著標記符緩衝區的位置。例如，在底部，我們看到有負數快取條目（negative cache entries）在標記符緩衝區的開頭查詢標記符'if' 以及規則if_statement 。我們還發現標記符'='

在顯示出來的解析器堆疊和快取中，已返回的呼叫被顯示成function(args) -> result 。有時解析器堆疊也會顯示幾個已返回的方法——我這樣做是為了減少顯示時的“跳躍性”。

（說到“跳躍”，頂部顯示的解析器堆疊會在一個呼叫被新增到堆疊時，向上移動，而當從堆疊中彈出一個呼叫時，它則向下移動。似乎我們的眼睛跟隨這樣的動作不會有太大問題——至少我沒有。這很可能因為我們大腦中有一塊區域是用於跟蹤移動的物體。:-)

快取被視覺化為一種 LRU 快取，最近使用過的快取條目位於頂部，較少使用的專案則向螢幕底部掉落。（我在之前的帖子中展示的 packrat 解析器原型不使用 LRU，但它可能是改善其記憶體使用的好策略。）

讓我們看一下解析堆疊在顯示時的更多一些細節。前四個條目對應於尚未返回的解析方法，每一行顯示了語法中的一行。帶下劃線的條目會引起下一次呼叫。

在這種情況下，我們看到我們處於 statement 的第二種選擇，也即 assignment，並且在該規則中我們處於第三項，即 expr。在 expr 規則中，我們只是在第一個可選項的第一個條目（term '+' expr ）；而在 term 規則中，我們處在最後的選項（atom）。

在那之後，我們看到導致第二個選項（atom '/' term ）失敗的結果：expect（'/'） - > None 用 '+' 標記符縮排。當我們將視覺化向前移動時，我們會看到它沉入快取中。

但當然了，你肯定寧願自己看動畫！我已經錄製了示例程式的完整解析。你也可以自己玩程式碼，但請注意，這只是一個臨時的黑科技。

當你在觀看錄製的GIF時，可能會感到有些迷惑，有時下一個標記符還未顯示（例如，在最開始時，堆疊在標記符'aap' 被顯示之前，就增長了幾個條目）。

這正是解析器所看到的：標記符緩衝區被延遲地填充，並且在解析器通過呼叫 expect() 來請求它們之前，並不會掃描標記符。一旦標記符出現在緩衝區中，它就會保留在那裡，即便在解析器回溯時也如此。

標記符緩衝區中的游標向左跳躍，顯示了回溯過程；該動圖中有很多次出現這種現象。你還可以在 gif 中觀察到快取填充，解析器在那不會進行額外的遞迴呼叫。（發現這種情況時，我應該加以強調，但我沒時間了。）

下週我將進一步開發解析器，很可能會新增我對左遞迴語法規則的實現。（它們很棒！）

致謝：錄製時所用的ttygif （Ilia Choly 開發） 和 ttyrec （Matthew Jording 開發）。

本文內容、示例程式碼和圖片的授權協議：CC BY-NC-SA 4.0

英文原文：https://medium.com/@gvanrossum_83706/visualizing-peg-parsing-93a36f259423

作者簡介： Guido van Rossum，Python 的創造者，一直是“終身仁慈獨裁者”，直到 2018 年 7 月 12 日退位。目前，他是新的最高決策層的五位成員之一，依然活躍在社群中。本文出自他在 Medium 開部落格所寫的解析器系列，該系列仍在連載中，每週日更新。

譯者簡介： 豌豆花下貓，生於廣東畢業於武大，現為蘇漂程式設計師，有一些極客思維，也有一些人文情懷，有一些溫度，還有一些態度。公眾號：「Python貓」（python_cat）。

公眾號【Python貓】， 本號連載優質的系列文章，有喵星哲學貓系列、Python進階系列、好書推薦系列、技術寫作、優質英文推薦與翻譯等等