課程總結

第三章詞法分析我認為是比較難理解的一章。本文主要介紹在詞法分析過程中需要用到的一些基本概念，包括詞法單元、模式和詞素以及三者之間的關係，理解這些內容對學習詞法分析過程十分重要。

首先要了解詞法分析的任務。詞法分析的任務：從左至右逐個字元的對源程式進行掃描，產生一個個的單詞符號，把作為字串的源程式改造成為由單詞符號串組成的程式。那麼以詞法分析為功能，詞法分析器是將一個字母作為分析目標，根據該字母的下一個字母來判斷是否應該判定該字母所屬型別。它的輸入是源程式，輸出是單詞符號。

如何識別單詞符號呢？根據讀來的第一個字元的種類分別轉到各種子程式處理。這些子程式功能就是識別以相應字元開頭的各種單詞。分析的過程是這樣的：通過判斷下一個語句字元是否已經讀過來，如果已經讀過來，判斷是字母、數字或者其他的，進入不同的子程式；如果沒有讀進來這個字元，就要讀下一個字元。

什麼是狀態轉換圖？狀態轉換圖是一張有限方向圖，它的功能是識別或者接受一定的符號串或者說單詞。有三個部分：結點、箭弧、箭弧上的標記。一個完整的狀態轉換圖是有n個狀態的，其中有一個狀態，至少有一個終態。

關於正規表示式和有限自動機。把具有相同特徵的字放在一起組成一個集合，即所謂的正規集
然後使用一種形式化的方法來表示正規集，即所謂的正規式。正規式是描述單詞結構的一種形式；

正規集是該類單詞的全集。

對於符號集合∑={a，b}，有： 
- 正則表示式a表示語言{a}； 
- 正則表示式a|b表示語言{a，b}； 
- 正則表示式(a|b)(a|b)表示語言{aa，ab，ba，bb}； 
- 正則表示式a*表示語言{ε，a，aa，aaa，…}； 

- 正則表示式a|a*b表示語言{a，b，ab，aab，aaab，…}。

什麼時候兩個正規式相等？若兩個正規式U和V所表示的正規集相同，則認為二者等價，記為：U = V。證明：b(ab)* = (ba)*b

證明：因為，L(b(ab)*)=L(b)L((ab)*) 
    ={b} · {ε,ab, abab, …}
    ={b, bab, babab, …}
又因為， L((ba)*b)=L((ba)*) L(b)
={ε, ba, baba, …} · {b}
={b, bab, babab, …}
因此， L(b(ab)*)= L((ba)*b)
所以， b(ab)*=(ba)*b
正規式的性質：設U，V，W是上的∑正規式，則
(1) U | V = V | U或的交換律
(2) U | ( V|W ) = ( U|V ) | W或的結合律
(3) U ( VW ) = ( UV ) W連線積的結合律
(4) U ( V | W ) = ( UV ) | ( UW )分配律
     ( V | W ) U = VU | WU

(5) εU = Uε = U

把狀態轉換圖再形式化一下就是有限自動機（確定的有限自動機，非確定的有限自動機）。需要注意的是，所謂的自動機不是指一臺實際的機器，而是一種數學模型（集合，函式，序列…），利用它模擬計算機識別的功能。所謂確定性是指，f(s, a) = s’ 是單值函式。 對任何狀態s∈S，和輸入符號 a∈∑ ， f(s, a) 唯一的確定下一個狀態。所謂有限性是指，S是一個有限的狀態集合，並且∑是一個有限的輸入符號的字母表。用上述5條，來定義一個DFA，來完成識別一個序列是否被機器所接受。

eg. 設DFA M = ({0,1,2,3},{a, b}, f, 0, {3})，其中

f: f(0, a) = 1,f(0, b) = 2 。  f(1, a) = 3,f(1, b) = 2 。 f(2, a) = 1,f(2, b) = 3 。   f(3, a) = 3,f(3, b) = 3

若M的初態結點同時又是終態節點，則空字可被M識別。DFA M所能識別的字的全體記為L(M)。如果一個DFA M的輸入字母表為∑，則我們稱M是∑上的一個DFA。若V是∑上的一個正規集，當且僅當存在一個∑上的DFA M，使得V = L(M)。

對任何兩個有限的自動機M1和M2，若有L(M1)=L(M2)，則稱M1與M2等價。 對於任何∑上NFA M都可構造一個∑上的正規式V，使得  L(V) = L(M) 。

使用替換規則逐步消去M’的所有結點。替換規則如下：

還有關於閉包的概念。假定I是M’的狀態集的子集，a ∈ ∑，定義Ia =ε_CLOSURE(J)。其中，J是所有那些可從I中的某一狀態結點出發經過一條a弧而到達的狀態結點的全體。

關於確定有限自動機的化簡（最少化）。尋找一個狀態比DFA M少的DFA M’，使得L(M’) = L(M)。兩個狀態等價：設s和t是M兩個不同的狀態，從s出發能讀出某個字而停於終態，那麼同樣，從t出發也能讀出同一個字而停在終態，反之亦可。DFA化簡演算法：把M的狀態集分割為一些不相交的子集，使得任何不同的兩個子集狀態都是可區別的，而同一個子集中的任何狀態都是等價的，最後讓每個子集選一個代表，同時消去其他等價狀態。化簡步驟：(1) 檢查狀態轉換函式是否為全函式。(2) 用化簡演算法進行化簡。(3) 去掉死狀態。

課後習題

做課後習題是劃題做的，把比較重要做了做（在打草紙上... 等我去拍上來）。訂正版：

補充：

感想

學完這一章，感覺是挺難以理解的。老師說可以自己寫一個詞法分析器。坦白地說，我只看了一下原理和程式碼，測試執行而沒有自己實踐，是一個不足之處；另外在做習題時，因為細節處理，可能會產生連環錯誤，一步錯步步錯，所以從一開始做題就要保持細心；詞法分析是語法分析的基礎，概念性的東西和流程性的東西比較強，其實套路擺在那，明白套路加以練習就可以基本掌握了。

詞法分析器

輸入緩衝區：成對且對半互補的輸入緩衝區模式。n: 取2的整次冪；每個半區的末尾設定標誌“ eof ” 表示讀入該半區的源程式的結束；B：單詞w開始指標； F：掃描w的指標。

兩個緩衝區的輸入模式預處理程式： （作用）
1） 減少記憶體空間佔用；
2） 減輕掃描器實質性處理的負擔；
預處理程式主要任務： 1） 濾掉源程式中的非單詞成分(如無用空格；換行符等)；2） 其他的預處理工作:濾掉註釋；巨集替換；檔案包含的嵌入；條件編譯的嵌入。