2. 程式人生 > >基於C++的詞法分析器

基於C++的詞法分析器

阿新 • • 發佈：2018-12-02

實驗目的

通過設計編制除錯一個具體的詞法分析程式，加深對詞法分析原理的理解。並掌握在對程式設計語言源程式進行掃描過程中將其分解為各類單詞的詞法分析方法。

編制一個讀單詞過程，從輸入的源程式中，識別出各個具有獨立意義的單詞(token)，即基本保留字、識別符號、常量、運算子、分隔符五大類，並依次輸出各個單詞的內部編碼及單詞符號自身值。（遇到錯誤時可顯示“Error”，然後跳過錯誤部分繼續顯示）

 

資源下載地址：https://download.csdn.net/download/qq_41406816/10791074

 

  • 輸出結果/輸入內容

輸出內容

二、變數

基本保留字：if、int、for、while、do、return、break、continue；（還可以載入很多，但是我的程式碼裡面只寫了這幾個）

運算子：+、-、*、/、=、>、<、>=、<=、!=

分隔符：、;、{、}、(、)

常量：小數、整數、科學記數法、負號的識別

註釋：單行註釋（//）、多行註釋（/**/）

三、主要識別的功能：

  1. 識別上面的變數
  2. {}和（）的匹配
  3. 空白、換行符、製表符的剔除

四、主要函式介紹

digitprocess()//識別常量

alphaprocess()//字元，通過search函式 判斷是保留字還是識別符號

search()//判斷是保留字還是識別符號

otherprocess()//其他的。運算子，註釋，分隔符

Judge()//利用出入棧，辨別{}和（）是否配對

（1）註釋：

用token陣列存變數。當token[0]=’/’時，在讀取一個字元，如果token[1]=’*’，通過迴圈取出註釋。對於/**/ 判斷遇到‘/’則停止迴圈。對於// 遇到換行符 則停止迴圈。如果token[1]='/'，讀取到換行符，迴圈就停止。

	if (token == "/")
		{
			fin.get(x);
			token += x;
			if (token[1] == '=')// /=
			{
				cout << "(4," << token << ")" << endl;
				fin.get(x);
				id = 4;
				return x;
			}
			if (token[1] == '*' || token[1] == '/')// 註釋 6 第一種 是遇到/就停止，第二種是換行
			{ 
				int i = 1;
				if (token[1] == '*')
				{
					while (token[i] != '/')/* */
					{
						fin.get(x);
						token += x;
						i++;
					}
				
				}
				else
				{
					while (token[i] != '\n')
					{
						fin.get(x);
						token += x;
						i++;
					}
				}
				cout << "(6," << token.substr(0,i) << ")" << endl;
				id = 6;
				fin.get(x);
				return x;
			}
		}

 

（2）識別實數（如3.2），無符號數（2.1E6）

while (isdigit(butter)||butter=='.'||butter=='E')
	{
		if (butter == 'E')
		{
			token += butter;
			fin.get(x);//讀取下一個字元
			butter = x;
			while (isdigit(butter) || butter == '+' || butter == '-')
			{
				token += butter;//連線字串
				fin.get(x);//讀取下一個字元
				butter = x;
			}
			cout << "(3," << token << ")" << endl;
			id = 3;
			return x;
		}
		token += butter;//連線字串
		fin.get(x);//讀取下一個字元
		butter = x;
	}

（3）檢查大小括號是否匹配。使用出入棧。思想大概是：只要是左括號，讓他入棧。如果讀到右括號，則與當前棧頂的括號相匹配，如果是對應的左括號，則左括號出棧，以此類推。如果括號不匹配，則退出。（網上有很多版本的程式碼，讀者可以自己去搜索）下面的程式碼也有我自己的出入棧。

（4）辨別負號

經過推理髮現，只要“-”前面是運算子，那麼這個“-”一定是負號。所以我們可以通過記錄前面的字元來辨別。我是用id來記錄每一次的資料。

四、程式碼（經供參考）

執行環境 vs2017+win10

#include<stdio.h>
#include<string.h>
#include<string>
#include <ctype.h>
#include <malloc.h>
#include <stdlib.h>
#include<iostream>
#include<fstream>
#include<stack>
using namespace std;
const char *keyword[8] = { "break","if","continue","while","do","int","for","return"};
char x, cbuffer;
ifstream fin("1.txt", ios::in);//檔案讀取
int id;//用id來記錄上一個操作是什麼
int big[2] = { 0,0 };
int small[2] = { 0,0 };
stack <char>s;
bool re;
bool Judge(string str) {  //使用棧判斷括號匹配
	for (int i = 0; i < str.length(); i++) {
		switch (str[i]) {
		case '(':
			s.push('(');
			break;
		case '[':
			s.push('[');
			break;
		case '{':
			s.push('{');
			break;

		case ')':
			if (!s.empty())
			{
				if (s.top() == '(')
					s.pop();
				else
					return false;
			}
			else
				return false;
			break;
		case ']':
			if (!s.empty())
			{
				if (s.top() == '[') {
					s.pop();
				}
				else {
					return false;
				}
			}
			else
				return false;
			break;
		case '}':
			if (!s.empty())
			{
				if (s.top() == '{') {
					s.pop();
				}
				else {
					return false;
				}
			}
			else
				return false;
			break;
		}
	}
	if (s.empty()) {
		return true;
	}
	else {
		return false;
	}
}
char digitprocess(char butter)
{
	string token="" ;
	while (isdigit(butter)||butter=='.'||butter=='E')
	{
		if (butter == 'E')
		{
			token += butter;
			fin.get(x);//讀取下一個字元
			butter = x;
			while (isdigit(butter) || butter == '+' || butter == '-')
			{
				token += butter;//連線字串
				fin.get(x);//讀取下一個字元
				butter = x;
			}
			cout << "(3," << token << ")" << endl;
			id = 3;
			return x;
		}
		token += butter;//連線字串
		fin.get(x);//讀取下一個字元
		butter = x;
	}
	cout << "(3," << token << ")" << endl;
	id = 3;
	return x;
}
bool search(string list)
{//因為有8個保留字
	bool is = false;
	for (int i = 0; i < 8; i++)
	{
		if (strcmp(keyword[i], list.c_str()) == 0)//如果匹配到了，那麼就是保留字
		{
			is = true;
			break;
		}
	}
	return is;
}
char alphaprocess(char butter)
{
	string token = "";
	//token+=butter;
	while (isalpha(butter))//讀取整個由字母組成的字串，最後通過search函式來辨別是識別符號還是保留字
	{
		token += butter;
		fin.get(x);
		butter = x;
	}
	
	if (search(token))
	{
		cout << "(1," << token << ")" << endl;
		fin.get(x);
		id = 1;
		
	}
	else if(!search(token))
	{
		
		cout << "(2," << token << ")" << endl;
		id = 2;
	}
	
	
	//fin.get(x);
	return x;
}
char otherprocess(char butter)
{
	string token = "";
	token += butter;

	//,;{}()是分隔符 5
	if (token == "," || token == ";")
	{
			
		cout << "(5," << butter << ")" << endl;
		fin.get(x);
		id = 5;
		return x;
	}
	if (token == "{" || token == "}" || token == "(" || token == ")")
	{
		re=Judge(token);
		cout << "(5," << butter << ")" << endl;
		fin.get(x);
		id = 5;
		return x;
	}
	// * or / or *= or /= 是運算子4 /**/ or // 註釋6
	if (token == "*" || token == "/")
	{
		if (token == "*")
		{
			fin.get(x);
			token += x;
			if (token[1] == '=')// *=
			{
				cout << "(4," << token << ")" << endl;
				fin.get(x);
				id = 4;
				return x;
			}
		}
		if (token == "/")
		{
			fin.get(x);
			token += x;
			if (token[1] == '=')// /=
			{
				cout << "(4," << token << ")" << endl;
				fin.get(x);
				id = 4;
				return x;
			}
			if (token[1] == '*' || token[1] == '/')// 註釋 6 第一種 是遇到/就停止，第二種是換行
			{ 
				int i = 1;
				if (token[1] == '*')
				{
					while (token[i] != '/')/* */
					{
						fin.get(x);
						token += x;
						i++;
					}
				
				}
				else
				{
					while (token[i] != '\n')
					{
						fin.get(x);
						token += x;
						i++;
					}
				}
				cout << "(6," << token.substr(0,i) << ")" << endl;
				id = 6;
				fin.get(x);
				return x;
			}
		}
		//排除了註釋和 /= *= 那麼 就只是單純的 * /了
		cout << "(4," << token << ")" << endl;
		id = 4;
		fin.get(x);
		return x;
	}
	if (token == "=" || token == "!" || token == "<" || token == ">")
	{
		fin.get(x);
		
		if (token[1] == '=')
		{	token += x;
			cout << "(4," << token << ")" << endl;
			id = 4;
			fin.get(x);
		}
		cout << "(4," << token << ")" << endl;
		id = 4;
		return x;
	}
	if (token == "+" || token == "-")
	{
		if (id == 4)//在運算子後面的-，一定是負號
		{
			int i = 1;
			fin.get(x);
			token += x;
			if (isdigit(token[1]))
			{
				while ((isdigit(token[i]) || token[i] == 'E' || token[i] == '.'))
				{
					fin.get(x);
					token += x;
					
					i++;
				}
				cout << "(3," << token.substr(0,i) << ")" << endl;
				id = 3;
				return x;
			}
			

		}
		if (token == "+")// ++ += 
		{
			fin.get(x);
			token += x;
			if (token[1] == '=' || token[1] == '+')
			{
				cout << "(4," << token << ")" << endl;
				id = 4;
				fin.get(x);
				return x;
			}
			cout << "(4," << token[0] << ")" << endl;
			id = 4;
			//fin.get(x);
			return x;
		}
		if (token == "-")//-- -=
		{
			fin.get(x);
			token += x;
			if (token[1] == '=' || token[1] == '-')
			{
				cout << "(4," << token << ")" << endl;
				id = 4;
				fin.get(x);
				return x;
			}
			cout << "(4," << token << ")" << endl;
			id = 4;
			fin.get(x);
			return x;
		}
	}
}
int main()
{
	
	//ifstream fin("1.txt", ios::in);
	if (!fin)
		cout << "error";
	fin.get(x);
	while (fin.peek()!=EOF)
	{
		//1基本保留字、2識別符號、3常量、4運算子、5分隔符. 6註釋
		if (x == ' ' || x == '\n' || x == '\t')
			fin.get(x);
			//continue;
		if (isdigit(x))//數字
		{
			x = digitprocess(x);//返回當前X所在位置
		}
		else if (isalpha(x))//字母
		{
			x = alphaprocess(x);
			//cout << "2" << x << endl;
		}
		else
		//cout << "1" <<x<< endl;
			x=otherprocess(x);
	}
	if (re)
	{
		cout << "{}與（）匹配成功" << endl;
	}
	else
	{
		cout << "{}與（）匹配失敗" << endl;
	}
	fin.close();
	return 0;
}

執行結果

 

歡迎大家來交流意見~~

相關推薦

c++詞法分析器

保留字 nal switch n) 詞法分析器 class keyword IT fin 詞法分析器就是通過掃描一段程序判斷是否是關鍵字、標識符、常數、分界符、運算符。一般分為一符一種和經典五中； 這裏我用的是經典五中，此詞法分析器是用c++編寫的； /*保留字|關鍵字：1

C# 詞法分析器（一）詞法分析介紹

art 優化 不一定 clr gen 多個 scan 原理 輸入緩沖 系列導航 （一）詞法分析介紹 （二）輸入緩沖和代碼定位 （三）正則表達式 （四）構造 NFA （五）轉換 DFA （六）構造詞法分析器 （七）總結 雖然文章的標題是詞法分析，但

C# 詞法分析器（二）輸入緩沖和代碼定位

自己 ML 轉換 .html 優點 有時 表示 error hub 系列導航 （一）詞法分析介紹 （二）輸入緩沖和代碼定位 （三）正則表達式 （四）構造 NFA （五）轉換 DFA （六）構造詞法分析器 （七）總結 一、輸入緩沖 在介紹如何進行

C#詞法分析器之詞法分析的使用詳解(一)

雖然文章的標題是詞法分析，但首先還是要從編譯原理說開來。編譯原理應該很多人都聽說過，雖然不一定會有多麼瞭解。 簡單的說，編譯原理就是研究如何進行編譯——也就如何從程式碼（*.cs 檔案）轉換為計算機可以執行的程式（*.exe 檔案）。當然也有些語言如 JavaScrip

基於C++的詞法分析器

實驗目的 通過設計編制除錯一個具體的詞法分析程式，加深對詞法分析原理的理解。並掌握在對程式設計語言源程式進行掃描過程中將其分解為各類單詞的詞法分析方法。 編制一個讀單詞過程，從輸入的源程式中，識別出各個具有獨立意義的單詞(token)，即基本保留字、識別符號、常量、運算子、分隔符五大類，並依

詞法分析器-C語言

#include<stdio.h> #include<conio.h> #include<math.h> #include<string.h> #include<stdlib.h> int i, row = 0, line = 0

[原始碼和文件分享]基於有限自動機的詞法分析器構造

一、目標 本次實驗的主要目的是對自定義的程式語言的詞法分析器程式構造，我從 C 語言當中選擇了部分具有代表性的子集，實現詞法分析器，主要是對編譯原理課程中學習的從正則達式轉化為 NFA，再從 NFA 轉化為 DFA 以及後續的程式碼生成的過程有更深刻的認識。同時，也希望對於在編譯原理課程中所體現

【編譯原理】利用Flex工具生成C語言詞法分析器

Flex構造C語言詞法分析器 可以識別大部分的C語言關鍵字和識別符號，可以去除註釋（多行單行都可以），可以識別整數和浮點數，可以識別錯誤的浮點數。 lex檔案結構： [第一部分：定義段] /* *按照C語言語法，宣告檔案包含，巨集定義，常數定義，全域性

手把手教你做一個 C 語言編譯器（3）：詞法分析器

本章我們要講解如何構建詞法分析器。 本系列： 什麼是詞法分析器 簡而言之，詞法分析器用於對原始碼字串做預處理，以減少語法分析器的複雜程度。 詞法分析器以原始碼字串為輸入，輸出為標記流（token stream），即一連串的標記，每個標記通常包括： (token,

一個簡單詞法分析器的C語言實現

1.1實驗描述 例如：對源程式： begin x:=9: if x>9 then x:=2*x+1/3; end # 的原始檔，經過詞法分析後輸出如下序列： <1,begin><10,x><18,:=><11,9><26,;><

詞法分析器（C++/C）

從一個檔案中讀取原始碼，執行後可以直接看到結果，也可在指定檔案中檢視結果。 這個詞法分析器只實現了部分關鍵字、字元等的識別，可在Key[][]陣列自行新增，種別碼的判別與新增用case更加方便，可寫下試試。 #include <iostream> #include <

編譯原理c++簡單詞法分析器

 簡單詞法分析程式         編譯原理課程詞法分析程式，自己c++寫的比較簡單功能實現，需要的使用者可以在此基礎上進行自己思路的擴充修改。功能：讀取一個自己設定路徑下的txt檔案中程式碼，然後將分析結果儲存在另外一個自己設定路徑下txt檔案中，下附加程式碼： /*

ghostscript原始碼分析之 scan_token()函式 (詞法分析器iscan.c)

scan_token()函式很重要，ghostscript寫得比較瑣碎難懂，裡面有些有英文解釋。 我只對我關注的部分加了些中文註釋。當然不是所有的都理解了。但是功能還是清楚了的，像某些函式介面。 如果讓我寫的話，我一定比他寫得更清晰。哈哈，當然他的scan_token基本的框架 設計還是

一個簡單C語言的詞法分析器

一個簡單C語言的詞法分析器 語言的詞法構成： 識別符號 id 同C語言識別符號 常量 num 數字 ch 字元 str 字串 關鍵字 kw_int int kw_char char kw_void void kw_if

Python 實現的 C 語言 詞法分析器

這個學期上了編譯原理課，真的是超難。。。 這門課難到，全院老師只有我們老師他一個人會教編譯原理，哈哈哈哈 這門課這個學期有兩個實驗，一個是寫詞法分析器，一個是寫語法分析器 這裡的詞法分析器是用 Python 寫。Python 是剛自學的，所以使用上應該

C語言源程式詞法分析器（Java實現）

一. 介紹 詞法分析器，又稱掃描器，輸入源程式，進行詞法分析，輸出單詞符號。詞法分析僅僅是編譯程式工作中的一部分，編譯程式一般可以劃分為5個階段：詞法分析，語法分析，語義分析與中間程式碼產生，優化，目的碼生成。我們這裡編寫一個簡單的C語言源程式詞法分析器。

LEX & FLEX 實現C語言詞法分析器

最近在學習《編譯原理》，學完詞法分析之後，做了一個C語言的詞法分析器。 詞法分析簡述： 詞法分析是編譯過程的第一步，主要實現高階語言程式中詞法規範的檢查。詞法分析程式的主要任務是按語言的詞法規則從源程式中逐個識別單詞，把字串形式的源程式轉行成單詞串的形式，並把每個單詞轉換

編譯原理：C語言詞法分析器

編譯原理的實驗：完成對C語言的詞法分析 先說一下整體框架： 基類：Base  封裝了一些基礎的字元判斷函式，如下： int charkind(char c);//判斷字元型別 int spaces(char c); //當前空格是否可以消除 int characte

【編譯原理】類C語言詞法分析器的設計

1.實驗要求輸入為一個以類C語言編寫的源程式輸出為一組二元組序列構成的文字檔案，一行為一個二元組，二元組中間以逗號隔開實驗報告上要求附上DFA 2.語言說明：保留字：unsigned、break、return、void、case、float、char、for、while、co

C++實現詞法分析器（學習）

參考網上程式，我把生成的資料存在檔案裡，能分析C語言的源程式 #include<fstream> #include <iostream> #include <stdlib.h> #include <st