首页 > 其他分享> 文章详细

类 Pascal语言词法分析实验

2021-04-05 16:01:16 阅读：321 来源： 互联网

标签：10 int Token 种别词法 ++ Pascal 实验单词

一、实验目的

设计、编制并调试一个词法分析程序，加深对词法分析原理的理解。

二、实验要求

2.1 待分析的简单的词法

（1）关键字：

begin if then while do end
所有的关键字都是小写。

（2）运算符和界符

： = + - * / < <= <> > >= = ; ( ) #

（3）其他单词是标识符（ID）和整型常数（SUM），通过以下正规式定义：

ID = letter (letter | digit)*
NUM = digit digit*

（4）空格有空白、制表符和换行符组成。空格一般用来分隔ID、SUM、运算符、界符和关键字，词法分析阶段通常被忽略。

2.2 各种单词符号对应的种别码：

表2.1 各种单词符号对应的种别码

单词符号	种别码	单词符号	种别码
bgin	1	：	17
If	2	：	= 18
Then	3	<	20
wile	4	<>	21
do	5	<=	22
end	6	>	23
lettet（letter / digit）*	10	>=	24
dight dight*	11	=	25
+	13	；	26
—	14	(	27
*	15	)	28
/	16	#	0

2.3 词法分析程序的功能：

输入：所给文法的源程序字符串。
输出：二元组（syn,token或sum）构成的序列。
其中：

syn为单词种别码；
token为存放的单词自身字符串；
sum为整型常数;
例如：对源程序begin x:=9: if x>9 then x:=2*x+1/3; end #的源文件，经过词法分析后输出如下序列：
(1,begin)(10,x)(18,:=)(11,9)(26, ; )(2,if)……

设计思路：

Judge函数：
1.对所给的单词（字符数组）做出判断：

关键字，运算符和界符，标识符（ID），整型常数（SUM）：

2.读到的字符串处理方法：
首先判断传入参数的第一个字符，分以下几种情况：

字母开头：判断是否为关键字，是则返回，不是则为标识符
数字开头的判断是否全为数字是则处理后返回十进制数字大小，不是则返回错误
其他情况直接和运算符表做对比是则返回运算符，不是则返回错误

3.判断后返回种别码
main（）函数

读取文件（待分析的源代码）
从文件中取出一个个独立的单词（以分隔符为界限）
把单词作为参数调用Judge() 返回值对应的种别码
用上述得到的种别码和单词为参数调用print函数，输出结果到文件

Print函数：参数为单词和种别码

写文件模式为追加写（每次在文件末尾写，不覆原有内容）（ios::app）

代码实现：

#include<iostream>
#include <fstream>

using namespace std;

const int symbolNum =29;
char syn[symbolNum+1][10] { 
	"#","begin","if","then","while","do","end","","","",
	"token","sum","","+","-","*","/" ,":" ,":=","" ,
	"<" ,"<>" ,"<=" ,">" ,">=" ,"=" ,";" ,"(" ,")" ,"Error!!!"
};

char* GetToken() {
	ifstream In("输入.txt");
	char* A = new char[10];
	for (int i = 0; i < 10; i++)
		A[i] = '\0';
	In >> A;

	//cout << "\n读入" << A << endl;

	In.close();
	return A;
}

bool IsLetter(char a) {
	if ((a >= 'a' && a <= 'z')|| (a >= 'A' && a <= 'Z'))
		return 1;
	else return 0;
}

bool IsDigit(char a) {
	if (a >= '0' && a <= '9')
		return 1;
	else return 0;
}

int Judge(char Token[]) {
	char beg = Token[0];
	if (IsLetter(beg)) {//字母开头
		for (int i = 0; Token[i] != '\0'; i++)
			if (!IsDigit(Token[i]) && !IsLetter(Token[i]))
				return symbolNum;//返回错误

		for (int i = 0; i < 7; i++) {
			if (beg == syn[i][0]) {
				for (int j = 0; Token[j] != '\0'&& syn[i][j] != '\0'; j++) {
				//for (int j = 0; ; j++) {
					if (Token[j + 1] != syn[i][j + 1])
						return 10;//是标识符
				}
				return i;//是关键字
			}
		}
		return 10;//是标识符
	}
	else if (IsDigit(beg)) {//数字开头
		for (int i = 0; Token[i] != '\0'; i++) {
			if (!IsDigit(Token[i]))
				return symbolNum;//返回错误（数字开头不全为数字）
		}
		return 11;//是数字
	}
	else {//符号开头
		if (beg == '#' && Token[1] == '\0')
			return 0;
		for (int i = 13; i < symbolNum; i++) {
			if (beg == syn[i][0]) {
				bool flag = 1;
				for (int j = 0; Token[j] != '\0' && syn[i][j] != '\0'; j++) {
				//for (int j = 0; ; j++) {
					if (Token[j + 1] != syn[i][j + 1]) {
						flag = 0;
						break;
					}
				}
				if(flag)
					return i;//是运算符
			}
		}
		return symbolNum;//返回错误
	}
}

void C_Print(int id, char* Token) {
//输出到文件

	ofstream Out;
    Out.open("输出.txt", ios::app);
	if (id == symbolNum) Out << "Error  ";
	Out << "(" << id << ",";
	for (int i = 0; Token[i] != '\0'; i++)
		Out << Token[i];
	Out << ")" << endl;

	Out.close();

//以下为输出到控制台
	if (id == symbolNum)cout << "Error  ";
	cout << "(" << id << ",";
	for (int i = 0; Token[i] != '\0'; i++)
		cout << Token[i];
	cout << ")" << endl;
}

int main() {

	ifstream In("输入.txt");
	ofstream Out("输出.txt", ios::trunc);//清除之前的内容

	while (!In.eof()) {
		char* A = new char[10];
		for (int i = 0; i < 10; i++)
			A[i] = '\0';
		In >> A;

		int id = Judge(A);
		C_Print(id, A);	
	}
	In.close();


	//char* T = GetToken();
	//	int id = Judge(T);
	//	C_Print(id, T);
}

文件：输出.txt 的内容（随便写的，测试用）

if ( a > 0 )
	while ( a >= 9 ) :
		a = a - 1 ;
#
else { 
	if ( b < 987 ) :
		b ++ ;
} end

输出结果：
在这里插入图片描述

//from 输出.txt

(2,if)
(27,()
(10,a)
(23,>)
(11,0)
(28,))
(4,while)
(27,()
(10,a)
(24,>=)
(11,9)
(28,))
(17,:)
(10,a)
(25,=)
(10,a)
(14,-)
(11,1)
(26,;)
(0,#)
(10,else)
Error  (29,{)
(2,if)
(27,()
(10,b)
(20,<)
(11,987)
(28,))
(17,:)
(10,b)
Error  (29,++)
(26,;)
Error  (29,})
(6,end)
(19,)

标签：10,int,Token,种别,词法,++,Pascal,实验,单词
来源： https://blog.csdn.net/weixin_46291251/article/details/115442888

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9