用C和C++编的简单词法分析器，执行结果不同？

虫洞 2009-03-08 08:52:21
初学编译原理，用C++编了简单的词法分析器
发现执行结果比原版用C编的不全
我主要修改
文件的定义：FILE *fp;改为ifstream fp("file.txt");
获取字符：ch=fgetc(fp);改为ch=fp.get();
文件指针回退一格：fseek(fp,-1L,1);改为fp.seekg(-1,ios::cur);

C源文件[code=#include<stdio.h>
#include<string.h>
#include<ctype.h>
#include<malloc.h> /* malloc()等 */
#include<limits.h> /* INT_MAX等 */
#include<stdlib.h> /* atoi() */
#include<io.h> /* eof() */
#include<math.h> /* floor(),ceil(),abs() */
#include<process.h> /* exit() */
#include<time.h>
#define MAX 20
typedef struct //二元组
{
int syn; //种别编码
char value[MAX]; //值
}WS;
char ch;
FILE *fp;

void getbc() //检查ch是否为空白符，是的话，继续取下一个字符，直到不为空
{
while(ch==' ') ch=fgetc(fp);
}

int letter() //判断ch是否为字母
{
if((ch>='A')&&(ch<='Z')||(ch>='a')&&(ch<='z')) return 1;
else return 0;
}

int digit() //判断ch是否为数字
{
if((ch>='0')&&(ch<='9')) return 1;
else return 0;
}

int reserve(char *token) //查关键字表，判断token中的字符串是否为关键字
{
int key=10,i;
char WORDS_KEY[8][20]={"main","int","char","if","else","for","while","void"};
for(i=0;i<8;i++)
if(strcmp(token,WORDS_KEY[i])==0) {key=i+1; break;}
return key;
}

void error() //错误调用函数
{
printf("There has some unlawful words!");
}

print(WS *wd) //打印函数
{
printf("<%d,%s>",wd->syn,wd->value);
}
WS scaner() //扫描函数，主要算法
{
char token[20];
WS wd;
int c;
int i=0;
ch=fgetc(fp);
getbc(fp);
if(letter()) //是否为字母，是的话继续取字符，直到取的词不是字母或数字。调用reserve(char *token)判断是否为关键字。
{
while(letter()||digit())
{
token[i]=ch;
ch=fgetc(fp);
i++;
}
token[i]='\0';
fseek(fp,-1L,1); //退一个字符
c=reserve(token);
if(c!=10) { wd.syn=c;strcpy(wd.value,token); return wd;}
else { wd.syn=10;strcpy(wd.value,token);return wd;}
}
else if(digit()) //是否为数字，是的话继续取字符，直到取的词不是数字。
{
while(digit())
{
token[i]=ch;
ch=fgetc(fp);
i++;
}
fseek(fp,-1L,1);
token[i]='\0';
wd.syn=11;strcpy(wd.value,token);return wd;
}
else
{
switch(ch) //判断可识别字符
{
case '+': ch=fgetc(fp);
if(ch=='+') {wd.syn=13;wd.value[0]='-'; wd.value[1]='\0'; return wd; break;}
fseek(fp,-1L,1);
wd.syn=25;wd.value[0]='-'; wd.value[1]='\0'; return wd; break;
case '-': wd.syn=14;wd.value[0]='-'; wd.value[1]='\0'; return wd; break;
case '*': wd.syn=15;wd.value[0]='-'; wd.value[1]='\0'; return wd; break;
case '/': ch=fgetc(fp);
if(ch=='*')
{
while(1)
{
ch=fgetc(fp);
if(ch=='*')
{
ch=fgetc(fp);
if(ch=='/')
break;
}
}
wd.syn=-1; return wd;
break;
}
fseek(fp,-1L,1);wd.syn=16;wd.value[0]='-'; wd.value[1]='\0'; return wd; break;
case '<': ch=fgetc(fp);
if(ch=='='){ wd.syn=26;wd.value[0]='-'; wd.value[1]='\0'; return wd; break;}
fseek(fp,-1L,1);
wd.syn=18;wd.value[0]='-'; wd.value[1]='\0'; return wd; break;
case ';': wd.syn=24;wd.value[0]='-'; wd.value[1]='\0'; return wd; break;
case '(': wd.syn=20;wd.value[0]='-'; wd.value[1]='\0'; return wd; break;
case ')': wd.syn=21;wd.value[0]='-'; wd.value[1]='\0'; return wd; break;
case '{': wd.syn=22;wd.value[0]='-'; wd.value[1]='\0'; return wd; break;
case '}': wd.syn=23;wd.value[0]='-'; wd.value[1]='\0'; return wd; break;
case ',': wd.syn=19;wd.value[0]='-'; wd.value[1]='\0'; return wd; break;
case '=': wd.syn=17;wd.value[0]='-'; wd.value[1]='\0'; return wd; break;
default : wd.syn=-1; return wd;break;
}
}
}
main()
{
WS wd;
ch=0;
if((fp=fopen("file.txt","r+"))==NULL) printf("文件打开失败");
while(ch!='#') //文件以"#"结束
{
wd=scaner(fp);
if(wd.syn!=-1)
{ print(&wd);printf("\n");}
}
fclose(fp);
getch();
}][/code]
...全文
240 10 打赏 收藏 转发到动态 举报
写回复
用AI写文章
10 条回复
切换为时间正序
请发表友善的回复…
发表回复
虫洞 2009-03-09
  • 打赏
  • 举报
 回复
自己查了
原来是文件没用二进制方式打开
这样使用tellg()和seekg()是有影响的
把ifstream fp("file.txt");改为ifstream fp("file.txt",ios::in|ios::out|ios::binary);

还发现用get()和输入流 >> 输入会自动跳过空格
我是应该换成read()
还是正好利用它来设置词法分析器


猫已经找不回了 2009-03-09
  • 打赏
  • 举报
 回复
我在 fp.seekg(-1,ios::cur); //退一个字符
前加文件当前指针long p=fp.tellg();
发现有问题
每次获取一个标识符后跳好几个指针

保证你跳的时候指针转换为char *型,一般就是一字节一字节跳了.
taoyanxu1989 2009-03-09
  • 打赏
  • 举报
 回复
mark
chaojiew 2009-03-09
  • 打赏
  • 举报
 回复
http://blog.vckbase.com/bruceteen/archive/2007/05/14/18761.html
虫洞 2009-03-09
  • 打赏
  • 举报
 回复
我在 fp.seekg(-1,ios::cur); //退一个字符
前加文件当前指针long p=fp.tellg();
发现有问题
每次获取一个标识符后跳好几个指针

怎样在调试监视当前文件指针的每一步变化？
antss 2009-03-08
  • 打赏
  • 举报
 回复
哥们,你有电子版的吗?龙书,我也想要买,可是最近...

89太贵了.

虽然是好书.有电子版的没?

tangshuiling 2009-03-08
  • 打赏
  • 举报
 回复 


有时间帮你看看，这种程序理念挺简单的就是很繁琐
chin_chen 2009-03-08
  • 打赏
  • 举报
 回复
哇。
虫洞 2009-03-08
  • 打赏
  • 举报
 回复
file.txt文件
void main()
{
int a,b;
a=0;b=1;
int c=a+b;

}
#
虫洞 2009-03-08
  • 打赏
  • 举报
 回复
C++源文件
#include<iostream>

#include<fstream>

#include<string>

using namespace std;

#define MAX 20



typedef struct //二元组

{

	int syn; //种别编码

    char value[MAX]; //值

}WS;

char ch;

ifstream fp("file.txt");



void getbc() //检查ch是否为空白符，是的话，继续取下一个字符，直到不为空

{

	while(ch==' ')	ch=fp.get();

}



int letter() //判断ch是否为字母

{

    if((ch>='A')&&(ch<='Z')||(ch>='a')&&(ch<='z')) return 1;

	else return 0;

}



int digit() //判断ch是否为数字

{

	if((ch>='0')&&(ch<='9')) return 1;

	else return 0;

}



int reserve(char *token)  //查关键字表，判断token中的字符串是否为关键字 

{

	int key=10,i;

	char WORDS_KEY[8][20]={"main","int","char","if","else","for","while","void"};

	for(i=0;i<8;i++)

      if(strcmp(token,WORDS_KEY[i])==0) {key=i+1; break;} 

	return key;

}



void error() //错误调用函数

{

	printf("There has some unlawful words!");

}



void print(WS *wd) //打印函数

{

	printf("<%d,%s>",wd->syn,wd->value);

}

WS scaner() //扫描函数，主要算法

{

	char token[20];

	WS wd;

	int c;

	int i=0;

    ch=fp.get();

	getbc();

	if(letter()) //是否为字母，是的话继续取字符，直到取的词不是字母或数字。调用reserve(char *token)判断是否为关键字。

	{

		while(letter()||digit())

		{

			token[i]=ch;

			ch=fp.get();

			i++;

		}

		token[i]='\0';

		fp.seekg(-1,ios::cur); //退一个字符

		c=reserve(token);

		if(c!=10) {	wd.syn=c;strcpy(wd.value,token); return wd;}

		else      { wd.syn=10;strcpy(wd.value,token);return wd;}

	}

	else if(digit()) //是否为数字，是的话继续取字符，直到取的词不是数字。

	{

		while(digit())

		{

            token[i]=ch;

			ch=fp.get();

			i++;

		}

		fp.seekg(-1,ios::cur);

        token[i]='\0';

		wd.syn=11;strcpy(wd.value,token);return wd;

	}

	else

	{

		switch(ch) //判断可识别字符

		{

		  case '+': ch=fp.get();

			        if(ch=='+') {wd.syn=13;wd.value[0]='-'; wd.value[1]='\0';  return wd; break;}

			        fp.seekg(-1,ios::cur);

		            wd.syn=25;wd.value[0]='-'; wd.value[1]='\0';  return wd; break;

          case '-': wd.syn=14;wd.value[0]='-'; wd.value[1]='\0';  return wd; break;

		  case '*': wd.syn=15;wd.value[0]='-'; wd.value[1]='\0';  return wd; break;

          case '/': ch=fp.get();

			        if(ch=='*')

					{

						while(1)

						{ 

							ch=fp.get();

							if(ch=='*') 

							{ 

								ch=fp.get();

								if(ch=='/') 

								    break;

							} 

						}

						wd.syn=-1; return wd;

						break;

					}

                    fp.seekg(-1,ios::cur);wd.syn=16;wd.value[0]='-'; wd.value[1]='\0'; return wd; break;

          case '<': ch=fp.get();

			        if(ch=='='){ wd.syn=26;wd.value[0]='-'; wd.value[1]='\0';  return wd; break;}

                    fp.seekg(-1,ios::cur);

				    wd.syn=18;wd.value[0]='-'; wd.value[1]='\0';  return wd; break;

		  case ';': wd.syn=24;wd.value[0]='-'; wd.value[1]='\0';  return wd; break;

		  case '(': wd.syn=20;wd.value[0]='-'; wd.value[1]='\0';  return wd; break;

		  case ')': wd.syn=21;wd.value[0]='-'; wd.value[1]='\0';  return wd; break;

		  case '{': wd.syn=22;wd.value[0]='-'; wd.value[1]='\0';  return wd; break;

		  case '}': wd.syn=23;wd.value[0]='-'; wd.value[1]='\0';  return wd; break;

		  case ',': wd.syn=19;wd.value[0]='-'; wd.value[1]='\0';  return wd; break;

		  case '=': wd.syn=17;wd.value[0]='-'; wd.value[1]='\0';  return wd; break;

		  default : wd.syn=-1; return wd;break;

		}

	}

}

int main()

{

   WS wd;

   ch=0;

   if(!fp) cerr << "文件打开失败!" << endl;

   while(ch!='#')		//文件以"#"结束 

   {

	   wd=scaner();

	   if(wd.syn!=-1) 

	   { print(&wd);printf("\n");}

   }

}
（C++）带你手肝词法分析器，容易理解，跟着思路有手就行
本文围绕编译原理的词法分析程序实验展开。介绍了词法分析器是将源程序字符串分解为单词的“读单词程序”，阐述了单词符号的种类。详细说明了词法分析程序的设计过程，包括种别码表设计、函数设置、核心scan函数等，还提及了注意事项和心得体会，并给出源代码。
编译原理——构造词法分析器（基于 Flex 构造和手工构造）
本文介绍两种词法分析器构建方法：基于Flex工具和手工构造。通过设计正规式与DFA，实现C语言词法分析，识别关键字、标识符、数字等，并处理注释与错误。
编译原理——词法分析器 C++实现
本文介绍了一个针对C语言子集的词法分析器设计与实现，通过状态转换图进行单词分类，涵盖关键字、运算符、分界符、常量及标识符的识别，并详细解释了算法流程与程序结构。
编译原理实验：使用C/C++语言编写C-语言的词法分析器
本文详细介绍词法分析器的手工构造方法，包括状态图代码化、C或C++语言实现，以及Tiny语言的词法分析源程序解读。涵盖关键词表、DFA图绘制、测试用例设计等内容。
编译原理词法分析器的c++实现
本文介绍了一款C/C++词法分析器的设计与实现过程，重点讲解了如何识别标识符、保留字、常数、运算符和界符等五类单词，并详细阐述了DFA理论在词法分析中的应用。
C++ 语言

65,210

社区成员

250,514

社区内容

发帖
与我相关
我的任务
社区描述
C++ 语言相关问题讨论，技术干货分享，前沿动态等
c++ 技术论坛（原bbs）
社区管理员
  • C++ 语言社区
  • encoderlee
  • paschen
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单
社区公告
  1. 请不要发布与C++技术无关的贴子
  2. 请不要发布与技术无关的招聘、广告的帖子
  3. 请尽可能的描述清楚你的问题，如果涉及到代码请尽可能的格式化一下

试试用AI创作助手写篇文章吧

+ 用AI写文章