《词法分析程序的设计精选文档.ppt》由会员分享，可在线阅读，更多相关《词法分析程序的设计精选文档.ppt（15页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、词法分析程序的设计词法分析程序的设计本讲稿第一页，共十五页回顾回顾:词法分析的主要任务是：从左到右逐个词法分析的主要任务是：从左到右逐个字符地扫描源程序，产生一个个单词字符地扫描源程序，产生一个个单词(Token)(Token)，同时检查源程序中的词法错误。，同时检查源程序中的词法错误。执行词法分析的程序称为执行词法分析的程序称为词法分析程序词法分析程序或或扫描程序扫描程序(Scanner)。单词是语言中具有独立意义的最小单位，单词是语言中具有独立意义的最小单位，包括保留字、标识符、运算符、标点符包括保留字、标识符、运算符、标点符号和常量等。号和常量等。本讲稿第二页，共十五页1.确定词法分析器
2、的接口确定词法分析器的接口确定词法分析器是作为语法分析的一个子程序还是确定词法分析器是作为语法分析的一个子程序还是作为独立一遍作为独立一遍词法分析作为独立一遍词法分析作为独立一遍将字符流的源程序变成单词序列，输出到一个中间将字符流的源程序变成单词序列，输出到一个中间文件上，做为语法分析的输入。文件上，做为语法分析的输入。词法分析作为语法分析的子程序词法分析作为语法分析的子程序每当语法分析程序需要一个单词时，则调用该每当语法分析程序需要一个单词时，则调用该子程序，从源程序中分析和返回一个单词子程序，从源程序中分析和返回一个单词本讲稿第三页，共十五页独立词法分析器独立词法分析器语法分析语法分析To
3、ken序列序列源程序源程序附属词法分析器附属词法分析器语法分析语法分析调用调用Token源程序源程序本讲稿第四页，共十五页2.确定单词分类和确定单词分类和TokenToken结构结构设计词法分析器的首要任务是，对于源语言的单词进设计词法分析器的首要任务是，对于源语言的单词进行仔细的分析，并列出所有可能的不同单词，然后再行仔细的分析，并列出所有可能的不同单词，然后再确定单词的内部表示确定单词的内部表示程序设计语言中的大部分单词，一般可分为以下几类：程序设计语言中的大部分单词，一般可分为以下几类：1基本字（关键字）：如基本字（关键字）：如begin，end，if 等等2标识符：用来表示常量、变量、
4、过程等名字标识符：用来表示常量、变量、过程等名字3常数：各种类型的常数，如常数：各种类型的常数，如15，3.14，TRUE4运算符：如运算符：如+，*，/5界符：如逗号，分号，括号等界符：如逗号，分号，括号等本讲稿第五页，共十五页单词的机内表示单词的机内表示二元式（二元式（单词种别单词种别，单词自身的值单词自身的值）种别是语法分析需要的信息种别是语法分析需要的信息自身值是编译其他阶段需要的信息自身值是编译其他阶段需要的信息种别编码种别编码(常用整数编码常用整数编码)方方法法一一：按按单单词词的的5大大种种类类每每种种一一个个码码，例例如如标标识识符符为为l，常常数数为为2，基基本本字字为为3，
5、运运算算符为符为4，界符为，界符为5。方方法法二二：每每个个基基本本字字一一个个编编码码；所所有有标标识识符符为为一一个个编编码码；常常数数按按类类型型分分类类，每每类类一一个个编编码码；每每个个运运算算符符一一个个编编码码；每每个个界界符符一一个个编编码。码。本讲稿第六页，共十五页单词自身值单词自身值对常数对常数,基本字基本字,运算符运算符,界符就是他们本身的值界符就是他们本身的值对对标标识识符符,将将标标识识符符的的名名字字登登记记在在符符号号表表中中,“自自身身值值”是是指指向向该该标标识识符符所所在在符符号号表表中中位位置置的指针的指针.本讲稿第七页，共十五页例如例如 源程序源程序if
6、 i=5 then x:=y;种别编码：标识符为种别编码：标识符为l，常数为，常数为2，基本字为，基本字为3，运，运算符为算符为4，界符为，界符为5词法分析后输出的单词序列是词法分析后输出的单词序列是:(3,if)(1,指向指向i的符号表入口的符号表入口)(4,=)(2,5)(3,then)(1,指向指向x的符号表入口的符号表入口)(4,:=)(1,指向指向y的符号表入口的符号表入口)(5,;)本讲稿第八页，共十五页3.特殊问题的处理特殊问题的处理v标识符和保留字的区分标识符和保留字的区分事先构造保留字表，拼出的标识符单词先查保留字事先构造保留字表，拼出的标识符单词先查保留字表，若有，则把它做
7、为保留字处理表，若有，则把它做为保留字处理v空格符和制表符空格符和制表符(Tab)(Tab)以及换行符的处理以及换行符的处理1.1.无用的空格符和制表符要删掉；无用的空格符和制表符要删掉；2.2.字符串内的空格不能删；字符串内的空格不能删；3.3.换行符不能删，对于错误处理起作用。换行符不能删，对于错误处理起作用。v复合型特殊符，如复合型特殊符，如“:=:=”的处理的处理读到读到“:”时不能判断是否为冒号，必须读下一字时不能判断是否为冒号，必须读下一字符。符。本讲稿第九页，共十五页v括号类配对：括号类配对：“”和和“”、左注释符和右注释符的配对。也、左注释符和右注释符的配对。也可以把可以把be
8、gin begin end,if end,if then,()then,()等语等语法配对在词法分析中进行处理法配对在词法分析中进行处理处理方法：处理方法：1.1.对每类括号设置一个计数器（初值对每类括号设置一个计数器（初值=0=0）2.2.每当遇到左括号，则计数器加每当遇到左括号，则计数器加1 13.3.每当遇到右括号时，计数器减每当遇到右括号时，计数器减1 14.4.词法分析结束时，如果计数器词法分析结束时，如果计数器 0 0，则表明括号不，则表明括号不匹配。匹配。本讲稿第十页，共十五页可通过状态转换图来实现词法分析程序的构造，步可通过状态转换图来实现词法分析程序的构造，步骤：骤：画状态转
9、换图。画状态转换图。由正规文法构造状态转换图由正规文法构造状态转换图由正规表达式构造状态转换图由正规表达式构造状态转换图将正规文法或正规表达式转换成将正规文法或正规表达式转换成DFADFA（经历（经历NFANFA的构造，将的构造，将NFANFA确定化，确定化，DFADFA最小化的过程），将最小化的过程），将DAFDAF以状态转换图的形式表现出来。以状态转换图的形式表现出来。4.用状态转换图构造词法分析程序用状态转换图构造词法分析程序本讲稿第十一页，共十五页按状态转换图写出词法分析程序按状态转换图写出词法分析程序对对于于状状态态图图中中的的每每一一状状态态构构造造一一段段代代码码具体构造程序时：
10、具体构造程序时：本讲稿第十二页，共十五页开始结点开始结点开开始始结结点点是是一一个个单单词词识识别别的的开开始始，单单词词开开始始符符是是非非空空白白字字符符，首首先先把把非非空空白白字字符符读读入入ch，再再按按该该字字符符的特征进入不同种类单词的识别的特征进入不同种类单词的识别 GetChar()；/*从输入串读一个字符，放入从输入串读一个字符，放入ch中中*/GetBC()；/*检检查查ch中中字字符符是是否否空空白白，若若是是则则调调用用GetChar，直至，直至ch中为非空白字符中为非空白字符*/If(ch=)begin end else if(ch=)begin endelse 错
11、误处理；错误处理；本讲稿第十三页，共十五页不含回路的分叉结点，对应不含回路的分叉结点，对应switch语句或一组语句或一组ifthenelse语句语句ijk数字数字字母字母/l例：状态结点例：状态结点i 对应的程序段对应的程序段 GetChar()；If(IsLetter()状态状态j 的对应程序段的对应程序段;else If(IsDigit()状态状态k 的对应程序段的对应程序段;else If（ch=/）状态状态l 的对应程序段的对应程序段;else 错误处理错误处理;其中：其中：IsLetter和和IsDigit：布尔函数，：布尔函数，分别判别分别判别ch字符是否为字母或数字字符是否为字母或数字本讲稿第十四页，共十五页终态结点，一般对应一个终态结点，一般对应一个return(code，value)语语句句，code是是单单词词种种别别码码，value是单词自身值，意为返回调用者：是单词自身值，意为返回调用者：v当当词词法法分分析析作作为为语语法法分分析析的的子子程程序序，返返回回到到语语法法分析分析v当词法分析作为独立一遍，返回进行新的单词识别当词法分析作为独立一遍，返回进行新的单词识别本讲稿第十五页，共十五页