精华内容
下载资源
问答
  • Antlr 千次阅读
    2021-03-17 14:06:46

    目录

     

    Antlr是什么?

    Antlr能干什么?

    传统解析器工作原理是什么?

    Antrl 语法规则文件

    ANTLR两种遍历分析树的机制

    Parse-Tree Listeners

    Parse-Tree Visitor


     

    Antlr是什么?

    ANTLR(另一种语言识别工具)是功能强大的解析器生成器,用于读取,处理,执行或翻译结构化文本或二进制文件。它被广泛用于构建语言,工具和框架。ANTLR从语法中生成一个解析器,该解析器可以构建和遍历解析树。

    ANTLR (ANother Tool for Language Recognition) is a powerful parser generator for reading, processing, executing, or translating structured text or binary files. It's widely used to build languages, tools, and frameworks. From a grammar, ANTLR generates a parser that can build and walk parse trees.

     

    Antlr能干什么?

    ANTLR能够根据用户定义的语法文件自动生成词法分析器和语法分析器,并将输入文本处理为语法分析树。这一切都是自动进行的,所需的仅仅是一份描述该语言的语法文件

    ANTLR自动生成的编译器高效、准备,能够将开发者从繁杂的编译理论中解放出来,集中精力处理自己的业务逻辑。ANTRL4引入的自动语法分析树创建与遍历机制,极大地提高了语言识别程序的开发效率。时至今日,仍然是Java世界中实现编译器的不二之选,同时,它也对其他编程语言也提供了支持。

    典型应用如下:

    1、编程语言处理

    识别和处理编程语言是 Antlr 的首要任务,编程语言的处理是一项繁重复杂的任务,为了简化处理,一般的编译技术都将语言处理工作分为前端和后端两个部分。其中前端包括词法分析、语法分析、语义分析、中间代码生成等若干步骤,后端包括目标代码生成和代码优化等步骤。

    Antlr 致力于解决编译前端的所有工作。使用 Anltr 的语法可以定义目标语言的词法记号和语法规则,Antlr 自动生成目标语言的词法分析器和语法分析器;此外,如果在语法规则中指定抽象语法树的规则,在生成语法分析器的同时,Antlr 还能够生成抽象语法树;最终使用树分析器遍历抽象语法树,完成语义分析和中间代码生成。整个工作在 Anltr 强大的支持下,将变得非常轻松和愉快。

    2、文本处理

    当需要文本处理时,首先想到的是正则表达式,使用 Anltr 的词法分析器生成器,可以很容易的完成正则表达式能够完成的所有工作;除此之外使用 Anltr 还可以完成一些正则表达式难以完成的工作,比如识别左括号和右括号的成对匹配等。

     

    传统解析器工作原理是什么?

    如果一个程序能够分析计算或者执行语句,我们就把它称之为解释器(interpreter)。解释器需要识别出一门特定的语言的所有的有意义的语句,词组和子词组。识别一个词组意味着我们可以将它从众多的组成部分中辨认和区分出来。

    比如我们会把sp=100;识别成赋值语句, 这意味着我们能够辨识出sp是被赋值的目标,100则是要被赋予的值。我们也都知道我们在学习英语的时候,识别英语语句,需要辨认出一段对话的不同部分,例如主谓宾。在识别成功之后,程序还能执行适当的操作。

    识别语言的程序被称为语法分析器(parser)或者句法分析器(syntax analyzer),syntax是指约束语言中的各个组成部分之间关系的规则。grammar是一系列规则的集合,每条规则表述出一种词汇结构。ANTLR就是能够将其转成如同经验丰富的开发者手工构建的一般的语法分析器(ANTLR是一个能够生产其他程序的程序)

    1、语法解析器

    语法解析器是传统解析器重要组件,语法解析器工作流程包括词法分析和语法分析两个阶段。

    词法分析,主要负责将符号文本分组成符号类tokens,把输入的文本转换成词法符号的程序称为词法分析器(lexer);

    语法解析,目标就是构建一个语法解析树。语法解析的输入是tokens,输出就是一颗语法解析树。

                                                      语法分析示例

    语法分析树的内部节点是 词组名,这些名字用于识别它们的子节点,并可以将子节点归类。根节点是比较抽象的一个名字,在这里是 stat(statement)。

    2、解析方法 

    根据推导策略的不同,语法解析分为LL与LR两种:LR自低向上(bottom-up)的语法分析方法;LL是自顶向下(top-down)的语法分析方法。两类分析器各有其优势,适用不同的场景,很难说谁要更好一些。普遍的说法是LR可以解析的语法形式更多LL的语法定义更简单易懂。Antrl就是一种自顶向下的解析器;

     

    Antrl 语法规则文件

    以一个计算器的规则文件做示例:


    grammar Cal;
    
    prog: stat+; //一个程序由至少一条语句组成
    
    /*为了以后的运算的方便性,我们需要给每一步规则打上标签,标签以”#”开头,出现在每一条规则的右边。打上标签后,antlr会为每一个规则都生成一个事件*/
    
    stat: ID'='expr ';'#Assign //变量赋值语句
    
    |'print''('expr ')'';'#printExpr   //输出语句
    
    ;
    
    expr: expr op=('*'|'/') expr #MulDiv  //表达式可以是表达式之间乘除
    
    | expr op=('+'|'-') expr #AddSub  //表达式可以是表达式之间加减
    
    | NUM #NUM   //表达式可以是一个数字
    
    | ID #ID //表达式可以是一个变脸
    
    |'('expr ')'#parens    //表达式可以被括号括起来
    
    ;
    
    MUL:'*';
    
    DIV:'/';
    
    ADD:'+';
    
    SUB:'-';
    
    ID: [a-zA-Z][a-zA-Z0-9]*; //变量可以是数字和字母,但必须以字母开头
    
    //负数必须要用"()"括起来
    
    NUM: [0-9]+   //正整数
    
    |'(''-'[0-9]+ ')'//负整数
    
    | [0-9]+'.'[0-9]+   //正浮点数
    
    |'(''-'[0-9]+'.'[0-9]+ ')'//负浮点数
    
    ;
    WS: [ \t\r\n] -> skip;   //跳过空格、制表符、回车、换行

     


    Antlr文法概念中的一些关键概念。文法由一组描述语法的规则组成。其中包括词法与语法规则。语法规则是以小写字母组成。如prog,stat。词法规则由大写字母组成。如ID:[a-z A-Z]+。通过使用 | 运算符来将不同的规则分割,还可以使用括号构成子规则。

     

    ANTLR两种遍历分析树的机制

    默认情况下,ANTLR使用内建的遍历器访问生成的语法分析树,并为每个遍历时可能触发的事件生成一个语法分析树监听器接口 (ANTLR generates a parse-tree listener interface) 。除了监听器的方式,还有一种遍历语法分析树的方式:访问者模式(vistor pattern);

    Parse-Tree Listeners

    为了将遍历树时触发的事件转化为监听器的调用,ANTLR提供ParseTreeWalker类。我们可以自行实现ParseTreeListener的接口,在其中填充自己的逻辑。ANTLR为每个语法文件生成一个ParseTreeListener的子类,在该类中,语法的每条规则都有对应的enter方法和exit方法。

    层次遍历(先序遍历)访问

    层次遍历(先序遍历)访问

    监听器方式的优点在于,回调是自动进行的。我们不需要编写对语法分析树的遍历代码,也不需要让我们的监听器显式地访问子节点

    Parse-Tree Visitors

    有时候,我们希望控制遍历语法分析树的过程,通过显式的方法调用来访问子节点。语法中的每条规则对应接口中的一个visit方法。

    代码demo

    ParseTree tree = ... ;// tree is result of parsingMyVisitor v =newMyVisitor();v.visit(tree);

    ANTLR内部为访问者模式提供的支持代码会在根节点处调用visitStat方法,接下来,visitStat方法的实现将会调用visit方法,并将所用的子节点作为参数传递给它,从而继续遍历的过程;

    Parse-Tree Visitor

    为了更好的使用访问者模式我们用以下针对每个规则加了标签的语法文件来说明:


    grammar LabeledExpr;//rename to distinguish from Expr.g4
    
    prog:stat+ ;
    
    stat    :    expr NEWLINE                # printExpr
    
              |     ID '=' expr NEWLINE      # assign
    
              |     NEWLINE                        # blank
    
              ;
    
    expr    :    expr op=('*'|'/') expr          # MulDiv
    
               |    expr op=('+'|'-') expr          # AddSub
    
               |    INT                                    # int
    
               |  ID                                          # id
    
               |'('expr')'                                   # parens
    
               ;        
    
    MUL :'*';   //assigns token name to'*'used aboveingrammar
    
    DIV :'/';
    
    ADD :'+';
    
    SUB :'-';
    
    ID  :  [a-zA-Z]+ ;//match identifiers
    
    INT :  [0-9]+ ;//match integers
    
    NEWLINE:'\r'?'\n';//returnnewlines to parser (isend-statement  signal)
    
    WS  :  [ \t]+ -> skip ;//toss out whitespace

     

    更多相关内容
  • ANTLR 4的C#目标 入门 步骤1:安装Java(推荐) :warning: 从4.5.0-alpha003版本开始,不再需要用户安装Java运行时才能使用ANTLR 4编译.NET应用程序。但是,安装Java将大大提高代码生成过程的性能。 强烈建议使用...
  • 具有优化功能的antlr4解析器 antrl4优化 ANTLR 4的优化前叉由Tunnel Vision Laboratories,LLC的Sam Harwell维护。 ANTLR 4的这种“漏洞”实现包含许多功能和性能优化,这些功能和性能优化未包含在参考版本中。 通常...
  • 赠送jar包:antlr4-runtime-4.7.jar; 赠送原API文档:antlr4-runtime-4.7-javadoc.jar; 赠送源代码:antlr4-runtime-4.7-sources.jar; 赠送Maven依赖信息文件:antlr4-runtime-4.7.pom; 包含翻译后的API文档:...
  • ANTLR

    2019-08-04 01:33:43
    NULL 博文链接:https://guanping1.iteye.com/blog/2029655
  • 本程序是在语法分析阶段处理的程序,通过使用提供的Java8文法,生成Java8语言的语法分析器,并通过Antlr4生成的模板,重写其监听器实现上述功能。 目前实现功能 代码格式化规范以为准 代码格式化 换行规范 运算符...
  • vscode-antlr4 Visual Studio代码中ANTLR4支持的扩展。 什么是新的 通过使用最新的官方ANTLR4 jar并添加了两个设置,可以指定解析器自己的jar和在生成过程中继续传递的其他参数,从而改进了解析器的生成过程。 产品...
  • 如果您对 ANTLR 感到好奇,或者对构建编程语言应用程序的友好介绍,我可以推荐 。 当前限制 这并没有做“英语到胡言乱语”的声明(还),尽管引用的 CDecl 程序中的“英语”无论如何都有些僵硬。 就像原始的 CDecl...
  • 该编译器利用Antlr4自动生成前端解析器和扫描器。 编译器的中间和后端是用C ++编写的。 目标程序集是Jasmin,Jasmin是一种JVM汇编语言,可以将其汇编为Java * .class文件。 从那里,可以调用JVM来执行程序。 目录...
  • py3antlr4book 隐蔽的ANTLR4本书的源代码为Python 3版本。 如何使用 视窗 安装Python 安装Antlr4 python3运行时 pip install antlr4-python3-runtime 打开命令并运行bin / antlr4.bat 您可能需要编译最新的...
  • 基于 Antlr4 的 Hive SQL 解析.zip 大学生课程设计 课程设计 自己大二写的课程设计
  • antlr4权威指南

    2017-09-30 10:47:22
    ANTLR是一款强大的语法分析器生成工具,可用于读取、处理、执行和翻译结构化的文本或二进制文件。它被广泛应用于学术领域和工业生产实践,是众多语言、工具和框架的基石。Twitter搜索使用ANTLR进行语法分析,每天...
  • smt-antlr4-javascript-parser 该项目在构建时将生成 ANTLR4 JavaScript 解析类。
  • Antlr4 实现对 sql 的解析并生成解析树 2.基于解析树生成执行计划 3.基于执行计划,对 Java 内存中数据进行操作,对用户透明,并实现部分 sql 执行 4.Java 内存数据为行式存储,数据均为 String 类型,使用时进行...
  • 但是此语法已由社区移植到antlr4,并在此处提供: : 关于 这是用于PL / SQL语言的[几乎]完整解析器,包括Lexer,解析器(可以选择生成抽象语法树)和TreeWalker。 注意:此解析器支持11g版本。 问题跟踪 支持的...
  • 该项目包含支持Kotlin作为ANTLR目标的一切。 它的意思是: Kotlin目标:这是ANTLR代码生成器的插件,可生成词法分析器,解析器和侦听器 Kotlin运行时库:这是运行词法分析器和解析器所需的多平台库 因为我们产生了...
  • 弹性搜索 建造状态 6.0.0 6.0.1 6.1.0 6.1.1 6.1.2 6.1.3 6.1.4 6.2.0 6.2.1 6.2.2 6.2.3 6.2.4 6.3.0 6.3.1 6.3.2...用antlr4重写elasticsearch ,支持 变更日志 Maven < groupId>io.github.iamazy.elasticsearch.ds
  • ANTLR4 是由 Java 开发的,大部分的示例也是 Java 的,当前资源使用 C++ 实现了 ANTLR 4权威指南 第四章中的计算器,我在 linux 测试通过
  • 基于ProLeap ANTLR4的COBOL解析器 这是一个基于的COBOL解析器,它为COBOL代码生成抽象语法树(AST)和抽象语义图(ASG)。 AST以语法树结构表示普通的COBOL源代码。 ASG通过语义分析从AST生成,并提供数据和控制流...
  • 赠送jar包:antlr4-runtime-4.7.jar; 赠送原API文档:antlr4-runtime-4.7-javadoc.jar; 赠送源代码:antlr4-runtime-4.7-sources.jar; 赠送Maven依赖信息文件:antlr4-runtime-4.7.pom; 包含翻译后的API文档:...
  • 然后逐行读取输入的文本文件,并通过ANTLR解析每一行。 ANTLR(另一种用于语言识别的工具)根据编写的语法对行进行解析。 语法定义了如何将文本行拆分为树。 然后,Kotlin应用程序和帮助程序类将使用该树。 helper...
  • ANTLR v4 ANTLR (另一种语言识别工具)是一个强大的解析器生成器,用于读取、处理、执行或翻译结构化文本或二进制文件。 它被广泛用于构建语言、工具和框架。 从语法中,ANTLR 生成一个可以构建解析树的解析器,还...
  • Dart 的 ANTLR 4 运行时 描述 Dart 的全功能 ANTLR 4 运行时库。 ANTLR(ANother Tool for Language Recognition)是一种用于生成代码以执行各种语言识别任务的工具:词法分析、解析、抽象语法树构建和操作、树结构...
  • sbt-antlr4 当在sbt 1.1.x和0.13.x中进行编译时,此插件提供了运行antlr4的功能。 如何使用 将您的.g4文件放在src/main/antlr4目录中,并制作具有以下内容的project/sbt-antlr4.sbt文件: // sbt 1.1.x ...
  • 赠送jar包:antlr4-runtime-4.2.jar; 赠送原API文档:antlr4-runtime-4.2-javadoc.jar; 赠送源代码:antlr4-runtime-4.2-sources.jar; 赠送Maven依赖信息文件:antlr4-runtime-4.2.pom; 包含翻译后的API文档:...
  • sbt-antlr 用于 sbt-0.12.x 的插件,它根据 antlr 3.5 语法生成代码。 用法 取决于插件: ./project/plugins/build.sbt resolvers += "stefri" at "http://stefri.github.io/repo/releases" addSbtPlugin(...
  • 测试自述文件。
  • 赠送jar包:antlr-runtime-3.5.2.jar; 赠送原API文档:antlr-runtime-3.5.2-javadoc.jar; 赠送源代码:antlr-runtime-3.5.2-sources.jar; 赠送Maven依赖信息文件:antlr-runtime-3.5.2.pom; 包含翻译后的API文档...
  • 赠送jar包:antlr-runtime-3.5.2.jar; 赠送原API文档:antlr-runtime-3.5.2-javadoc.jar; 赠送源代码:antlr-runtime-3.5.2-sources.jar; 赠送Maven依赖信息文件:antlr-runtime-3.5.2.pom; 包含翻译后的API文档...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 19,334
精华内容 7,733
关键字:

antlr

友情链接: CPU.zip