精华内容
下载资源
问答
  • Antlr

    2021-03-17 14:06:46
    Antlr

    目录

     

    Antlr是什么?

    Antlr能干什么?

    传统解析器工作原理是什么?

    Antrl 语法规则文件

    ANTLR两种遍历分析树的机制

    Parse-Tree Listeners

    Parse-Tree Visitor


     

    Antlr是什么?

    ANTLR(另一种语言识别工具)是功能强大的解析器生成器,用于读取,处理,执行或翻译结构化文本或二进制文件。它被广泛用于构建语言,工具和框架。ANTLR从语法中生成一个解析器,该解析器可以构建和遍历解析树。

    ANTLR (ANother Tool for Language Recognition) is a powerful parser generator for reading, processing, executing, or translating structured text or binary files. It's widely used to build languages, tools, and frameworks. From a grammar, ANTLR generates a parser that can build and walk parse trees.

     

    Antlr能干什么?

    ANTLR能够根据用户定义的语法文件自动生成词法分析器和语法分析器,并将输入文本处理为语法分析树。这一切都是自动进行的,所需的仅仅是一份描述该语言的语法文件

    ANTLR自动生成的编译器高效、准备,能够将开发者从繁杂的编译理论中解放出来,集中精力处理自己的业务逻辑。ANTRL4引入的自动语法分析树创建与遍历机制,极大地提高了语言识别程序的开发效率。时至今日,仍然是Java世界中实现编译器的不二之选,同时,它也对其他编程语言也提供了支持。

    典型应用如下:

    1、编程语言处理

    识别和处理编程语言是 Antlr 的首要任务,编程语言的处理是一项繁重复杂的任务,为了简化处理,一般的编译技术都将语言处理工作分为前端和后端两个部分。其中前端包括词法分析、语法分析、语义分析、中间代码生成等若干步骤,后端包括目标代码生成和代码优化等步骤。

    Antlr 致力于解决编译前端的所有工作。使用 Anltr 的语法可以定义目标语言的词法记号和语法规则,Antlr 自动生成目标语言的词法分析器和语法分析器;此外,如果在语法规则中指定抽象语法树的规则,在生成语法分析器的同时,Antlr 还能够生成抽象语法树;最终使用树分析器遍历抽象语法树,完成语义分析和中间代码生成。整个工作在 Anltr 强大的支持下,将变得非常轻松和愉快。

    2、文本处理

    当需要文本处理时,首先想到的是正则表达式,使用 Anltr 的词法分析器生成器,可以很容易的完成正则表达式能够完成的所有工作;除此之外使用 Anltr 还可以完成一些正则表达式难以完成的工作,比如识别左括号和右括号的成对匹配等。

     

    传统解析器工作原理是什么?

    如果一个程序能够分析计算或者执行语句,我们就把它称之为解释器(interpreter)。解释器需要识别出一门特定的语言的所有的有意义的语句,词组和子词组。识别一个词组意味着我们可以将它从众多的组成部分中辨认和区分出来。

    比如我们会把sp=100;识别成赋值语句, 这意味着我们能够辨识出sp是被赋值的目标,100则是要被赋予的值。我们也都知道我们在学习英语的时候,识别英语语句,需要辨认出一段对话的不同部分,例如主谓宾。在识别成功之后,程序还能执行适当的操作。

    识别语言的程序被称为语法分析器(parser)或者句法分析器(syntax analyzer),syntax是指约束语言中的各个组成部分之间关系的规则。grammar是一系列规则的集合,每条规则表述出一种词汇结构。ANTLR就是能够将其转成如同经验丰富的开发者手工构建的一般的语法分析器(ANTLR是一个能够生产其他程序的程序)

    1、语法解析器

    语法解析器是传统解析器重要组件,语法解析器工作流程包括词法分析和语法分析两个阶段。

    词法分析,主要负责将符号文本分组成符号类tokens,把输入的文本转换成词法符号的程序称为词法分析器(lexer);

    语法解析,目标就是构建一个语法解析树。语法解析的输入是tokens,输出就是一颗语法解析树。

                                                      语法分析示例

    语法分析树的内部节点是 词组名,这些名字用于识别它们的子节点,并可以将子节点归类。根节点是比较抽象的一个名字,在这里是 stat(statement)。

    2、解析方法 

    根据推导策略的不同,语法解析分为LL与LR两种:LR自低向上(bottom-up)的语法分析方法;LL是自顶向下(top-down)的语法分析方法。两类分析器各有其优势,适用不同的场景,很难说谁要更好一些。普遍的说法是LR可以解析的语法形式更多LL的语法定义更简单易懂。Antrl就是一种自顶向下的解析器;

     

    Antrl 语法规则文件

    以一个计算器的规则文件做示例:


    grammar Cal;
    
    prog: stat+; //一个程序由至少一条语句组成
    
    /*为了以后的运算的方便性,我们需要给每一步规则打上标签,标签以”#”开头,出现在每一条规则的右边。打上标签后,antlr会为每一个规则都生成一个事件*/
    
    stat: ID'='expr ';'#Assign //变量赋值语句
    
    |'print''('expr ')'';'#printExpr   //输出语句
    
    ;
    
    expr: expr op=('*'|'/') expr #MulDiv  //表达式可以是表达式之间乘除
    
    | expr op=('+'|'-') expr #AddSub  //表达式可以是表达式之间加减
    
    | NUM #NUM   //表达式可以是一个数字
    
    | ID #ID //表达式可以是一个变脸
    
    |'('expr ')'#parens    //表达式可以被括号括起来
    
    ;
    
    MUL:'*';
    
    DIV:'/';
    
    ADD:'+';
    
    SUB:'-';
    
    ID: [a-zA-Z][a-zA-Z0-9]*; //变量可以是数字和字母,但必须以字母开头
    
    //负数必须要用"()"括起来
    
    NUM: [0-9]+   //正整数
    
    |'(''-'[0-9]+ ')'//负整数
    
    | [0-9]+'.'[0-9]+   //正浮点数
    
    |'(''-'[0-9]+'.'[0-9]+ ')'//负浮点数
    
    ;
    WS: [ \t\r\n] -> skip;   //跳过空格、制表符、回车、换行

     


    Antlr文法概念中的一些关键概念。文法由一组描述语法的规则组成。其中包括词法与语法规则。语法规则是以小写字母组成。如prog,stat。词法规则由大写字母组成。如ID:[a-z A-Z]+。通过使用 | 运算符来将不同的规则分割,还可以使用括号构成子规则。

     

    ANTLR两种遍历分析树的机制

    默认情况下,ANTLR使用内建的遍历器访问生成的语法分析树,并为每个遍历时可能触发的事件生成一个语法分析树监听器接口 (ANTLR generates a parse-tree listener interface) 。除了监听器的方式,还有一种遍历语法分析树的方式:访问者模式(vistor pattern);

    Parse-Tree Listeners

    为了将遍历树时触发的事件转化为监听器的调用,ANTLR提供ParseTreeWalker类。我们可以自行实现ParseTreeListener的接口,在其中填充自己的逻辑。ANTLR为每个语法文件生成一个ParseTreeListener的子类,在该类中,语法的每条规则都有对应的enter方法和exit方法。

    层次遍历(先序遍历)访问

    层次遍历(先序遍历)访问

    监听器方式的优点在于,回调是自动进行的。我们不需要编写对语法分析树的遍历代码,也不需要让我们的监听器显式地访问子节点

    Parse-Tree Visitors

    有时候,我们希望控制遍历语法分析树的过程,通过显式的方法调用来访问子节点。语法中的每条规则对应接口中的一个visit方法。

    代码demo

    ParseTree tree = ... ;// tree is result of parsingMyVisitor v =newMyVisitor();v.visit(tree);

    ANTLR内部为访问者模式提供的支持代码会在根节点处调用visitStat方法,接下来,visitStat方法的实现将会调用visit方法,并将所用的子节点作为参数传递给它,从而继续遍历的过程;

    Parse-Tree Visitor

    为了更好的使用访问者模式我们用以下针对每个规则加了标签的语法文件来说明:


    grammar LabeledExpr;//rename to distinguish from Expr.g4
    
    prog:stat+ ;
    
    stat    :    expr NEWLINE                # printExpr
    
              |     ID '=' expr NEWLINE      # assign
    
              |     NEWLINE                        # blank
    
              ;
    
    expr    :    expr op=('*'|'/') expr          # MulDiv
    
               |    expr op=('+'|'-') expr          # AddSub
    
               |    INT                                    # int
    
               |  ID                                          # id
    
               |'('expr')'                                   # parens
    
               ;        
    
    MUL :'*';   //assigns token name to'*'used aboveingrammar
    
    DIV :'/';
    
    ADD :'+';
    
    SUB :'-';
    
    ID  :  [a-zA-Z]+ ;//match identifiers
    
    INT :  [0-9]+ ;//match integers
    
    NEWLINE:'\r'?'\n';//returnnewlines to parser (isend-statement  signal)
    
    WS  :  [ \t]+ -> skip ;//toss out whitespace

     

    展开全文
  • ANTLR

    2019-09-20 06:30:42
    介绍 ANTLR是开源语法分析器。 转载于:https://my.oschina.net/surenpi/blog/605383...
    • 介绍
    ANTLR是开源语法分析器。

    转载于:https://my.oschina.net/surenpi/blog/605383

    展开全文
  • antlr

    2017-04-05 20:57:00
    参考资料: 1、ANTLR4: 实现一个表达式解析器...2、ANTLR3 Maven Plugin - Eclipse Setu...

     

     

     

     

    参考资料:

    1、 ANTLR4: 实现一个表达式解析器 http://twoyao.cn/2016/03/23/ANTLR4%20%E5%AE%9E%E7%8E%B0%E4%B8%80%E4%B8%AA%E7%BC%96%E8%AF%91%E5%99%A8%E5%89%8D%E7%AB%AF/ 

    2、 ANTLR3 Maven Plugin - Eclipse Setup http://blog.wakatta.jp/blog/2012/01/14/antlr3-maven-plugin-eclipse-setup/

    3、 http://blog.madhukaraphatak.com/using-antlr-with-maven/

    4、 https://oolap.com/antlr-repl-simple 使用 antlr 轻松实现解释器

     

    转载于:https://www.cnblogs.com/xunux/p/6670575.html

    展开全文
  • ANTLR

    2010-11-07 10:28:15
    博客里有一篇文章ANTLR实现的SQL解析器 - OQL,大概描述了一下用antlr实现的一个简单的sql解析器 有不少人对antlr感兴趣,希望提供这个项目的源代码作为参考,一直没有放出来,原因有以下几个方面: 1. antlr版本...

    有一个可用的 ANSI SQL 语法。 您可以使用,以创建您自己的解析器。

    博客里有一篇文章ANTLR实现的SQL解析器 - OQL,大概描述了一下用antlr实现的一个简单的sql解析器

    有不少人对antlr感兴趣,希望提供这个项目的源代码作为参考,一直没有放出来,原因有以下几个方面:

    1. antlr版本问题。开发时使用的antlr版本不久之后就更新了,与之前的老版本(包括项目中使用的)不兼容,项目中的语法文件已经无法在目前的antlr版本下使用这次上传的项目中包括当时使用的antlr runtime dll文件(应该是3.0.1版本吧),代码中有生成好的lexer和parser cs文件。

    但如果要从.g语法文件重新生成lexer和parser,得使用相应的antlr java package,我这边已经没有了,可以看看antlr网站是否还提供下载

     

    2. 实现上很乱。 这是创业的几年里为做项目而写的,这个东西的开发本身不在项目计划之内,因此从了解antlr到这部分代码只用了一个星期的时间赶出来,后来也只是稍微改改bug,没有结构性的调整过,因此实在不具备什么参考作用主要思路倒是非常简单,用antlr生成AST,然后用visitor模式遍历AST生成sql,visitor的接口也是为了便于实现ORM映射而设计的。

    但是因为时间仓促,对antlr也没有深入了解,代码实现和语法文件都只能用一个字形容:乱。原来打算好好研究一下antlr,把这个项目也整理一下,不过一直懒的动

     

    前2个星期看nhibernate的HQL解析,他的结构就好多了,建议真正想了解用antlr做sql解析器的,可以好好参考一下nhibernate或者hibernate 因为经常有人发消息留言希望学习一下,请在这里下载:

    ANTLR SQL解析器代码说明:

    1. 输出类型设置成了windows application形式,里面有个form用来测试解析效果

    2. 只支持标准的select查询语句

    展开全文
  • 开源项目-antlr-antlr4.zip,antlr 4.6发布,支持go代码生成
  • Antlr 4示例/简短教程 这是我的《 博客文章的示例代码库。

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 5,958
精华内容 2,383
关键字:

antlr