我想开始使用ANTLR,但是在antlr.org网站上花了几个小时回顾一下这些例子之后,我仍然无法清楚地理解Java进程的语法。
是否有一些简单的例子,比如使用ANTLR实现的四操作计算器,通过解析器定义并一直到Java源代码?
注意:这个答案适用于ANTLR3!如果您正在寻找ANTLR4示例,那么此Q&A演示了如何使用ANTLR4创建简单的表达式解析器和评估器。
你首先创建一个语法。下面是一个小语法,您可以使用它来评估使用4个基本数学运算符构建的表达式:+, - ,*和/。您还可以使用括号对表达式进行分组。
请注意,这个语法只是一个非常基本的语法:它不处理一元运算符(减号:-1 + 9)或小数字符号.99(没有前导数字),仅列举两个缺点。这只是您可以自己解决的一个例子。
这是语法文件Exp.g的内容:
grammar Exp;
/* This will be the entry point of our parser. */
eval
: additionExp
;
/* Addition and subtraction have the lowest precedence. */
additionExp
: multiplyExp
( '+' multiplyExp
| '-' multiplyExp
)*
;
/* Multiplication and division have a higher precedence. */
multiplyExp
: atomExp
( '*' atomExp
| '/' atomExp
)*
;
/* An expression atom is the smallest part of an expression: a number. Or
when we encounter parenthesis, we're making a recursive call back to the
rule 'additionExp'. As you can see, an 'atomExp' has the highest precedence. */
atomExp
: Number
| '(' additionExp ')'
;
/* A number: can be an integer value, or a decimal value */
Number
: ('0'..'9')+ ('.' ('0'..'9')+)?
;
/* We're going to ignore all white space characters */
WS
: (' ' | '\t' | '\r'| '\n') {$channel=HIDDEN;}
;
(解析器规则以小写字母开头,词法分析器规则以大写字母开头)
创建语法后,您将需要从中生成解析器和词法分析器。下载ANTLR jar并将其存储在与语法文件相同的目录中。
在shell /命令提示符下执行以下命令:
java -cp antlr-3.2.jar org.antlr.Tool Exp.g
它不应该产生任何错误消息,现在应该生成文件ExpLexer.java,ExpParser.java和Exp.tokens。
要查看它是否都能正常工作,请创建此测试类:
import org.antlr.runtime.*;
public class ANTLRDemo {
public static void main(String[] args) throws Exception {
ANTLRStringStream in = new ANTLRStringStream("12*(5-6)");
ExpLexer lexer = new ExpLexer(in);
CommonTokenStream tokens = new CommonTokenStream(lexer);
ExpParser parser = new ExpParser(tokens);
parser.eval();
}
}
并编译它:
// *nix/MacOS
javac -cp .:antlr-3.2.jar ANTLRDemo.java
// Windows
javac -cp .;antlr-3.2.jar ANTLRDemo.java
然后运行它:
// *nix/MacOS
java -cp .:antlr-3.2.jar ANTLRDemo
// Windows
java -cp .;antlr-3.2.jar ANTLRDemo
如果一切顺利,控制台上不会打印任何内容。这意味着解析器没有发现任何错误。当您将"12*(5-6)"
更改为"12*(5-6"
然后重新编译并运行它时,应该打印以下内容:
line 0:-1 mismatched input '<EOF>' expecting ')'
好的,现在我们想在语法中添加一些Java代码,以便解析器实际上做了一些有用的事情。添加代码可以通过将{
和}
放在你的语法中,并在其中包含一些普通的Java代码来完成。
但首先:语法文件中的所有解析器规则都应返回原始double值。你可以通过在每个规则后添加returns [double value]
来做到这一点:
grammar Exp;
eval returns [double value]
: additionExp
;
additionExp returns [double value]
: multiplyExp
( '+' multiplyExp
| '-' multiplyExp
)*
;
// ...
这几乎不需要解释:每条规则都应该返回一个双倍值。现在,要从代码块内部与返回值double value
(不在普通Java代码块{...}
中)进行“交互”,您需要在value
前面添加一个美元符号:
grammar Exp;
/* This will be the entry point of our parser. */
eval returns [double value]
: additionExp { /* plain code block! */ System.out.println("value equals: "+$value); }
;
// ...
这是语法,但现在添加了Java代码:
grammar Exp;
eval returns [double value]
: exp=additionExp {$value = $exp.value;}
;
additionExp returns [double value]
: m1=multiplyExp {$value = $m1.value;}
( '+' m2=multiplyExp {$value += $m2.value;}
| '-' m2=multiplyExp {$value -= $m2.value;}
)*
;
multiplyExp returns [double value]
: a1=atomExp {$value = $a1.value;}
( '*' a2=atomExp {$value *= $a2.value;}
| '/' a2=atomExp {$value /= $a2.value;}
)*
;
atomExp returns [double value]
: n=Number {$value = Double.parseDouble($n.text);}
| '(' exp=additionExp ')' {$value = $exp.value;}
;
Number
: ('0'..'9')+ ('.' ('0'..'9')+)?
;
WS
: (' ' | '\t' | '\r'| '\n') {$channel=HIDDEN;}
;
既然我们的eval
规则现在返回一个double,请将您的ANTLRDemo.java更改为:
import org.antlr.runtime.*;
public class ANTLRDemo {
public static void main(String[] args) throws Exception {
ANTLRStringStream in = new ANTLRStringStream("12*(5-6)");
ExpLexer lexer = new ExpLexer(in);
CommonTokenStream tokens = new CommonTokenStream(lexer);
ExpParser parser = new ExpParser(tokens);
System.out.println(parser.eval()); // print the value
}
}
再次(重新)从语法(1)生成一个新的词法分析器和解析器,编译所有类(2)并运行ANTLRDemo(3):
// *nix/MacOS
java -cp antlr-3.2.jar org.antlr.Tool Exp.g // 1
javac -cp .:antlr-3.2.jar ANTLRDemo.java // 2
java -cp .:antlr-3.2.jar ANTLRDemo // 3
// Windows
java -cp antlr-3.2.jar org.antlr.Tool Exp.g // 1
javac -cp .;antlr-3.2.jar ANTLRDemo.java // 2
java -cp .;antlr-3.2.jar ANTLRDemo // 3
并且您现在将看到表达式12*(5-6)
的结果打印到您的控制台!
再次:这是一个非常简短的解释。我鼓励你浏览ANTLR wiki并阅读一些教程和/或玩我刚刚发布的内容。
祝好运!
编辑:
This post展示了如何扩展上面的示例,以便可以提供一个Map<String, Double>
来保存所提供表达式中的变量。
要使此代码与当前版本的Antlr(2014年6月)一起使用,我需要进行一些更改。 ANTLRStringStream
需要变成ANTLRInputStream
,从parser.eval()
变为parser.eval().value
所需的返回值,我需要在最后删除WS
子句,因为$channel
等属性值不再允许出现在词法分析器动作中。
Gabriele Tomassetti的ANTLR mega tutorial非常乐于助人
它有语法示例,不同语言的访问者示例(Java,JavaScript,C#和Python)以及许多其他内容。强烈推荐。
编辑:Gabriele Tomassetti关于ANTLR的其他有用文章
对于Antlr 4,java代码生成过程如下: -
java -cp antlr-4.5.3-complete.jar org.antlr.v4.Tool Exp.g
相应地更新类路径中的jar名称。
在https://github.com/BITPlan/com.bitplan.antlr,您将找到一个ANTLR java库,其中包含一些有用的辅助类和一些完整的示例。它已准备好与maven一起使用,如果你喜欢eclipse和maven。
https://github.com/BITPlan/com.bitplan.antlr/blob/master/src/main/antlr4/com/bitplan/exp/Exp.g4
是一种简单的表达式语言,可以进行乘法和添加操作。 https://github.com/BITPlan/com.bitplan.antlr/blob/master/src/test/java/com/bitplan/antlr/TestExpParser.java有相应的单元测试。
https://github.com/BITPlan/com.bitplan.antlr/blob/master/src/main/antlr4/com/bitplan/iri/IRIParser.g4是一个IRI解析器,分为三个部分:
就我个人而言,我觉得这是最难对付的部分。见http://wiki.bitplan.com/index.php/ANTLR_maven_plugin
https://github.com/BITPlan/com.bitplan.antlr/tree/master/src/main/antlr4/com/bitplan/expr
包含在早期版本中为ANTLR4的性能问题创建的另外三个示例。与此同时,这个问题已经被修复,因为测试用例https://github.com/BITPlan/com.bitplan.antlr/blob/master/src/test/java/com/bitplan/antlr/TestIssue994.java显示。
版本4.7.1略有不同:导入:
import org.antlr.v4.runtime.*;
对于主要部分 - 请注意CharStreams:
CharStream in = CharStreams.fromString("12*(5-6)");
ExpLexer lexer = new ExpLexer(in);
CommonTokenStream tokens = new CommonTokenStream(lexer);
ExpParser parser = new ExpParser(tokens);