如何使用flex / bison进行类似python的缩进

问题描述 投票:16回答:3

我希望我的语言有两个功能,使Python这样一个格式很好的语言:

  • 每行一个声明
  • 块以另一个缩进级别开始,一直持续到结束

任何人都可以给我一个关于如何用类似flex/bison工具实现这一目标的详细提示吗?这种块特征迫使用户编写可读代码。

indentation bison flex-lexer
3个回答
7
投票

我认为没有办法使用只有lex / yacc的类似python的语法解析器,因为lex / yacc只能处理Context Free Grammar,但类似python的语法是上下文敏感的。

原因是,如果要查找语句和前一个语句是否在同一个块中,则应该让该语句知道前一个语句的缩进,即上下文。

我建议你除了lex / yacc之外还要做一些额外的逻辑来实现这个目标,这不会那么难。您可以在“语法”模块中阅读代码here

关键是,让lex / yacc部分解析单个语句,使用缩进级别,并将一些打包语句写入块。


16
投票

您可以尝试跟踪词法分析器中的缩进级别,并为缩进和unindent添加伪标记。您将需要保留一堆已经看到的缩进级别,并且需要不同地关注空/仅注释行。但是我担心最后词法分析器会变成一个难以维护的混乱,而且你的词法分析器中你也有一些特定于语法的句子(缩进栈)。


11
投票

Matt Might写了一篇关于独立解析器的文章,使用“unput”处理重要的空格:

http://matt.might.net/articles/standalone-lexers-with-lex/

(该示例位于页面的中间位置。)

© www.soinside.com 2019 - 2024. All rights reserved.