通过 Antlr 4 词法分析器/解析器抓取所有空行

Question

试图通过 Antlr 4 词法分析器/解析器获取给定 PHP 文件的所有空行（仅行号）。我使用的语法可以在 GitHub Antlr grammar for PHP 上找到。

空白标记定义为：

Whitespace:         [ \t\r\n]+ -> skip;

我把它改成了：

Whitespace: (
             ' ' 
             | '\t' 
             | '\r' '\n' { newline(); } 
             | '\n'       { newline(); }
            );

但它几乎收集了所有行，因为每一行都以“\n”结尾。任何专家的建议都可以为我提供指导。

要测试的示例 PHP：

<?php

//02-5002201-00001 5002201 - Machine hours test

	function test()
	{	
/*	Name:			Test.php

	Title:			Demo

	by:				XYZ
*/
		if (true && false)
		{		
			echo "aa";
		}

//TODO		
		echo <<<SEGDTA
		<link rel="stylesheet" type="text/css" href="ui.css"/>

		<script type="text/javascript" src="min.js"></script>
		SEGDTA;
	}

?>

Answer 1

试试这样的：

lexer grammar DemoLexer;

EmptyLine
 : {super.getCharPositionInLine() == 0}? [ \t]* '\r'? '\n'
 ;

Whitespace
 : [ \t\r\n] -> skip
 ;

Other
 : .
 ;

如果我运行以下测试类：

import org.antlr.v4.runtime.CharStreams;
import org.antlr.v4.runtime.Token;

public class Main {

    public static void main(String[] args) {

        String source = "foo\n" +
                "\n" +
                "bar\n" +
                "    \n" +
                "   baz   \r\n" +
                " \t\t\n" +
                "\tend\n\n";

        DemoLexer lexer = new DemoLexer(CharStreams.fromString(source));

        for (Token t : lexer.getAllTokens()) {

            String name = lexer.getTokenNames()[t.getType()];
            String text = t.getText().replace("\r","\\r").replace("\n","\\n").replace("\t","\\t");

            System.out.printf("%-20s '%s'\n", name, text);
        }
    }
}

这将被打印出来：

Other                'f'
Other                'o'
Other                'o'
EmptyLine            '\n'
Other                'b'
Other                'a'
Other                'r'
EmptyLine            '    \n'
Other                'b'
Other                'a'
Other                'z'
EmptyLine            ' \t\t\n'
Other                'e'
Other                'n'
Other                'd'
EmptyLine            '\n'

见：http://www.antlr.org/api/Java/org/antlr/v4/runtime/TokenSource.html#getCharPositionInLine()

Answer 2

这是您对 PHP 代码进行的唯一处理吗？如果是这样，您可以简单地逐行加载文件并计算空条目。在这种情况下不需要解析器。

更新

既然你有那个解析器，你就可以使用令牌流并遍历所有令牌。每当您看到换行符时，请检查前一个标记，如果这也是换行符（或者这是流中的第一个标记），您会发现一个空行。您甚至可以隐藏空白，因为令牌流将为您提供所有频道上的所有令牌（除非您对其进行过滤）。

无论如何，计算空行是一个语义步骤，而解析器（正在执行句法步骤）不是这样做的正确位置。

更新 2

以下是应该可以工作的代码（根据您的尝试）：

CommonTokenStream tokenStream = new CommonTokenStream(new AntlrPHPLexer(charStream));

tokenStream.fill(); // Load all tokens.
int counter = 0;
List<Token> tokens = tokenStream.getTokens();
for (int i = 0; i < tokens.size(); ++i) {
  if (tokens.get(i).getType() == AntlrPHPLexer.Linebreak) {
    if (i == 0 || (tokens.get(i - 1).getType() == AntlrPHPLexer.Linebreak))
      ++counter;
  }
}

你必须把你的空格分成两条规则：

Whitespace: ([ \t]+ | Linebreak) -> skip;
Linebreak: [\r\n];

请注意，我没有有意为Whitespace 中的Linebreak 调用使用循环。