在 Emacs Lisp 中解析

Question

我正在用 Emacs Lisp 编写解析器。它是文本文件的解析器 看起来像这样：

rule:
  int: 1, 2, 3, ...
  string: and, or, then, when
  text:
  ----------
  Lorem ipsum dolor sit amet, consectetuer adipiscing elit. Pellentesque
  in tellus. In pharetra consequat augue. In congue. Curabitur
  pellentesque iaculis eros. Proin magna odio, posuere sed, commodo nec,
  varius nec, tortor.
  ----------
  more: ...

rule:
  ...

我并不真正关心密钥（int、string、...）。我想要 价值。因此对于 int 上面的文件，其值为 "1, 2, 3, ...", string “and, or, then, when”和文本“Lorem ...”（不包括破折号）。

我正在考虑两种不同的解决方案，但我不知道该使用哪一种。我应该：

1. 创建一个简单的解析器，循环遍历所有行并为每个 行将它与一些正则表达式匹配，然后将我想要的部分分组？

2. 用词法分析器和解析器做一个更复杂的解析器？

现在文件很简单，我想我不需要这样做 像第二种选择一样先进的东西。但是这些文件可能会得到一个 有点复杂，所以我想让它易于扩展。

你会怎么解决这个问题？

Answer 1

您是否已经熟悉recursive descent parsers？它们相对容易用您最喜欢的编程语言（包括 Emacs Lisp）手动编写。对于非常简单的解析，您通常可以使用looking-at 和search-forward。这些也将构成递归下降解析器或任何其他类型的解析器调用的任何 tokenizing 例程的基础。

[2009 年 2 月 11 日] 我在下面的 emacs lisp 中添加了一个示例递归下降解析器。它解析简单的算术表达式，包括加法、减法、乘法、除法、求幂和带括号的子表达式。现在，它假定所有标记都在全局变量*tokens* 中，但是如果您根据需要修改gettok 和peektok，您可以让它们遍历缓冲区。要按原样使用它，只需尝试以下操作：

(setq *token* '( 3 ^ 5 ^ 7 + 5 * 3 + 7 / 11))
(rdh/expr)
=> (+ (+ (^ 3 (^ 5 7)) (* 5 3)) (/ 7 11))

解析代码如下。

(defun gettok ()
  (and *token* (pop *token*)))
(defun peektok ()
  (and *token* (car *token*)))

(defun rdh/expr ()
  (rdh/expr-tail (rdh/factor)))

(defun rdh/expr-tail (expr)
  (let ((tok (peektok)))
    (cond ((or (null tok)
           (equal tok ")"))
       expr)
      ((member tok '(+ -))
       (gettok)
       (let ((fac (rdh/factor)))
         (rdh/expr-tail (list tok expr fac))))
      (t (error "bad expr")))))

(defun rdh/factor ()
  (rdh/factor-tail (rdh/term)))

(defun rdh/factor-tail (fac)
  (let ((tok (peektok)))
    (cond ((or (null tok)
           (member tok '(")" + -)))
       fac)
      ((member tok '(* /))
       (gettok)
       (let ((term (rdh/term)))
         (rdh/factor-tail (list tok fac term))))
      (t (error "bad factor")))))

(defun rdh/term ()
  (let* ((prim (rdh/prim))
         (tok (peektok)))
    (cond ((or (null tok)
               (member tok '(")" + - / *)))
           prim)
          ((equal tok '^)
           (gettok)
           (list tok prim (rdh/term)))
          (t (error "bad term")))))

(defun rdh/prim ()
  (let ((tok (gettok)))
    (cond ((numberp tok) tok)
      ((equal tok "(")
       (let* ((expr (rdh/expr))
          (tok (peektok)))
         (if (not (equal tok ")"))
         (error "bad parenthesized expr")
           (gettok)
           expr)))
      (t (error "bad prim")))))

Answer 2

对于解析器的内容，请查看 CEDET 项目中的语义库

Answer 3

您可以在 Emacs Wiki 上找到一个相对简单的解析器：ParserCompiler

Emacs 的 Parser Compiler 创建 纯递归下降解析器 省略。

该项目的目标是创建一个 有用的解析器编译器 创新和实用。 这是由作者创作的原创作品 Mike Mattie - codermattie@gmail.com

解析器由一个宏编译 将解析器定义 DSL 转换为 纯省略号。语法支持 目前是 PEG 语法课。