【发布时间】：2012-06-12 14:20:57
【问题描述】：
我想从正文中提取信息并能够查询它。
此文本正文的结构将由 BNF 语法（或变体）指定，要提取的信息将在运行时指定（查询的语法此时无关紧要）。
所以要求很简单，真的：
- 接收一些结构化的文本正文
- 使用语法以可利用的形式加载它并对其进行解析
- 运行查询以选择其中的某些部分
举个例子，假设我们有这样的语法（定制的 BNF 格式）：
<digit> ::= 0 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9
<id> ::= 15 * digit
<hex> ::= 10 * (<digit> | a | b | c | d | e | f)
<anything> ::= <digit> | .... (all characters)
<match> ::= <id> (" " <hex>)*
<nomatch> ::= "." <anything>*
<line> ::= (<match> | <nomatch> | "") [<CR>] <LF>
<text> ::= <line>+
这样的文本将符合哪些条件：
012345678901234
012345678901234 abcdef0123
Nor the previous line nor this one would match
然后我想列出规则中出现的所有标签，例如使用类似 XPath 的语法：
match//id
这将返回一个列表。
这听起来相对容易，除了我有两个很大的限制：
- 应在运行时读取 BNF 语法（从类似字符串/向量的结构）
- 查询也将在运行时读取
一些精度：
- 预计语法不会经常更改，因此生成内存结构的“编译”步骤是可以接受的（并且可能是实现良好速度所必需的）
- 速度至关重要，即时收集所需部分的奖励积分
- 可以通过回调消除歧义的可能性（例如，有时必要的歧义消除信息可能需要访问数据库）
- 多部分语法的加分项（有利于语法元素的模块化和重用）
例如，我知道 lex/yacc 和 flex/bison，但是它们似乎只创建要编译的 C/C++ 代码，这不是我所关心的。
您是否知道一个强大的库（最好是免费和开源的），它可以“即时”将 BNF 语法转换为解析器，并使用该解析器从文本体中生成结构化的内存输出?
编辑：我对替代品持开放态度。目前的想法是，也许正则表达式可以允许这种提取，但是考虑到所涉及的语法的复杂性，这可能会很快变得丑陋，因此维护正则表达式将是一项非常可怕的任务。此外，通过分离语法和提取，我希望能够针对不同的提取需求重用相同的语法，而不是每次都有稍微不同的正则表达式。
【问题讨论】：
-
如果一切都失败了，请在 Boost.Spirit 中编写解析器生成器。 ;-) 带有模板元编程的元元。
-
我认为这是部分欺骗：stackoverflow.com/questions/7392302/…。它仅涵盖解析器生成，而不是针对此问题的其他详细信息。它没有“是的，这是一个链接”形式的答案。所以我并不是说这个问题是多余的。
-
看起来您正在尝试构建一个正则表达式机器（如果我错了，请纠正我）。如果您愿意，请尝试使用状态机。
-
我有一个您可能感兴趣的compiler library。它会即时读取语法，创建语法表并将其缓存，因此重新运行很快。输入格式不是 BNF，必须通过动作例程进行语义分析。我用 C++ 写的又快又脏，所以实现看起来可能不太漂亮。它接受模棱两可的语法，但您只能在表创建期间解决，而不是在解析时解决。几个月后，我会用更好更快的子结构用 C 重写它，但它的用法不会有太大的不同。
-
@dirkgently 不，它不是正则语法（可以用正则表达式来描述），它是上下文无关的语法。虽然，他可以使用状态机带有堆栈。
标签： c++ parsing bnf information-extraction