在 nestedExpr 中保留换行符

Question

nestedExpr 是否可以保留换行符？

这是一个简单的例子：

import pyparsing as pp

# Parse expressions like: \name{body}
name = pp.Word( pp.alphas )
body = pp.nestedExpr( '{', '}' )
expr = '\\' + name('name') + body('body')

# Example text to parse
txt = '''
This \works{fine}, but \it{
    does not
    preserve newlines
}
'''

# Show results
for e in expr.searchString(txt):
    print 'name: ' + e.name
    print 'body: ' + str(e.body) + '\n'

输出：

name: works
body: [['fine']]

name: it
body: [['does', 'not', 'preserve', 'newlines']]

如您所见，第二个表达式 (\it{ ...) 的主体被解析，尽管主体中有换行符，但我希望结果将每一行存储在一个单独的子数组中。这个结果使得无法区分单行与多行的正文内容。

Answer 1

直到几分钟前我才看到你的答案，我已经想出了这个方法：

body = pp.nestedExpr( '{', '}', content = (pp.LineEnd() | name.setWhitespaceChars(' ')))

将body 更改为此定义会得到以下结果：

name: works
body: [['fine']]

name: it
body: [['\n', 'does', 'not', '\n', 'preserve', 'newlines', '\n']]

编辑：

等等，如果你想要的是单独的行，那么也许这就是你要找的更多：

single_line = pp.OneOrMore(name.setWhitespaceChars(' ')).setParseAction(' '.join)
multi_line = pp.OneOrMore(pp.Optional(single_line) + pp.LineEnd().suppress())
body = pp.nestedExpr( '{', '}', content = multi_line | single_line )

这给出了：

name: works
body: [['fine']]

name: it
body: [['does not', 'preserve newlines']]

Answer 2

这个扩展（基于nestedExpr 2.1.10 版的代码）表现得更接近于我期望的“嵌套表达式”返回：

import string
from pyparsing import *

defaultWhitechars = string.whitespace
ParserElement.setDefaultWhitespaceChars(defaultWhitechars)

def fencedExpr( opener="(", closer=")", content=None, ignoreExpr=None, stripchars=defaultWhitechars ):

    if content is None:
        if isinstance(opener,basestring) and isinstance(closer,basestring):
            if len(opener) == 1 and len(closer)==1:
                if ignoreExpr is not None:
                    content = Combine(OneOrMore( ~ignoreExpr + CharsNotIn(opener+closer,exact=1)))
                else:
                    content = empty.copy() + CharsNotIn(opener+closer)
            else:
                if ignoreExpr is not None:
                    content = OneOrMore( ~ignoreExpr + ~Literal(opener) + ~Literal(closer))
                else:
                    content = OneOrMore( ~Literal(opener) + ~Literal(closer) )
        else:
            raise ValueError("opening and closing arguments must be strings if no content expression is given")

    if stripchars is not None:
        content.setParseAction(lambda t:t[0].strip(stripchars))

    ret = Forward()
    if ignoreExpr is not None:
        ret <<= Group( Suppress(opener) + ZeroOrMore( ignoreExpr | ret | content ) + Suppress(closer) )
    else:
        ret <<= Group( Suppress(opener) + ZeroOrMore( ret | content )  + Suppress(closer) )
    ret.setName('nested %s%s expression' % (opener,closer))
    return ret

恕我直言，它修复了一些问题：

1. 原实现在默认content中使用ParserElement.DEFAULT_WHITE_CHARS，看起来是出于懒惰；它只在ParserElement类本身之外使用了五次，其中四次在函数nestedExpr中（另一种用法在LineEnd中，它手动删除了\n）。将命名参数添加到 nestedExpr 会很容易，但公平地说，我们也可以使用 ParserElement.setDefaultWhitespaceChars 来实现相同的目的。

2. 第二个问题是，默认情况下，content 表达式本身中的空白字符会被忽略，并带有附加的解析操作 lambda t:t[0].strip()，其中无需输入即可调用 strip，这意味着它是 removes all unicode whitespace characters。我个人认为，不要忽略内容中的任何空格，而是在结果中选择性地去除它们更有意义。出于这个原因，我在原始实现中删除了带有CharsNotIn 的标记，并引入了默认为string.whitespace 的参数stripchars。

当然，乐于接受任何建设性的批评。