我正在用 python 编写一个游戏，并决定为地图数据文件创建一个 DSL。我知道我可以用正则表达式编写我自己的解析器，但我想知道是否有现有的 python 工具可以更轻松地做到这一点，比如 PHP 引擎中使用的 re2c。
一些额外的信息：
DSL 只包含数据（声明性的？），它不会被“执行”。大多数行看起来像：
SOMETHING: !abc @123 #xyz/123
我只需要读取数据树。
【问题讨论】：
pyparsing 一直给我留下深刻印象。作者 Paul McGuire 在python list/comp.lang.python 上很活跃，并且一直对任何有关它的查询都非常有帮助。
【讨论】：
这是一种非常有效的方法。
abc= ONETHING( ... )
xyz= ANOTHERTHING( ... )
pqr= SOMETHING( this=abc, that=123, more=(xyz,123) )
声明性的。易于解析。
还有……
它实际上是 Python。一些类声明，工作就完成了。 DSL 实际上是类声明。
重要的是 DSL 只是创建对象。定义 DSL 时，首先必须从对象模型开始。稍后，您围绕该对象模型添加了一些语法。你不是从语法开始，而是从模型开始。
【讨论】：
【讨论】：
我在工作中编写了类似的东西来读取 SNMP 通知定义并从中自动生成 Java 类和 SNMP MIB 文件。使用这个小 DSL，我可以编写 20 行规范，它会生成大约 80 行 Java 代码和一个 100 行 MIB 文件。
为了实现这一点，我实际上只是使用了直接的 Python 字符串处理（split()、切片等）来解析文件。我发现 Python 的字符串功能足以满足我的大多数（简单）解析需求。
除了其他人提到的库之外，如果我正在编写更复杂的东西并且需要适当的解析能力，我可能会使用支持 Python（和其他语言）的ANTLR。
【讨论】：
对于您所描述的“小型语言”，我使用简单的拆分、shlex（请注意 # 定义注释）或正则表达式。
>>> line = 'SOMETHING: !abc @123 #xyz/123'
>>> line.split()
['SOMETHING:', '!abc', '@123', '#xyz/123']
>>> import shlex
>>> list(shlex.shlex(line))
['SOMETHING', ':', '!', 'abc', '@', '123']
以下是一个示例，因为我不知道您在寻找什么。
>>> import re
>>> result = re.match(r'([A-Z]*): !([a-z]*) @([0-9]*) #([a-z0-9/]*)', line)
>>> result.groups()
('SOMETHING', 'abc', '123', 'xyz/123')
【讨论】：
DSL 是一个好东西，所以你不需要为自己辩护 :-)
但是，您是否考虑过内部 DSL ？与外部（解析的）DSL 相比，它们有很多优点，至少值得考虑。将 DSL 与本机语言的强大功能相结合确实可以为您解决很多问题，而且 Python 在内部 DSL 方面也不是很差，with 语句很方便。
【讨论】：
withstatement 对内部 DSL 有何用处？我很好奇
在声明性 python 的行中，我编写了一个名为“bpyml”的辅助模块，它允许您以更 XML 结构化的方式在 python 中声明数据，而无需冗长的标签，它也可以转换为 XML 或从 XML 转换，但它是有效的蟒蛇。
https://svn.blender.org/svnroot/bf-blender/trunk/blender/release/scripts/modules/bpyml.py
示例使用 http://wiki.blender.org/index.php/User:Ideasman42#Declarative_UI_In_Blender
【讨论】：
如果我可以使用新的运算符扩展 python 语法以在语言中引入新的功能怎么办？例如，一个新的运算符<=> 用于交换两个变量的值。
如何实现这种行为？ AST 模块来了。 最后一个模块是处理抽象语法树的便捷工具。这个模块很酷的地方在于它允许我编写生成树然后将其编译为 python 代码的 python 代码。
假设我们要将超集语言（或类 Python 语言）编译为 Python：
来自：
a <=> b
到：
a , b = b , a
我需要将我的“类似 python”的源代码转换为令牌列表。 所以我需要一个分词器，一个 Python 源代码的词法扫描器。 Tokenize module
我可以使用相同的元语言来定义新的'python-like'语言的语法，然后构建抽象语法树的结构AST
为什么要使用 AST？
from tokenize import untokenize, tokenize, NUMBER, STRING, NAME, OP, COMMA
import io
import ast
s = b"a <=> b\n" # i may read it from file
b = io.BytesIO(s)
g = tokenize(b.readline)
result = []
for token_num, token_val, _, _, _ in g:
# naive simple approach to compile a<=>b to a,b = b,a
if token_num == OP and token_val == '<=' and next(g).string == '>':
first = result.pop()
next_token = next(g)
second = (NAME, next_token.string)
result.extend([
first,
(COMMA, ','),
second,
(OP, '='),
second,
(COMMA, ','),
first,
])
else:
result.append((token_num, token_val))
src = untokenize(result).decode('utf-8')
exp = ast.parse(src)
code = compile(exp, filename='', mode='exec')
def my_swap(a, b):
global code
env = {
"a": a,
"b": b
}
exec(code, env)
return env['a'], env['b']
print(my_swap(1,10))
其他使用 AST 的模块，其源代码可能是有用的参考：
【讨论】：