ply 中的特殊情况词法分析器规则

Question

有没有办法对 ply lexer 规则进行特殊处理？

t_IDENT     = r'[a-zA-Z_][0-9a-zA-Z_]*'
t_OPERATOR  = r'[<>=/*+-]+'
t_DEFINE    = r'='
t_PRODUCES  = r'=>'

我想将运算符定义为所列字符的任意组合，除了= 和=> 有自己的特殊情况。例如：

a + b
# IDENT('a') OPERATOR('+') IDENT('b') 

a ++=--> b
# IDENT('a') OPERATOR('++=-->') IDENT('b') 

a == b
# IDENT('a') OPERATOR('==-->') IDENT('b') 

a => b
# IDENT('a') PRODUCES('=>') IDENT('b') 

a = b
# IDENT('a') DEFINE('=') IDENT('b') 

a >= b
# IDENT('a') OPERATOR('>=') IDENT('b') 

a <=> b
# IDENT('a') OPERATOR('<=>') IDENT('b') 

Answer 1

是的，您获得 OPERATOR 令牌而不是预期的 PRODUCES/DEFINE 的原因是 PLY 词法分析器的令牌优先规则：

在内部，lex.py 使用re 模块进行模式匹配。什么时候 构建主正则表达式，规则被添加到 以下顺序：

1. 由函数定义的所有标记都以与它们相同的顺序添加 出现在词法分析器文件中。
2. 由字符串定义的标记接下来添加 按正则表达式长度递减的顺序对它们进行排序（更长 首先添加表达式）。

只需将某些规则转换为函数即可：

def t_DEFINE(t):
    r'='
    return t

def t_PRODUCES(t):
    r'=>'
    return t

Answer 2

我删除了自动化的t_DEFINE 和t_PRODUCES 规则并使用保留字技术来处理特殊情况：

special_operators = {'=': 'DEFINE',
                     '=>': 'PRODUCES'}

def t_OPERATOR(t):
    r'[<>=/*+-]+'
    t.type = special_operators.get(t.value, t.type)
    return t