现在我们都知道，使用正则表达式解析 HTML 通常是不可能的，因为它会解析上下文相关的语法，而正则表达式只能解析正则语法。其他编程语言当然也是如此。
现在，最近，Rainbow.js 语法荧光笔已经发布。它的前提被描述为非常简单：
Rainbow 本身非常简单。它遍历代码块，处理正则表达式模式，并将匹配模式包装在标签中。
我认为语法突出显示本质上是一项与语言解析具有相同复杂性的任务，如果我们假设它必须既好又适用于多种语言。尽管如此，虽然该库有相当多的criticism，但无论是HackerNews discussion（作为技术倾斜讨论的示例）都没有提到使用正则表达式突出显示语法在一般情况下基本上是不可能的案例，我认为这是一个重大的、引人注目的缺陷。
现在的问题是：我缺少什么吗？特别是：
【问题讨论】：
标签： regex parsing syntax-highlighting
使用正则表达式突出显示语法是一门古老的艺术。我认为即使是 Emacs 和 vi 也是这样开始的。
我认为语法突出显示本质上是一项与语言解析具有相同复杂性的任务，[...]
没有。不同之处在于：编译器需要真正的解析，因为它需要理解完整的程序，并且还需要根据这种理解生成东西。另一方面，语法高亮不需要理解代码。它只需要了解语言的一般结构——什么是字符串文字——什么是关键字……等等。这种差异的一个副作用是：您可以突出显示语法错误的代码，但您无法解析它。
对此略有不同的方法：解析语言通常是一个两步过程：词法分析（将字节流拆分为“令牌”流）和真正的解析（将令牌流带入一些复杂的结构 - 通常是抽象语法树）。词法分析通常使用 ---- 正则表达式来完成。请参阅 flex 文档。这基本上就是一个基本的语法荧光笔需要理解的全部内容。
当然，有些极端情况是 regexp 单独无法捕捉到的。一个典型的例子是：
foo(bla, bar);
这里的foo 可能是对静态方法或实例方法或宏或其他东西的调用。但是您的正则表达式荧光笔无法推断出这一点。它只能为“通用调用”添加颜色。
所以：如果您的要求是低级别的（即没有上面的示例），这是一个 100/0% 的规则，而对于现实世界的东西通常是一个 90/10 的规则。
【讨论】：
您可以使用正则表达式作为解决方案的部分来进行语法高亮。更具体地说，作为将输入文本分块为符号的“词法分析器”的一部分。这实际上是大多数编译器/解释器的工作方式。
但是，使用正则表达式单独来做到这一点是自找麻烦。考虑在 Python 中匹配字符串的情况。 Python 允许使用单引号 ' 或双引号 " 分隔字符串。此外，它允许使用三引号 ''' 或 """ 的多行字符串（“heredoc 语法”）。
那么下面哪些部分是字符串，哪些不是？你能构造一个正确识别字符串文字str1-str6的正则表达式吗？
str1 = "hello, world!"
str2 = 'hello, world!'
str3 = "The canonical test program is 'Hello World'."
str4 = '"Why," Peter said, "That\'s ludicrous. Who would do that?"'
str5 = """The heredoc syntax is handy for cases where you don't want to escape strings. "Very convenient."
"""
str6 = """Code sample:
s1 = "hi!"
s2 = 'Hi!'
S3 = '''
- apples
- oranges
- bananas
'''
"""
“您不能（解析 HTML|处理程序）使用正则表达式，因为（HTML|编程语言）具有嵌套结构 - 它们不是常规”的论点并不完全正确 -现代正则表达式（尤其是在 Perl 中）比计算机科学意义上的严格 regular 表达式具有更强的表达能力。但仅仅因为你 can use regular expressions 并不意味着你应该。
编辑：如果您的正则表达式风格支持搜索模式中的反向引用，那么上面的字符串匹配问题并不算太糟糕。像('|"|'''|""").+?\1 这样的多行正则表达式可能会这样做。
编辑 2：有关语法高亮中极端情况的示例，只需查看 StackOverflow 对上述代码的语法高亮。
【讨论】：
('...')|("...")|('''...''')|("""...""")。 Python language reference 中描述了每种字符串的确切内容，并且看起来很简单，可以转换为正则表达式。
str2 是否意味着以 ' 结尾？
基本上没有。
您需要一个能够理解语言的解析器/标记器来挑选要突出显示的位。
Regex 不适合这样的任务。
【讨论】：
一个很好的例子是 Vim 中的语法高亮实现。它使用基于正则表达式的模式。但是，这些模式用于识别文档中的分层包含结构，而不是简单地标记输入。
您可以声明以正则表达式模式匹配开始和结束的区域（加上另一个有助于跳过中间材料的模式）。这些区域可以声明它们包含其他区域或简单模式。包含可以是递归的。 Vim 解决了所有这些问题。所以它本质上是一种上下文无关的解析形式。
这种方法可以处理具有不同嵌入级别、具有不同词法属性的语言。
例如，我有一种语言，其中基本上有两组关键字（由于正在进行的域语言嵌入）。我编写的 Vim 语法高亮规则可以正确识别上下文并对关键字进行不同的着色。请注意，这些关键字集之间存在一些重叠：相同的单词，在不同的上下文中具有不同的含义。
有关此示例，请参阅：http://www.kylheku.com/cgit/txr/tree/genman.txr。
如果您搜索语法(do，您会发现一个实例是紫色的，而另一个实例是绿色的。它们是不同的：一个是文本提取语言，另一个是嵌入式 Lisp 方言。 Vim 的语法高亮功能强大到足以处理具有不同关键字集的混合语言。 （是的，虽然这是通过网络提供的，但它实际上是一个 Vim 进程进行语法突出显示。）
或者考虑类似 shell，你可以有一个字符串文字类型的语法，比如"foo bar"，但是在里面，你可以有一个命令替换，在里面你必须递归地识别和着色 shell 语法：@987654324 @。
所以，不，您不能仅使用正则表达式标记化来进行有用、准确的语法高亮显示，但是具有分层解析的正则表达式可以做得很好。
【讨论】：