在铁路图的上下文中，令牌是什么意思？

Question

来自Douglas Crockford's JavaScript: The Good Parts，第 2 章语法

本章介绍了JavaScript优秀部分的语法， 快速概述语言的结构。我们将 用铁路图表示语法。

解释这些图的规则很简单：

1. 您从左侧边缘开始，然后沿着轨道到右侧边缘。
2. 您会遇到椭圆形的文字和矩形的规则或描述。
3. 任何可以按照轨道制作的序列都是合法的。
4. 任何无法通过轨道完成的序列都是非法的。
5. 每一端都有一个条形的铁路图允许在任何一对标记之间插入空格。带有两个条形图的铁路图 在每一端都不要。

本章介绍的优秀部分的语法是 比整个语言的语法简单得多。

我见过this answer on SO，它基本上重申了书中的内容。那么这里的token是什么意思呢？

Answer 1

标记是语法的基本原子单元。在典型的编程语言中，标记包括代数运算符（+、*）、语句分隔符（(、{、;）、标识符、数字和字符串值以及保留字。

“令牌”的概念在某种程度上与语法的编写和解析方式有关。一些解析方案不涉及标记化的概念（PEG 的 Packrat 解析器）。然而，在这种情况下，铁路图的使用意味着传统的 BNF（或类似 BNF）的语法，带有一组标记。

edit——实际上，看看另一个问题，那里的讨论实际上是关于令牌语法本身的——JSON 的令牌语法。我想您可以为此目的将字符集的元素视为“令牌”。无论如何，应该清楚的是，在这些情况下——数字和字符串的规则——空格不能出现在这些结构的中间。即23和2 3不一样。

除了自动分号插入的奇怪情况之外，我想不出 JavaScript 语法中不允许标记之间有空格的地方。