它如何为每个词位生成多个标记？

Question

我刚开始阅读《龙之书》，我发现有些陈述难以理解。

它说：“词法分析器为源程序中的每个词位生成标记序列”。你能帮我理解上面的行吗？我知道标记和词位，但是为每个词位生成多个标记意味着什么......AFAIK LEXEME 本身会损害单个标记。

完整报价如下：

“作为编译器的第一阶段，词法分析器的主要任务是读取源程序的输入字符，将它们组合成词位，并为源程序中的每个词位生成一个标记序列作为输出。 "

以上引用来自第3章..第3.1节标题“词法分析器的角色”页码为109

Answer 1

你是对的。标记通常与词位一一对应。尝试将该句子重新解析为“......并在源程序中为词位生成一系列标记作为输出。”正如我所读到的，这就是作者想要表达的意思。