strtok() 问题：如果标记由分隔符分隔，为什么最后一个标记在分隔符和空 '\0' 之间？

Question

在下面的程序中，strtok() 在主要部分按预期工作，但我无法理解一个发现背后的原因。我读过关于strtok() 的内容：

为了确定记号的开始和结束，该函数首先从起始位置扫描不包含在分隔符中的第一个字符（它成为记号的开始）。然后从标记的这个开头开始扫描分隔符中包含的第一个字符，这成为标记的结尾。

来源：http://www.cplusplus.com/reference/cstring/strtok/

众所周知，strtok() 在每个标记的末尾放置一个\0。但是在下面的程序中，最后一个定界符是一个点（.），在该点和引号（"）之间有Toad。现在点是我程序中的分隔符，但 Toad 之后没有分隔符，甚至没有空格（这是我程序中的分隔符）。请清除由此前提引起的以下混淆：

为什么strtok() 将 Toad 视为标记，即使它不在两个分隔符之间？这是我在遇到 NULL 字符 (\0) 时读到的关于 strtok() 的内容：

一旦在对 strtok 的调用中找到 str 的终止空字符，所有后续以空指针作为第一个参数的函数调用都返回空指针。

来源：http://www.cplusplus.com/reference/cstring/strtok/

没有地方说一旦遇到空字符，就会返回指向标记开头的指针（我们甚至没有标记，因为我们没有得到标记的结尾，因为没有扫描后发现的分隔符从令牌的开头开始（即从 Toad 的“T”开始），我们只找到了一个空字符，不是分隔符）。那么为什么参数字符串的最后一个分隔符和引号之间的部分被strtok()视为标记？请解释一下。

代码：

#include <stdio.h>
#include <string.h>

int main ()
{
  char str[] =" Falcon,eagle-hawk..;buzzard,gull..pigeon sparrow,hen;owl.Toad";
  char * pch=strtok(str," ;,.-");

    while (pch != NULL)
  {
    printf ("%s\n",pch);
    pch = strtok (NULL, " ;,.-");
  }

  return 0;
}

输出：

猎鹰
老鹰
鹰
秃鹰
海鸥
鸽子
麻雀
母鸡
猫头鹰
蟾蜍

Answer 1

转到strtok() 的 POSIX 中的描述，描述说：

char *strtok(char *restrict s1, const char *restrict s2);

对strtok() 的一系列调用将s1 指向的字符串分解为一系列标记，每个标记由s2 指向的字符串中的一个字节分隔。序列中的第一个调用将s1 作为其第一个参数，然后是使用空指针作为其第一个参数的调用。 s2 指向的分隔符字符串可能因调用而异。

序列中的第一个调用在s1 指向的字符串中搜索不包含在s2 指向的当前分隔符字符串中的第一个字节。如果没有找到这样的字节，则s1 指向的字符串中没有标记，strtok() 将返回一个空指针。如果找到这样的字节，它就是第一个令牌的开始。

strtok() 函数然后从那里搜索包含在当前分隔符字符串中的字节。如果没有找到这样的字节，则当前标记将扩展到s1 指向的字符串的末尾，随后对标记的搜索将返回一个空指针。如果找到这样的字节，它会被 NUL 字符覆盖，这会终止当前令牌。 strtok() 函数保存一个指向下一个字节的指针，下一个令牌搜索将从该字节开始。

注意第三段第二句：

如果没有找到这样的字节，当前的token会延伸到s1指向的字符串的末尾，后续搜索token应该返回一个空指针。

这清楚地表明，在问题的示例中，Toad 确实是一个令牌。一种思考方式是分隔符列表始终在分隔符字符串的末尾包含 NUL '\0'。

---

诊断后，请注意strtok() 不是一个好用的函数——它不是线程安全的或可重入的。在 Windows 上，您可以改用 strtok_s()；在 Unix 上，您通常可以使用 strtok_r()。这些是更好的函数，因为它们不会在内部存储要恢复搜索的指针。

因为strtok() 不是可重入的，所以在使用strtok() 时，不能从本身使用strtok() 的函数内部调用使用strtok() 的函数。此外，任何使用strtok() 的库函数都必须明确标识为这样做，因为它不能从使用strtok() 的函数中调用。所以，使用strtok() 会让生活变得艰难。

strtok() 系列函数（以及相关的strsep()）的另一个问题是它们覆盖了分隔符；在标记器对字符串进行标记后，您无法找出分隔符是什么。这在某些应用程序中可能很重要（例如解析 shell 命令行；分隔符是管道、分号还是 & 符号（或...）很重要。所以 shell 解析器通常不使用 strtok()，尽管数量关于解析器确实使用 strtok() 的 shell 的问题。

一般来说，您应该避开普通的strtok()，由您决定strtok_r() 或strtok_s() 是否适合您的目的。

Answer 2

strtok (7.24.5.8) 的标准规范非常明确。特别是第 4 段（我添加的重点）与问题直接相关，如果我理解正确的话：

3 序列中的第一个调用在s1 指向的字符串中搜索不包含在s2 指向的当前分隔符字符串中的第一个字符。如果没有找到这样的字符，则s1 指向的字符串中没有标记，strtok 函数返回一个空指针。如果找到这样的字符，它就是第一个标记的开始。

4 strtok 函数然后从那里搜索包含在当前分隔符字符串中的字符。 如果没有找到这样的字符，则当前标记会延伸到s1指向的字符串的末尾，随后搜索标记将返回一个空指针。如果找到这样的字符，它会被一个空字符覆盖，这会终止当前标记。 strtok 函数保存一个指向下一个字符的指针，下一次搜索令牌将从该指针开始。

通话中

char *where = strtok(string_or_NULL, delimiters);

返回的标记（指向它的指针） - 如果有的话 - 从从起始位置（包括）找到的第一个非分隔符延伸到下一个分隔符（不包括），如果存在，或者结束字符串，如果不存在后面的分隔符。

链接的描述没有明确提到令牌延伸到字符串末尾的情况，与标准相反，因此在这方面它是不完整的。

Answer 3

因为 cplusplus.com 并没有告诉你整个故事。 Cppreference.com 有更好的描述。

Cplusplus.com 也没有提到 strtok 不是线程安全的，只记录了 C++ 编程语言的 strtok 函数，而 cppreference.com 确实提到了线程安全问题并记录了 strtok C 和 C++ 编程语言的功能。

Answer 4

strtok 将字符串分解为一系列标记，由给定的分隔符分隔。 分隔符仅分隔标记，不必在两侧终止它们。

Answer 5

您可能只是误读了描述吗？

一旦在调用中找到 str 的终止空字符 strtok，所有后续使用空指针调用此函数 作为第一个参数返回一个空指针。

鉴于“后续”，我将在每次调用strtok 时阅读此内容。在发现\0 的那个之后，不一定是当前那个本身。因此，该定义与行为一致（以及您对 strtok 的期望）。