按分隔符拆分字符串未正确拆分

Question

我有一个函数必须通过某些分隔符将从文件读取的行溢出到单词中（分隔符检查由另一个函数进行）但我的代码通过分隔符列表中未包含的分隔符拆分字符串 [一个数组分隔符]：

void getIdentifiers() {
    FILE *filePointer;
    char fileName[FILENAME_MAX], line[256], identifier[100];

    char delimiter[] = {
        '[', ']', '(', ')', ';', '!', '=', '>', '<', '|', '*', '/', ':',
        '&', '%', ' ', '\n', '\t', '"', '{', '}', ',', '-', '+', '#' };

    int cnt = 0, inWord = 0, isString = 0, isSingleLineComment = 0, isMultiComment = 0, isChar = 0;

    printf("\n Enter filename:\n");
    flush(stdin);

    if (!fgets(fileName, FILENAME_MAX, stdin)) {
        printf("\nError reading filename");
        return;
    }

    if (fileName[strlen(fileName) - 2] != 'c' || fileName[strlen(fileName) - 3] != '.') {
        printf("\nInvalid source file name\n");
        return;
    }

    fileName[strlen(fileName) - 1] = '\0';

    filePointer = fopen(fileName, "r");

    if (filePointer == NULL) {
        printf("\nError opening file");
        return;
    }

    while (fgets(line, sizeof(line) / sizeof(line[0]), filePointer) != NULL) {
        if (ferror(filePointer)) {
            printf("\nError reading the file");
            return;
        }

        int i = 0, j = 0;

        while (line[i]) {
            //multi line comment check
            if (line[i] == '/' && line[i + 1] == '*')
                isMultiComment = 1;

            //single line comment
            if (line[i] == '/' && line[i + 1] == '/')
                isSingleLineComment = 1;

            //ending multi line comment
            if (line[i] == '*' && line[i + 1] == '/' && isMultiComment == 1) 
                isMultiComment = 0;

            //checking for string
            if (line[i] == '"' && isString == 0)
                isString = 1;
            else if (line[i] == '"' && isString == 1)
                isString = 0;

            //check if assignment char is in quote
            if (line[i] == '\'' && isChar == 0) 
                isChar = 1;
            else if (line[i] == '\'' && isChar == 1)
                isChar = 0;

            //splitting textline into words
            if (inWord==0) {
                if (!isDelimiter(delimiter, line[i])) {
                    inWord = 1;
                    identifier[j] = line[i];
                    j++;
                } else {
                    i++;
                    continue;
                }
            } else {
                //ending word
                if (isDelimiter(delimiter, line[i])) {
                    inWord = 0;
                    identifier[j] = 0;
                    j = 0;

                    // identifier checking
                    if (!isString && !isMultiComment && !isSingleLineComment 
                        && !isChar) {
                        cnt++;
                        printf("\n%s", identifier);
                    }
                } else {
                    identifier[j] = line[i];
                    j++;
                }
            }
            i++;
        }
        isSingleLineComment = 0;
    }
    printf("\n Number of identifiers is  %d", cnt);
}

int isDelimiter(char *delim, char c) {
    int i = 0;
    while (delim[i]) {
        if (delim[i] == c)
            return 1;
        i++;
    }
    return 0;
}

我尝试读取的文件包含：

Turbo direct injection

预期的输出是：

Turbo
direct
injection

但我得到了：

Turbo
di
ect
inject
o

Answer 1

您的输入文件末尾是否有换行符？

{编辑添加}

您的程序假设每个单词后面都有一个分隔符，因为该单词仅在 isDelimiter(delimiter, line[i]) 为真时打印（inWord 不为 0），所以如果文件包含完全 Turbo直接注入（最后一个字符是'n'）注入不显示

Answer 2

主要问题是 delimiter 字符数组不是正确的 C 字符串：您必须在初始化程序的末尾添加一个显式的空字节：

    char delimiter[] = { '[', ']', '(', ')', ';', '!', '=', '>', '<',
        '|', '*', '/', ':', '&', '%', ' ', '\n', '\t', '"', '{', '}',
        ',', '-', '+', '#', '\0' };

或者，您可以使用字符串常量：

    char delimiter[] = "[]();!=><|*/:&% \n\t\"{},-+#";

您的代码中还有很多问题：

• flush(stdin) 具有未定义的行为。如果您的意思是丢弃先前调用 scanf() 的待处理输入，请使用显式循环。

• 您应该从fileName 中删除尾随换行符，但不要假设它存在。以这一衬里为例：

  fileName(strcspn(fileName, "\n")] = '\0';
  

• 您应该在从末尾访问字符之前验证字符串长度。按照编码，如果用户在换行符之前输入单个字符，则您有未定义的行为。首先去掉换行符然后使用这个：

  size_t len = strlen(fileName);
  if (len < 3 || fileName[len - 2] != '.' || fileName[len - 1] != 'c') {
      printf("\nInvalid source file name\n");
      return;
  }
  

• 不需要sizeof(line) / sizeof(line[0])，char 在 C 中定义为 1。

• 如果 fgets() 返回一个有效指针，则对 ferror(filePointer) 的测试毫无意义。

1234563 /p>

• 如果匹配//，出于同样的原因，您必须退出循环。

• 如果您在字符串中，您应该将\ 识别为转义字符并接受\" 作为字符串的一部分。此外，您不应扫描字符串中的 cmets。

• 字符常量的注释相同。

• 如果文件包含很长的标识符（> 99 个字符），包括在 cmets 或字符串中，您可能会出现缓冲区溢出。

• 您忘记关闭源文件

Answer 3

char **mystrtok(const char *str, const char *del, int alowempty)
{
  char **result = NULL;
  const char *end = str;
  size_t size = 0;
  int extrachar;

  while(*end)
  {
    if((extrachar = !!strchr(del, *end)) || !*(end + 1))
    {
        /* add temp variable and malloc / realloc checks */
        /* free allocated memory on error */
        if(!(!alowempty && !(end - str)))
        {
            extrachar = !extrachar * !*(end + 1);
            result = realloc(result, (++size + 1) * sizeof(*result));
            result[size] = NULL;
            result[size -1] = malloc(end - str + 1 + extrachar);
            strncpy(result[size -1], str, end - str + extrachar);
            result[size -1][end - str + extrachar] = 0;
        }
        str = end + 1;
    }
    end++;
  }
  return result;
}