从C中的句子中删除重复的单词

Question

我需要编写一个函数来从字符串中删除所有重复的子字符串，下面的函数做得比工作但不太正确。

输入：这是第2课的简单测试退出第2课

输出：这个针对第 2 课退出的简单测试

如您所见，函数 remove "is" 从句子中但不正确。

void RemoveDuplicates(char text[], size_t text_size, char** output)
{
    char *element;
    /* Allocate size for output. */
    *output = (char*) malloc(text_size);
    *output[0] = '\0';

    /* Split string into tokens */
    element = strtok(text, " ");
    if (element != NULL)
        strcpy(*output, element);

    while( (element = strtok(NULL, " ")) != NULL ) {
        /* Is the element already in the result string? */
        if (strstr(*output, element) == NULL) {
            strcat(*output, " " );
            strcat(*output, element );
        }
    }
}

更新的代码版本 (@Rohan)

输入：这是一个简单的测试，对于第 2 课退出很简单

输出：这是一个简单的测试，对于第 2 课退出很简单

void RemoveDuplicates(char text[], size_t text_size, char** output)
{
    char *temp = NULL;
    char *element;
    /* Allocate size for output. */
    *output = (char*) malloc(text_size);
    *output[0] = '\0';

    /* Split string into tokens */
    element = strtok(text, " ");
    if (element != NULL)
        strcpy(*output, element);

    while( (element = strtok(NULL, " ")) != NULL ) {
        /* Is the element already in the result string? */
        temp = strstr(*output, element);
        /* check for space before/after it or '\0' after it. */
        if (temp == NULL || temp[-1] == ' ' || temp[strlen(element)] == ' ' || temp[strlen(element)] == '\0'  ) {

            strcat(*output, " " );
            strcat(*output, element );
        }
    }
}

Answer 1

您需要检查element 中的单词而不是纯字符串。

你得到的是，在你的输入字符串中有 2 个"is" 一个是"This" 的一部分，而另一个是实际单词"is"。

 This is a simple test for lesson2 Quit lesson2
 --^ -^  

strstr() 找到两个字符串，并删除第二个"is"。但是您只需要找到重复的单词。

您可以通过检查找到的单词前后的空格 ' ' 来做到这一点。如果它的最后一个字在最后检查'\0'。

尝试将您的 while 循环更新为：

char temp[512] = { 0 }; //use sufficient array
while( (element = strtok(NULL, " ")) != NULL ) {
        /* Is the element already in the result string? */
        //create word
        sprintf(temp, " %s ", element);
        if(strstr(*output, temp) == NULL) {
            strcat(*output, " " );
            strcat(*output, element );
        }
    }

Answer 2

免责声明： 这不会修复您的算法，请参阅@Rohans 回答您的算法中的修复问题。

---

要修复您的代码，请执行以下操作：

*output = (char*) malloc(text_size);

...应该是：

char *output = malloc(text_size);

...并改变：

*output[0] = '\0';

...成为：

output[ 0 ] = '\0';

...不要强制分配内存块。您可以阅读更多关于此here 的信息。注意output[ 0 ] 隐含*( output + 0 )。

接下来，改变：

strcpy(*output, element);

...到：

strcpy(output, element);

...然后改变：

if (strstr(*output, element) == NULL) {
  strcat(*output, " " );
  strcat(*output, element );
}

...到：

if (strstr(output, element) == NULL) {
  strcat(output, " " );
  strcat(output, element );
}

... 请注意 output 已经是一个指针，使用 * 就像您取消引用返回字符的指针一样。 strstr 和 strcpy 要求 dest 是一个指向字符数组的指针，一个字符。

Answer 3

你可以试试这样的方法

#include <stdio.h>
#include <stdlib.h>
#include <string.h>

char test_text[] = "This is a is is simple test simple for lesson2 Quit";

int main(int argc, char* argv[])
{
  const int maxTokens = 200; // lets assume there is max 200 tokens in a sentence
  char* array[maxTokens];    // pointers to strings
  int unique_tokens = 0;     // number of unique tokens found in string

  // first tokenize the string and put it into a structure that is a bit more flexible
  char* element = strtok(test_text," ");
  for (; element != NULL; element = strtok(NULL, " "))
  {
     int foundToken = 0;
     int i;
     // do we have it from before?
     for (i = 0; i < unique_tokens && !foundToken; ++i)
     {
       if ( !strcmp(element, array[i]) )
       {
         foundToken = 1;
       }
     }

     // new token, add
     if ( !foundToken )
     {
       array[unique_tokens++] = (char*)strdup(element); // this allocates space for the element and copies it
     }
  }

  // now recreate the result without the duplicates.

  char result[256] = {0};
  int i;
  for (i = 0; i < unique_tokens; ++i)
  {
    strcat(result,array[i]);
    if ( i < unique_tokens - 1 )
    {
      strcat(result," ");
    }
  }

  puts( result );

  return 0;
}