如何将文件解析为标记向量？

Question

所以我想做的是创建一个 c++ 函数，它读取文件并将该文件的文本转换为标记向量。

现在我拥有的文本文件需要许多分隔符，包括句点、引号等，所以我认为 strtok 比 sstream 更好地读取标记。但是，当遍历我的向量时，我注意到其中没有任何内容。代码出现空白。我究竟做错了什么？

请帮帮我！

我的代码在这里：

void getTokenFreq(string inFile_name) {
ifstream inFile;
int n = 0;
char *token;
vector<string> result(1);

inFile.open(inFile_name);

if (inFile.fail()){
    cout << "Fail to open the file tmp.txt.\n";
    exit(-1);
}

while(inFile.good()) {
    getline(inFile, s);
    char *str = new char[s.length() + 1];
    strcpy(str, s.c_str());
    token = strtok(str, " ’—\",;.:?“”");
    while (token != NULL) {
        result.push_back();
        token = strtok (NULL, " ’—\",;.:?“”");
        n++;
    }
}

for(int i = 0; i < n; i++) {
    cout << result[i];
}

inFile.close();

}

Answer 1

你很好，除了一些错误：

第一：

vector<string> result(1);

为什么一开始会有一个空的std::string？这会破坏你的向量，结果将是："", "one", "two", "three", ...。 将其更改为：

vector<string> result;

第二：

result.push_back();

你不能在没有参数的情况下调用push_back。用你程序的逻辑，你应该push_backtoken，所以把它改成：

result.push_back(token);

第三：

您不会释放分配的内存。内部while之后，调用：

delete [] str;

std::string s 在您的函数中也不可见，但我认为它是全局的。