我有一个文本文件 (~10GB)，格式如下：
data1<TAB>data2<TAB>data3<TAB>data4<NEWLINE>
我想扫描它并仅在data2 上进行处理。在 C++ 中提取data2 的最佳（最快）方法是什么。
编辑：添加新行
【问题讨论】：
dataN 部分有多长？是固定的还是可变的？
标签： c++
逐行读取文件。对于每一行，在选项卡上拆分。这将为您留下一个包含字段的数组，允许您使用第二个字段（data2）。
【讨论】：
这听起来像是 shell 实用程序等更高级别工具的工作：
cut -f2 # from stdin
cut -f2 <my_file # from file
不过，你也可以用 C++ 做到这一点：
void parse(std::istream& in)
{
std::string word;
while( in ) {
std::cin >> word; // throwaway 1
std::cin >> word; // data2
process(word);
std::cin >> word >> word; // throwaway 3 and 4
}
}
// ...
parse(std::cin);
std::ifstream file("my_file");
parse(file);
【讨论】：
一次读取一行文件。从那里解析选项卡非常简单。你可以使用strtok() 之类的东西或类似的例程。
【讨论】：
好吧，打开一个文件流（它应该能够处理 10gig 文件），然后跳转到第一个选项卡之后，即 '\t'，读取您的数据，然后跳到下一个换行符并重复。
#include <fstream>
#include <string>
int main(){
std::fstream fin("your_file.txt");
while(fin){
std::string data2;
char sink = '\0';
// skip to first tab
fin.ignore(1024,'\t');
fin >> data2;
// do stuff with data2
// skip to next line
fin.ignore(1024,'\n');
}
}
【讨论】：
getline 也必须遍历所有这些字符。 strtok 也是如此，所以我猜没有。
sink 永远不会是 '\t' 或 '\n'。
由于文件相当大，您可以考虑使用一种技术，让您的 I/O 与您的处理重叠。在回复评论时，您提到您正在使用 linux。如果您使用的是内核 2.6 或更高版本，您可能会考虑使用 Linux 异步 I/O (AIO)。具体来说，您将使用aio_read 将一些读取请求排队，然后使用aio_suspend 等待一个（或多个）请求结束。随着请求完成，您将使用普通 char* 扫描缓冲区以定位您感兴趣的数据。对于您找到的每条数据，您可以在此时创建一个 std::string （尽管避免复制可能是有益的）和处理它。一旦您扫描了一个块，您将重新排队以从文件中读取另一个块。您继续这样做，直到您处理完文件中的每个块。
此方法的代码将比逐行读取文件更复杂，但可能要快得多。
【讨论】：
while (getline(std::cin, my_string)) ... 很慢（我也没有调查过 - 很奇怪，my_string 应该只重新分配几次，这是最明显的性能风险）。无论如何，aio_read 读取一个二进制块，更类似于my_stream.read()...不是我拥有或听说过性能投诉的功能。在这些块读取之后，程序员必须做额外的工作来跟踪行/第二个字段，处理第二个字段本身可能不完整的部分行读取等。无论如何这不是火箭科学，但内存映射要容易得多。跨度>
您可以按照其他人的建议使用 iostream。另一种方法是简单地使用 fscanf。例如：
#include <stdio.h>
...
FILE* fp = fopen(path_to_file, "r");
char[256] data;
while(fscanf(fp, "%*s<tab>%s<tab>%*s<tab>%*s", data))
{
do what you want with your data
}
【讨论】：
%s之外的星星？使用 %*s 会禁止分配。缺点是%s 停在第一个空白处，所以如果数据中有空白，这将无法直接工作。您可以使用%100*[^\t] 来抑制data1，并使用%100[^\t] 来捕获data2 等，但长度容易出错。