您可以索引 PCAP 文件而不将其全部加载到内存中吗？

Question

我必须查看相当大的 PCAP，大约 40GB。我现在正在做的是使用 PCAP++ 一次解析一个 PCAP 并处理其中的数据。该数据被放入缓冲区以供查看。为了节省内存，当您继续通过 PCAP 时，我会丢弃旧数据。这使我一次只能使用大约 150MB。但是，如果用户想返回并查看太远的数据，他们不能，因为它已被丢弃。

如果用户想回头看，有什么方法可以查看 PCAP 文件并转到存储数据的数据包并重新处理数据？似乎如果我想获取某些数据包，我将不得不重新加载文件并再次查看每一个数据部分，或者将 pcap 文件拆分成大量的小块。

Answer 1

所以我想通了，简短的回答是否定的。 PCAP++ 不支持任何可以对 pcap 文件进行索引或模拟索引的功能。我切换回 libpcap，（这也应该在带有 winpcap 的 Windows 中工作，但我还没有测试过），以便使用不同的库来帮助理清需要做的事情。要正确执行此操作，您需要使用指向 pcap 文件中关键数据包（或所有数据包，取决于您想要什么）的文件指针。以下是它的工作原理：

#ifdef _MSC_VER
    pcap_t *pcap = pcap_open_offline((pcapPath.string()).c_str(), errbuf);
#else
    pcap_t *pcap = pcap_open_offline(pcapPath.c_str(), errbuf);
#endif

//-----------------------------
//... General Packet setup ...
//-----------------------------

vector<fpos_t*> pcapIndexer;
while(/*Get Next Packet*/){

    //Parse the packet and get required flag
    //to know if it is a critical packet

    if(/*Check some condition from the data*/){
        fpos_t* position;
#ifdef _MSC_VER
        pcap_fgetpos(pcap, position);
#else
        FILE* f = pcap_file(pcap);
        fgetpos(f, position);
#endif
        pcapIndexer.push_back(position);
    }
}
    

从上面的代码中，您将遍历每个数据包，并根据数据包中的数据，将该文件指针添加到文件指针向量中。然后一旦你需要加载一个数据包，你创建一个新的 pcap_t 指针并使用它：

#ifdef _MSC_VER
    pcap_fsetpos(pcap, pcapIndexer[x]);
#else
    FILE* f = pcap_file(pcap);
    fsetpos(f, pcapIndexer[x]);
#endif

然后您可以从那时起正常阅读。请注意，您必须遍历整个 pcap 文件才能填写此文件指针向量，但是如果您使用多线程，您可以使用早期数据包中的一些数据，而 pcap 文件的其余部分正在通读并添加到向量中。这允许您加载选定数量的数据，然后能够来回跳转以从 pcap 文件的其他位置获取数据。我希望这可以帮助遇到这种情况的其他人。