如何读取比 Scapy 的 rdpcap() 更快的 Pyshark 以外的 .cap 文件？

Question

我一直在寻找一种将 .cap 文件中的 802.11 数据包放入数组的方法。到目前为止，我发现：

• 斯卡皮： 这很好，文档可用，但是太慢了，当我尝试打开大小 > 40 Mb 的文件时，我一直挂着，直到它消耗了我所有的 Ram（全部 16 个演出），此时我的电脑只是块，我必须重新启动它

• Pyshark： 没有任何 Scapy 的问题，但是文档太稀缺，我找不到处理和获取 802.11 数据包属性的方法

所以我在想也许有更好的解决方案，或者也许有人对 pyshark 有一些经验？

from scapy.all import *
import pyshark
from collections import defaultdict
import sys
import math
import numpy as np
counter=0
Stats = np.zeros((14))
filename='cap.cap'

a = rdpcap(filename)
print len(a)
for p in a:
        pkt = p.payload
        #Management packets
        if p.haslayer(Dot11) and p.type == 0:
                ipcounter = ipcounter +1
                Stats[p.subtype] = Stats[p.subtype] + 1

print Stats

注意：当我以 10 兆字节的输入（例如）启动程序时，它需要大约 20 秒左右，但它确实有效，我想知道为什么会这样，为什么它与 pyshark 如此不同以及是什么样的它在做计算吗？

Answer 1

您可以修补名为 utils.py 的 scapy 文件，使其不会将所有内容加载到内存中

改变：

def read_all(self,count=-1):
    """return a list of all packets in the pcap file
    """
    res=[]
    while count != 0:
        count -= 1
        p = self.read_packet()
        if p is None:
            break
        res.append(p)
    return res

到

def read_all(self,count=-1):
    """return an iterable of all packets in the pcap file
    """
    while count != 0:
        count -= 1
        p = self.read_packet()
        if p is None:
            break
        yield p
    return

功劳归于： http://comments.gmane.org/gmane.comp.security.scapy.general/4462

但是链接现在失效了

Answer 2

with PcapReader('filename.pcapng') as pcap_reader:
    for pkt in pcap_reader:
        #do something with the packet
        ...

这很好用！

PcapReader 就像 xrange() 到 range()

Answer 3

如果 pyshark 适合你的需要，你可以像这样使用它：

cap = pyshark.FileCapture('/tmp/mycap.cap')
for packet in cap:
    my_layer = packet.layer_name # or packet['layer name'] or packet[layer_index]

要查看您拥有哪些可用层以及它们具有哪些属性，只需打印它们（或使用 layer/packet.pretty_print()）或使用自动完成或查看 packet.layer._all_fields。 例如 packet.udp.srcport。

文档中缺少什么？

请注意，您还可以将过滤器作为参数应用到 FileCapture 实例（显示过滤器或 BPF 过滤器，请参阅 docs）

Answer 4

感谢@KimiNewt 和 花了一些时间研究 pyshark 源代码后，我对它的具体细节有了一些了解

PS : 使用 pyShark 打开一个 450 MB 的文件根本不需要任何时间，而且数据访问相当容易。目前我没有看到使用它的任何缺点，但随着我的项目的推进，我会尽量让这篇文章保持最新。

这是一个使用pyShark解析802.11数据包的示例代码，希望对从事类似项目的人有所帮助。

import pyshark

#Opening the cap file
filename='data-cap-01.cap'
cap = pyshark.FileCapture(filename)

#Getting a list of all fields of this packet on the level of this specific layer
#looking somthing like this :['fc_frag', 'fc_type_subtype',..., 'fc_type']
print cap[0]['WLAN']._field_names

#Getting the value of a specific field, the packet type in
#this case (Control, Management or Data ) which will be represented by an Integer (0,1,2)
print cap[0]['WLAN'].get_field_value('fc_type')

我稍后会研究 WEP 和 WPA 的数据包解密并获取第 3 层标头，所以我也可能会添加。

Answer 5

你试过dpkt吗？它有一个不错的阅读器界面，似乎可以延迟加载数据包（我已经用它加载了 100MB+ pcap 文件，没问题）。

示例：

from dpkt.pcap import Reader

with open(...) as f:
    for pkt in Reader(f):
        ...

Answer 6

Scapy 会将所有数据包加载到您的内存中并创建一个 packetList 实例。 我认为您的问题有两种解决方案。

1. 使用过滤器捕获数据包。在我的工作中，我从未捕获超过 2MB 的数据包，因为我只在一个无线信道上捕获过一次。
2. 将庞大的数据包文件分成几个较小的部分。然后对付他们。

希望对你有帮助。