【问题标题】:NSL KDD Features from Raw Live Packets?来自原始实时数据包的 NSL KDD 功能?
【发布时间】:2014-04-25 09:11:25
【问题描述】:
我想使用 pcap 和 wincap 提取原始数据。由于我将针对使用 NSLKDD 数据集训练的神经网络对其进行测试,因此我想知道如何从原始数据中获取这 41 个属性?.. 或者即使不可能获得 src_bytes、dst host_same_srv_rate 等特征,来自 pcap 的原始实时捕获数据包的 diff_srv_rate、count、dst_host_serror_rate、error_fragment?
【问题讨论】:
标签:
java
data-mining
pcap
【解决方案1】:
如果有人想尝试使用 KDD '99 的特征,尽管数据集的名声不好,我创建了一个名为 kdd99extractor 的工具来从实时流量或 .pcap 文件中提取 KDD 特征的子集。
此工具是作为一个大学项目的一部分创建的。我还没有找到 KDD '99 功能的详细文档,因此与原始 KDD 相比,结果值可能有点不同。自述文件中提到了一些使用的资源。实施也不完整。例如,没有实现处理有效负载的内容特征。
在我的github repository 中提供。
【解决方案2】:
1999 年 KDD 杯数据存在缺陷,不应再使用
即使这个“清理”版本 (NSL KDD) 也不是现实。
此外,他们所做的许多“清理工作”并不明智。真实数据有重复,这些记录的频率很重要。通过删除重复项,您偏向您的数据对更罕见的观察。您不能“仅仅因为”就盲目地这样做,或者更糟糕的是:减少数据集的大小。
然而最大的问题仍然存在:
KDD99 无论如何都不是现实
即使在 1999 年也是不现实的,但自那时以来,互联网已经发生了很大变化。
不将此数据集用于机器学习是不合理的。其中的攻击最好通过简单的数据包检查防火墙规则来检测。这些攻击是众所周知的,并且在现代路由器上的许多情况下应该可以使用适当的检测器 - 高效,具有 100% 的检测率和 0% 的误报。它们无处不在,以至于自 1998 年左右以来,这些攻击几乎不再存在。
如果您想要真正的攻击,请寻找 SQL 注入和类似的方法。但是这些不会出现在 pcap 文件中,但是 KDDCup'99 特征是从这个文件中提取出来的大部分未记录的方式......
停止使用此数据集。
说真的,这是无用的数据。有标签、大、经常使用,但无用。