【问题标题】:NSL KDD Features from Raw Live Packets?来自原始实时数据包的 NSL KDD 功能?
【发布时间】:2014-04-25 09:11:25
【问题描述】:

我想使用 pcap 和 wincap 提取原始数据。由于我将针对使用 NSLKDD 数据集训练的神经网络对其进行测试,因此我想知道如何从原始数据中获取这 41 个属性?.. 或者即使不可能获得 src_bytes、dst host_same_srv_rate 等特征,来自 pcap 的原始实时捕获数据包的 diff_srv_rate、count、dst_host_serror_rate、error_fragment?

【问题讨论】:

标签: java data-mining pcap


【解决方案1】:

如果有人想尝试使用 KDD '99 的特征,尽管数据集的名声不好,我创建了一个名为 kdd99extractor 的工具来从实时流量或 .pcap 文件中提取 KDD 特征的子集。

此工具是作为一个大学项目的一部分创建的。我还没有找到 KDD '99 功能的详细文档,因此与原始 KDD 相比,结果值可能有点不同。自述文件中提到了一些使用的资源。实施也不完整。例如,没有实现处理有效负载的内容特征。

在我的github repository 中提供。

【讨论】:

    【解决方案2】:

    1999 年 KDD 杯数据存在缺陷,不应再使用

    即使这个“清理”版本 (NSL KDD) 也不是现实

    此外,他们所做的许多“清理工作”并不明智。真实数据重复,这些记录的频率很重要。通过删除重复项,您偏向您的数据对更罕见的观察。您不能“仅仅因为”就盲目地这样做,或者更糟糕的是:减少数据集的大小。

    然而最大的问题仍然存在:

    KDD99 无论如何都不是现实

    即使在 1999 年也是不现实的,但自那时以来,互联网已经发生了很大变化。

    将此数据集用于机器学习是不合理的。其中的攻击最好通过简单的数据包检查防火墙规则来检测。这些攻击是众所周知的,并且在现代路由器上的许多情况下应该可以使用适当的检测器 - 高效,具有 100% 的检测率和 0% 的误报。它们无处不在,以至于自 1998 年左右以来,这些攻击几乎不再存在

    如果您想要真正的攻击,请寻找 SQL 注入和类似的方法。但是这些不会出现在 pcap 文件中,但是 KDDCup'99 特征是从这个文件中提取出来的大部分未记录的方式......

    停止使用此数据集。

    说真的,这是无用的数据。有标签、大、经常使用,但无用

    【讨论】:

      【解决方案3】:

      看来我回复晚了。但是,正如其他人已经回答的那样,KDD99 数据集已经过时了。

      我不知道 NSL-KDD 数据集的用处。但是,有几件事:

      • 从网络流量中获取信息时,最好的办法是获取统计信息(基于内容的信息通常是加密的)。您可以做的是创建自己的数据集来描述您想要视为“正常”的行为。然后,训练神经网络以检测与“正常”行为的偏差。
      • 请注意,即使是“正常”行为的定义也会因网络而异,并且会不时发生变化。

      你可以看看这个工作,我参与了,除了获取原始 KDD 的统计特征外,还从真实的网络环境中获取了额外的特征。

      该软件正在申请中,可免费用于学术目的!这里有两个出版物链接:

      1. http://link.springer.com/chapter/10.1007/978-94-007-6818-5_30
      2. http://www.iaeng.org/publication/WCECS2012/WCECS2012_pp30-35.pdf

      谢谢!

      【讨论】:

        猜你喜欢
        • 1970-01-01
        • 1970-01-01
        • 2012-01-18
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 2015-04-27
        • 1970-01-01
        相关资源
        最近更新 更多