【问题标题】:Algorithm for non-contiguous netmask match非连续网络掩码匹配的算法
【发布时间】:2011-05-30 02:27:26
【问题描述】:

我必须编写一个 非常非常快 算法来将 IP 地址与组列表匹配,其中每个组都使用 192.168.0.0/252.255.0.255 之类的符号定义。如您所见,位掩码即使在中间也可以包含零,因此传统的“最长前缀匹配”算法将不起作用。如果一个 IP 匹配两个组,它将被分配到网络掩码中包含最多 1 的组。

我没有处理很多条目(比如说 1-2 MB),但它确实必须很快(当然我买不起线性搜索)。

你有什么建议吗?谢谢大家。

更新:我在 http://www.cse.usf.edu/~ligatti/papers/grouper-conf.pdf 发现了一些非常有趣的东西,但对于我的 utopic 用例来说,它仍然太占用内存

【问题讨论】:

  • 这毫无意义 - 将您的网络掩码转换为常规类型,从最具体到最不具体对它们进行排序,以传统方式匹配它们。
  • 很抱歉,您的 评论没有意义。网络掩码 255.255.0.255 不能转换为“常规类型”,例如,如果您有 255 个网络,其中每个网络中的地址首先分配给特定类型的主机(例如,所有网络服务器是 0.1,所以我想将主机 192.168.0.1、192.168.1.1、192.168.2.1、...)分组。
  • 顺便说一句,即使我可以将网络掩码转换为传统格式,您提出的方法也非常慢,因为它是 O(N),并且有更好的方法(例如二进制搜索、基数树、 ...)。
  • 但在这种情况下,您不是在网络掩码上匹配,而是在 IP 上匹配,不是吗?另外,我在哪里说你不能使用二分搜索或基数树?
  • 在这种情况下,我 DO 匹配网络掩码。我不明白您所说的“而是在ip上”是什么意思。在我的示例中,我想进行如下匹配: (IP & 255.255.0.255) == 192.168.0.1 即 AFAIK,匹配网络掩码,因为它涉及网络掩码。关于您的算法建议,您说“从最具体到最不具体对它们进行排序”,但是如果您使用像基数树这样的算法(插入的顺序无关紧要)或二进制搜索(简单地排序不会做诀窍),所以我不明白你为什么这么说。

标签: data-structures network-programming real-time packet performance


【解决方案1】:

简单的答案是让你的钻头适合你的树。让你的树尽可能茂密(实际上很短)。

更彻底的答案:

由于它们的长度相同,因此它们的顺序无关紧要 让我们打电话 0.0.0.0/255.255.0.255 A 0.0.0.0/255.255.255.0 B 传入 0.0.111.0
octet 1 2 3 4 只是为了让我们有正确的顺序

因为我很懒,所以我会用八位字节来做。 要制作最茂密的树,您需要检查 octet 3 或 4,因为您的第一个测试 3 较低将具有任意优先级。

所以这会查看值,并检查右侧分支。右侧分支是另一个节点,它检查八位字节,然后向下移动左侧分支,到下一个检查八位字节 2 的节点,这检查左侧(八位字节 4)并得到 -1(通过 NULL),右侧和得到 -1(通过 NULL),所以它返回 A(我们称之为枚举类型)。

所以八位字节的顺序变成了 3 1 2 4。

通常您希望对位检查进行排序,以便早期级别进行某种检查。在这种情况下,我们将 4 推到最后,因为如果三个命中(为零),则对八位字节 4 的检查是一种浪费,不需要进行。但是无论第一次检查的结果如何,都需要完成1和2。

在更大的问题上,会有一些节点没有检查,无论包含的位的值如何,都将它们发送到相同的左右分支。

构建不佳的有效树可能采用 3 4 1 2 的排序,因此如果第一次检查通过(0 而不是 111),第二次检查是浪费,因为我们已经属于 B 组,无论八位字节的值如何4.

祝你好运。

【讨论】:

    【解决方案2】:

    您构建一棵二叉树,单独检查位。您以一种为您提供“最茂密的树”的形式订购位检查。您有一个后序遍历,因此它会在退出之前检查完整深度,从而返回最长的命中。

    伪代码

    nodeCheck(bitVector, index){//  bitvector is ordering of IP address bits for bushy tree
    if myVal=-2 (return -1); //mismatched bit encountered No point continuing.
    lVal,Rval=-1;
    if (Left !=NULL  && bitvector[index]==0) lVal=Left.nodeCheck(bitvector, index+1);
    if (Right !=NULL  && bitvector[index]==1) rVal=Right.nodeCheck(bitvector, index+1);
    if (lVal>rVal) return lVal;  // higher numbers have >= number of 1's in netmask.
    if (rVal >-1) return rVal;
    return myVal;  //the group that getting this far would place you in, -1 if none.
    

    }

    当然为了速度你想跳过 OO 因素,但概念是一样的..
    逻辑有点不靠谱,但思路不错。

    但是考虑到你有 radixTree,我不想陷入太深。 后序遍历只是让你抓住最长的匹配而不会太奇怪。

    【讨论】:

    • 非常感谢您的回复。可能我不太了解您的算法,但是我应该如何订购位检查?我的意思是,假设我有两个条目,例如 0.0.0.0/255.255.0.255 和 0.0.0.0/255.255.255.0。再次感谢。
    【解决方案3】:

    如果您知道最初将处理多少个 IP 地址,我会说使用哈希映射结构。对于此映射的键,将 IP 转换为整数类型的结构。哈希映射,假设一个好的哈希函数(没有冲突),会给你 O(1) 插入和 O(1) 查找。

    如果您不知道您将拥有多少个 IP,请考虑使用 Fibonacci Heap(我认为在插入/删除/的所有树结构中具有最佳时间复杂度查找)。

    您可以使用的另一种结构是Radix Sort。

    您对算法必须花费多长时间有任何具体要求吗? “真的,真的,真的很快”有点含糊。

    【讨论】:

    • 嗨,首先,非常感谢您的完整回答。一些注意事项: 1) 不幸的是,我买不起哈希表,因为我无法假设用户的输入是什么(它可以是 /0.0.0.1 之类的东西,如果“展开”)。 2)关于复杂性,我需要查找 O(logN),其中 N 是用户插入的条目数。然后,我已经保留了一个缓存(哈希表),其中包含查找期间使用的最后 X 个地址(这样,当我第二次查找 IP 时,我得到 O(1),这在我的典型用例中经常发生)。
    • 3) 我不需要快速插入和在线插入(数据结构中的插入是在我的软件模块启动时进行的,无法更新),我不需要删除。 4)关于您提出的数据结构,它们看起来很有趣,但考虑到这不是“精确”查找(即我可以有 192.168.0.0/255.0. 0.255 和 192.168.0.0/255.255.0.255,并且 IP 192.168.0.0 必须匹配第二个条目)。谢谢,圣诞快乐!
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2010-12-31
    • 2015-02-24
    • 2014-10-26
    • 1970-01-01
    • 2013-11-15
    • 1970-01-01
    • 2016-09-12
    相关资源
    最近更新 更多