查看 IP 地址是否在子网列表中的有效方法

Question

我基本上有一个 2 列的表，其中一个 IP 子网作为键/索引，一个描述作为值。例如：

10.20.30.0/30  "Subnet 1"

我需要编写一个 REST 服务，该服务将返回包含给定 IP 地址的子网描述，或者如果 IP 地址匹配多个，则返回子网列表。

起初，我以为我会简单地使用后端数据库 (Postgres) 并扩展所有子网，因为我没有处理大量数据。所以上面的例子会扩展为：

10.20.30.0  "Subnet 1"
10.20.30.1  "Subnet 1"
10.20.30.2  "Subnet 1"
10.20.30.3  "Subnet 1"

这在存储方面效率低下，尤其是当子网变大时。但是，它既快速又简单，并且现有数据库具有非常有效的方法来查找 IP 地址作为索引，所以这是我的第一个想法。我最关心的是查找效率，因为我的数据库中将有大约 100 万个条目。

但是，我发现我对 IPv6 也有要求，而且涉及的子网非常庞大。这意味着我不再有扩展所有子网的选项。

在开始编写自定义 REST API 之前，我想知道使用子网作为索引检查 IP 地址的 POSTGRES 查询是否有效。检查不是微不足道的，我不知道如何在内部进行以保持效率。

有人知道 POSTGRES 如何检查子网索引表中的 IP 地址吗？

编辑：这是我正在谈论的在 POSTGRES 中查找 IP 地址的示例（使用在线 https://extendsclass.com/postgresql-online.html）

drop table ipdesc;
create table ipdesc (addr inet, category varchar(20));
insert into ipdesc (addr, category) values ('10.10.10.0/24', 'tens');
insert into ipdesc (addr, category) values ('20.20.20.0/24', 'twenties');
insert into ipdesc (addr, category) values ('50.50.50.0/24', 'fifties');
insert into ipdesc (addr, category) values ('50.50.50.0/30', 'sub-fifty');
select * from ipdesc where inet '50.50.50.1' << addr;

结果：

addr           category
----           --------
50.50.50.0/24  fifties
50.50.50.0/30  sub-fifty

谢谢！

Answer 1

由于 CIDR 是连续的，您可以添加两列：范围内的最小和最大 IP 地址，并在它们上创建索引。我写了一个gist here，如果你想看看整个事情并玩它。

基本上：

create table mod_ipdesc
as select addr, category,
  inet(host(network(addr))) as amin,
  inet(host(broadcast(addr))) as amax
from ipdesc;

create index mod_ipdesc_addr on mod_ipdesc(amin, amax);

然后：

select *
from test a
left outer join mod_ipdesc b
on (a.ip between b.amin and b.amax);

根据您的表定义，加上一个带有几个ip 值的测试表（如inet），我们得到：

ip	addr	category	amin	amax
168.192.1.10	null	null	null	null
10.10.10.20	10.10.10.0/24	tens	10.10.10.0	10.10.10.255
50.50.50.1	50.50.50.0/24	fifties	50.50.50.0	50.50.50.255
50.50.50.1	50.50.50.0/30	sub-fifty	50.50.50.0	50.50.50.3
50.50.50.10	50.50.50.0/24	fifties	50.50.50.0	50.50.50.255

更新：查询计划比较

对于这样的小表，我最初无法判断的一件事是是否使用了索引（在小表上，没有使用索引，但这可能只是 Postgresql 确定扫描更快）。 [是的]（适用于较大的表格）。

第二个问题是：Postgres 是否具有某种魔力，可以让它使用inet 列上的索引来进行<< 类型查询？ [NO]（至少据我所知，使用 Postgres 9.6）。

我创建了another gist，每个表格包含 1000 个条目。

您可以看到使用了amin、amax 索引（下面的第二个计划），但没有直接在addr 上使用索引（下面的第一个计划：全表扫描）：

explain
select * from test a
left outer join ipdesc b
on (b.addr >> a.ip);

|查询计划 | | :------------------------------------------------ --------------------- | |嵌套循环左连接（成本=0.00..20442.10 行=6800 宽度=68）| |加入过滤器：(b.addr >> a.ip) | | -> 测试 a 上的 Seq Scan（成本=0.00..23.60 行=1360 宽度=32）| | -> 实现（成本=0.00..21.00 行=1000 宽度=36）| | -> ipdesc b 上的 Seq Scan（成本=0.00..16.00 行=1000 宽度=36）|

explain
select * from test a
left outer join mod_ipdesc b
on (a.ip between b.amin and b.amax);

|查询计划 | | :------------------------------------------------ ------------------------------------------------------ | |嵌套循环左连接（成本=0.28..8001.60 行=151111 宽度=132）| | -> 测试 a 上的 Seq Scan（成本=0.00..23.60 行=1360 宽度=32）| | -> 在 mod_ipdesc b 上使用 mod_ipdesc_addr 进行索引扫描（成本=0.28..4.76 行=111 宽度=100）| |指数条件：((a.ip >= amin) AND (a.ip