如何改进试图在大型数据库中查找重复条目的 MySql 查询？

Question

我必须对大型数据库（Snort 警报）进行查询以查找重复条目。但是，我想出了下面的查询，但是执行起来需要很多时间！

SELECT sid, cid, timestamp, sig_name, inet_ntoa(ip_src), layer4_sport,
       inet_ntoa(ip_dst), layer4_dport
  FROM DB
 WHERE (ip_dst IN
        (SELECT ip_dst FROM DB GROUP BY ip_dst HAVING count(*) > 1)
   AND timestamp IN
        (SELECT timestamp FROM DB GROUP BY timestamp HAVING count(*) > 1)
   AND layer4_dport IN
        (SELECT layer4_dport FROM DB GROUP BY layer4_dport HAVING count(*)>1 ))

上述查询试图查找具有相同timestamp 和layer4_dport 的警报ip_dst 如果他们来了不止一次。我希望它清楚！

任何提高效率的提示或技巧？

Answer 1

我已经格式化了您的查询...如果我们将其分解，您似乎正在应用几个函数inet_ntoa。如果您没有迫切需要，请摆脱它们（尤其是当它们看桌子时）。

其次，如果我们查看您的查询，您正在对 DB 进行 3 次完整扫描以获取各种计数，然后至少在您的顶级选择中进行范围扫描。

SELECT sid, cid, timestamp, sig_name, inet_ntoa(ip_src), layer4_sport, inet_ntoa(ip_dst), layer4_dport 
  FROM DB 
 WHERE ( ip_dst IN ( SELECT ip_dst 
                       FROM DB 
                      GROUP BY ip_dst 
                     HAVING count(*) > 1 ) 
   AND timestamp IN ( SELECT timestamp 
                        FROM DB 
                       GROUP BY timestamp 
                      HAVING count(*) > 1 ) 
   AND layer4_dport IN ( SELECT layer4_dport 
                           FROM DB 
                          GROUP BY layer4_dport 
                         HAVING count(*) > 1 ) 
        ) 

通过不将子查询链接回主表，您假设 ip_dst、timestamp 和 layer4_dport 在整个表中每个都是唯一的，然后尝试查找其中不太可能出现的 3 个独立唯一值恰好在同一行中有重复。

我怀疑你想要做的事情如下：

SELECT a.sid, a.cid, a.ip_dst, a.timestamp, a.sig_name, a.layer4_sport, a.layer4_dport 
  FROM DB a 
  JOIN ( SELECT timestamp, layer4_dport 
           FROM DB 
          GROUP BY timestamp, layer4_dport
         HAVING count(*) > 1 ) b
    ON a.timestamp = b.timestamp
   AND a.layer4_dport = b.layer4_dport

根据您的问题，这将为您找到有超过 1 个相同的 timestamp 和 layer4_dport 组合的所有行。

如果您想在ip_dst 级别查找所有重复项，则需要将其添加到您的子查询中。

Answer 2

下面的链接可以帮助你。

Find duplicate records in MySQL

希望这篇文章可以帮助您优化查询。