【问题标题】:MySQL: Optimizing JOINs to find non-matching recordsMySQL:优化 JOIN 以查找不匹配的记录
【发布时间】:2015-12-11 17:17:24
【问题描述】:

我们有一个主机管理系统(我们称之为 CMDB)和一个 DNS 系统,每个系统都使用不同的表。前者与后者同步,但手动更改会导致它们不同步。我想制作一个查询以在 CMDB 中查找在 DNS 中没有匹配条目的别名(没有条目,或者名称/IP 不同)

由于表很大,而且该查询需要频繁运行,优化查询非常重要。

表格如下所示:

cmdb_record: id, ipaddr
cmdb_alias: record_id, host_alias
dns_entry: name, ipaddr

cmdb_alias.record_id 是 cmdb_record.id 的外键,因此一个 IP 地址可以有多个别名。

到目前为止,这是我想出的:

SELECT cmdb_alias.host_alias, cmdb_record.ipaddr
FROM cmdb_record
INNER JOIN cmdb_alias ON cmdb_alias.record_id = cmdb_record.id
LEFT JOIN dns_entry
    ON dns_entry.ipaddr = cmdb_record.ipaddr
    AND dns_entry.name = cmdb_alias.host_alias
WHERE dns_entry.ipaddr IS NULL OR dns_entry.name IS NULL

这似乎有效,但需要很长时间才能运行。有一个更好的方法吗?谢谢!

编辑:根据要求,这里是 SHOW CREATE TABLEs。有很多额外的字段不是特别相关,但为了完整性而包含在内。

Create Table: CREATE TABLE `cmdb_record` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `ip_version` int(11) DEFAULT NULL,
  `ipaddr` varchar(40) DEFAULT NULL,
  `ipaddr_numeric` decimal(40,0) DEFAULT NULL,
  `block_id` int(11) NOT NULL,
  `record_commented` tinyint(1) NOT NULL,
  `mod_time` datetime NOT NULL,
  `deleted` tinyint(1) NOT NULL,
  `deleted_date` datetime DEFAULT NULL,
  `record_owner` varchar(50) DEFAULT NULL,
  PRIMARY KEY (`id`),
  UNIQUE KEY `ipaddr` (`ipaddr`),
  KEY `cmdb_record_fe30f0f7` (`ipaddr`),
  KEY `cmdb_record_2b8b575` (`ipaddr_numeric`),
  KEY `cmdb_record_45897ef2` (`block_id`),
  CONSTRAINT `block_id_refs_id_ed6ed320` FOREIGN KEY (`block_id`) REFERENCES `cmdb_block` (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=104427 DEFAULT CHARSET=latin1

Create Table: CREATE TABLE `cmdb_alias` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `host_alias` varchar(255) COLLATE latin1_general_cs NOT NULL,
  `record_id` int(11) NOT NULL,
  `record_order` int(11) NOT NULL,
  PRIMARY KEY (`id`),
  KEY `cmdb_alias_fcffc3bb` (`record_id`),
  KEY `alias_lookup` (`host_alias`),
  CONSTRAINT `record_id_refs_id_8169fc71` FOREIGN KEY (`record_id`) REFERENCES `cmdb_record` (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=155433 DEFAULT CHARSET=latin1 COLLATE=latin1_general_cs

Create Table: CREATE TABLE `dns_entry` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `rec_grp_id` varchar(40) NOT NULL,
  `parent_id` int(11) NOT NULL,
  `domain_id` int(11) DEFAULT NULL,
  `name` varchar(255) DEFAULT NULL,
  `type` varchar(6) DEFAULT NULL,
  `ipaddr` varchar(255) DEFAULT NULL,
  `ttl` int(11) DEFAULT NULL,
  `prio` int(11) DEFAULT NULL,
  `status` varchar(20) NOT NULL,
  `op` varchar(20) NOT NULL,
  `mod_time` datetime NOT NULL,
  `whodunit` varchar(50) NOT NULL,
  `comments` longtext NOT NULL,
  PRIMARY KEY (`id`),
  KEY `dns_entry_a2431ea` (`domain_id`),
  KEY `dns_entry_52094d6e` (`name`)
) ENGINE=InnoDB AUTO_INCREMENT=49437 DEFAULT CHARSET=utf8

【问题讨论】:

  • SHOW CREATE TABLE -- 需要查看数据类型、索引、引擎等
  • 感谢建议,补充一下
  • 我看到 ipaddr 有 3 种不同的数据类型;最令人费解的是DECIMAL(40,0)
  • deleted 不需要;你可以改为测试deleted_date IS NOT NULL
  • 您在处理 IPv6 吗? 39 个字符是限制。您会查看 IP 地址的“范围”吗?如果是这样,11.22.33.44 就没有用了。

标签: mysql join left-join query-optimization inner-join


【解决方案1】:

如果您还没有,请在 dns_entry(ipaddr, name) 上创建一个索引。这可能就是您加快查询速度所需要的全部内容。

【讨论】:

  • name 上已有索引,但 ipaddr 上没有索引。向 ipaddr 添加索引极大地加快了该查询的速度,使其可以在重复情况下使用。谢谢!
猜你喜欢
  • 1970-01-01
  • 2011-02-14
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多