在 MySQL 中验证从一个表到另一个表的字段

Question

问题：

我有一张名为 imported_cities

的大约 5000 行 表

我有一张名为 postal_codes 的大约 800 000 行 表，其中包含邮政编码城市

我需要根据城市名称及其省份根据邮政编码表中的城市验证imported_cities 中的每个不同城市。请参阅下面的表格结构。

如果它们完全匹配（是的，完全匹配。其余城市是手动验证的）我必须更新imported_city上的列和 将 city from imports_cities 和 city from postal_codes（并排）输入名为 imported_cities_equiv的第三个表格 p>

我尝试过的： 向表中添加索引并在下面进行查询。 这需要永远...... :(

explain SELECT DISTINCT ic.destinationCity, pc.city FROM (imported_cities ic, postalcodes pc)
WHERE LOWER(ic.destinationCity) = LOWER(pc.city) 

结果

id select_type table type possible_keys key key_len ref rows Extra
1 SIMPLE ip index NULL  company_city 478 NULL 4221 Using index; Using temporary 
1 SIMPLE pc index NULL city_prov 160 NULL 765407 Using where; Using index; Using join buffer (Block...

--

-- 表postalcodes的表结构

CREATE TABLE IF NOT EXISTS `postalcodes` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `code` varchar(11) NOT NULL,
  `city` varchar(50) NOT NULL,
  `province` varchar(50) NOT NULL,
  `provinceISO` varchar(2) NOT NULL,
  `latitude` decimal(17,13) NOT NULL,
  `longitude` decimal(17,13) NOT NULL,
  PRIMARY KEY (`id`),
  KEY `code` (`code`),
  KEY `city_prov` (`city`,`provinceISO`)

--

-- 表imported_cities的表结构

CREATE TABLE IF NOT EXISTS `imported_cities` (
  `id` int(11) unsigned NOT NULL AUTO_INCREMENT,
  `companyName` varchar(30) CHARACTER SET utf8 NOT NULL,
  `destinationCity` varchar(128) CHARACTER SET utf8 NOT NULL,
  `destinationProvince` varchar(20) CHARACTER SET utf8 NOT NULL,
  `equivCity` varchar(128) CHARACTER SET utf8 DEFAULT NULL,
  `minAmount` decimal(6,2) NOT NULL
  PRIMARY KEY (`id`),
  KEY `company_city` (`companyName`,`destinationCity`)
) ENGINE=InnoDB  DEFAULT CHARSET=utf8 COLLATE=utf8_unicode_ci     AUTO_INCREMENT=7933 ;

--

-- 表imported_cities_equiv的表结构

CREATE TABLE IF NOT EXISTS `imported_cities_equiv` (
  `id` int(11) unsigned NOT NULL AUTO_INCREMENT,
  `imported_city` varchar(128) CHARACTER SET utf8 NOT NULL,
  `pc_city` varchar(128) CHARACTER SET utf8 NOT NULL,
  `province` varchar(20) CHARACTER SET utf8 NOT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB  DEFAULT CHARSET=utf8 COLLATE=utf8_unicode_ci AUTO_INCREMENT=149 ;

感谢任何帮助或建议。谢谢。

Answer 1

您要获取您的信息的查询是：

SELECT ip.*, (pc.city is not null) as exact match
FROM imported_prices ip left join
     postalcodes pc
     on LOWER(ip.destinationCity) = LOWER(pc.city)  and
        lower(ip.province) = lower(pc.province);

但是，这会产生非常糟糕的性能。摆脱 lower() 会有所帮助：

SELECT ip.*, (pc.city is not null) as exact match
FROM imported_prices ip left join
     postalcodes pc
     on(ip.destinationCity) =(pc.city)  and
       (ip.province) = (pc.province);

因为这样您就可以在postalcodes(city, province) 上添加索引。

如果您无法使用删除lower()，则更改表以添加新列并将小写值放入这些列中。然后在新列上建立索引并在连接中使用它们。

Answer 2

感谢大家为我指明正确的方向。

根据您的建议进行了一些更改：

• 在destinationCity 和destinationProvince 列的imported_cities 表中添加了索引
• 在城市和省 ISO 列的邮政编码表中添加了索引
• JOIN 子句只有一侧大写，因为字段 ic.destinationCity 已经是大写了
• 按省份限制查询 WHERE 以获得性能

最终的SQL是：

SELECT DISTINCT pc.city, pc.provinceISO
FROM  postalcodes pc
    LEFT JOIN imported_cities ic
     ON upper(pc.city) = ic.destinationCity AND
     pc.provinceISO = ic.destinationProvince
     WHERE ic.destinationProvince = 'QC';

然后解释

id  select_type table   type    possible_keys   key key_len ref rows    Extra
1   SIMPLE  pc  ref province    province    8   const   278115  Using index condition; Using temporary
1   SIMPLE  ip  ref destinationCity,destinationProvince destinationCity 386 func    1   Using index condition; Using where; Distinct

接下来，我现在可以在 PHP 上构建 INSERT 查询并进行一个 INSERT 查询以在第三张表中插入所有等效城市。谢谢大家。