【问题标题】:find data missing on monthly base查找每月缺失的数据
【发布时间】:2021-07-21 08:27:23
【问题描述】:

有了这个数据表“表”:

和一个众所周知的newID值(1,2,3)的表“ID”

我想找出缺少某些 newID 值的所有月份。结果应该只包括至少有 1 个newId 的月份。

这是上面列出的数据的预期结果:

我怎样才能完成这项任务?

表架构:(小提琴)http://sqlfiddle.com/#!9/72af42

CREATE TABLE `ID`(
    Id int unsigned not null primary key
);
INSERT INTO `ID` (Id) VALUES (1),(2),(3);

CREATE TABLE `table`(
    recId int unsigned not null auto_increment primary key,
    Data DateTime not null,
    newID int not null
);

INSERT INTO `table` (`Data`,`newID`) VALUES
('2017-12-06',1),
('2017-12-06',3),
('2017-11-16',1),
('2017-11-16',2),
('2017-11-16',3),
('2017-10-05',2),
('2017-10-05',3),
('2017-10-03',2),
('2017-10-03',3),
('2017-08-16',1),
('2017-08-16',2),
('2017-08-16',3),
('2017-05-05',1),
('2017-05-05',2),
('2017-05-05',3);

【问题讨论】:

  • table 和 ID 是表格。您想从table.Data 获取月份-年份,其中table.newID 在ID.newID 中不存在。那是对的吗?如果是这样,您的示例结果不符合这些条件。
  • 不更确切地说,我想知道哪个 table.Data 月份缺少一些 ID.newID 值。对于 table.Data 中的每个月,所有 ID.newID 值都应该存在。我想知道他们丢失了哪些月份以及丢失了哪个 ID.newID。
  • 我现在明白了。您希望找到丢失的月份,但您试图提取 table 上根本不存在的数据。你可能只用 SQL 就可以解决这个问题,但它会变得太复杂,用 PHP 会更容易解决(假设这是在 LAMP 环境下)。
  • 这在 SQL 中很容易实现,无需在 PHP 或其他客户端脚本中编写脚本。

标签: mysql search find where-clause


【解决方案1】:

因为您只需要具有相关Month 的缺失ID 记录,这是一个简单的非相关子查询场景。

在 SQL 中,可以使用 WHERE 子句中的 NOT EXISTS 表达式对 Non-Correlated 子查询进行建模,或者您可以使用 LEFT OUTER JOIN 并仅包含 NULL 连接表中的列的结果,因为这将指示未找到匹配项的记录

这个查询只是因为您想要评估日期的MONTH 组件而不是明确的日期值这一事实而变得复杂。 SQL为此提供了所有必要的工具,我们甚至可以格式化您想要的输出:

SELECT DATE_FORMAT(CAST(CONCAT(m.year,'-',m.month,'-01') as DateTime), '%b-%y') as Data, i.Id as newId
FROM (
  SELECT YEAR(Data) AS Year, MONTH(Data) AS month
  FROM `table`
  GROUP BY YEAR(Data), MONTH(Data)
) m
CROSS JOIN `ID` i
LEFT OUTER JOIN `table` t ON YEAR(t.Data) = m.year AND MONTH(t.Data) = m.month AND t.newId = i.Id
WHERE t.Data IS NULL
ORDER BY m.Year DESC, m.month DESC

看看这个小提琴:http://sqlfiddle.com/#!9/72af42/2


在WHERE NOT EXISTS 和LEFT OUTER JOIN 之间选择可能会稍微影响性能,但影响取决于您的查询、RDBMS 和可用索引。我个人首先使用 JOIN 语法,因为 IMO 更易于维护,但您可以自行决定。

至少在 MS SQL 中有很多讨论 NOT EXISTS 应该比 JOIN 快,但是如果性能是这个特定查询的问题,你应该考虑存储 year 和 month 列作为持久值,以便它们可以被索引并减少函数评估。因为它将评估更少的查找。

作为比较,这是等效的 WHERE NOT EXISTS 查询:http://sqlfiddle.com/#!9/72af42/5

SELECT DATE_FORMAT(CAST(CONCAT(m.year,'-',m.month,'-01') as DateTime), '%b-%y') as Data, i.Id as newId
FROM (
  SELECT YEAR(Data) AS Year, MONTH(Data) AS month
  FROM `table`
  GROUP BY YEAR(Data), MONTH(Data)
) m
CROSS JOIN `ID` i
WHERE NOT EXISTS (
  SELECT * 
  FROM `table` t 
  WHERE YEAR(t.Data) = m.year 
    AND MONTH(t.Data) = m.month 
    AND t.newId = i.Id
)
ORDER BY m.Year DESC, m.month DESC

如何使用持久值进行优化?

如果我们预先评估YEAR()和MONTH()并将结果直接存储在表中,那么查询速度会提高,但我们也可以添加索引来增强它。

在走到这一步之前考虑所有的优点和缺点......

  • 您真的需要这种级别的优化吗?
  • 查询的执行频率是多少?
  • 您能否更改应用程序逻辑以使用更合适的WHERE 子句来限制数据范围?

物化视图

对此的一种解决方案是创建和管理物化视图。这是一种 DW 技术,可以有效地让您定义一个视图,但让它定期执行并存储到它自己的表空间中。

物化视图不会优化您的查询,但它允许您执行一次复杂且长时间运行的查询,从而可以像普通表一样直接查询结果,而无需重新评估列表达式。

您的数据和查询类型看起来很适合物化视图,因为它正在查询变化率为零或非常低的历史数据,只更新新行,我们可能不关心当前月结果。在这种情况下,如果您最终多次运行查询,并且结果或多或少保持不变,那么为什么不将查询作为一个进程运行,比如说每个月并将结果存储在一个专门构建的表中,那么您的应用程序可以频繁查询该表并获得闪电般的快速结果。

MySQL 不支持物化视图,但您可以在应用程序逻辑中复制上述概念,其他一些 RDBMS 提供此 OOTB,这是应考虑的概念。

计算列

您可以只将额外的列添加到您的表中并从用户/应用程序逻辑中维护这些列,但这不是很可靠,除非您信任您的应用程序开发人员并且应用程序是唯一将更新此表的进程.

在这种情况下,计算列非常适合可靠性,但如果您可以将值持久保存到列存储中,它们只会帮助我们提高性能。 (计算列的默认状态是在执行时计算表达式,这对当前查询几乎没有好处)

这也是 MySQL 会让你失望的地方,许多其他 RDBMS 提供了更简单的方法来做到这一点,you need MySQL v5.7 for this to work

ALTER TABLE `table` ADD `year` GENERATED ALWAYS AS (YEAR(Data)) STORED;
ALTER TABLE `table` ADD `month` GENERATED ALWAYS AS (MONTH(Data)) STORED;

触发器

您的另一个选择是添加列,然后使用触发器来维护值,MySQL 并不容易,但它可以工作

  1. 将列添加到表中:

    ALTER TABLE `table` ADD (`year` int NULL);
    ALTER TABLE `table` ADD (`month` int NULL);
    
  2. 创建触发器来管理这些列中的值,以便用户无法覆盖它们:

    DELIMITER $$
    
    CREATE TRIGGER persist_index_values_insert
      BEFORE INSERT ON `table` FOR EACH ROW
    BEGIN
      SET new.year= YEAR(new.Data);
      SET new.month = MONTH(NEW.Data);
    END$$
    
    CREATE TRIGGER persist_index_values_update
    BEFORE UPDATE ON `table` FOR EACH ROW
    BEGIN
      SET NEW.year = YEAR(NEW.Data);
      SET NEW.month = MONTH(NEW.Data);
    END$$
    

    分隔符;

  3. 更简单的查询:

     SELECT DATE_FORMAT(CAST(CONCAT(m.year,'-',m.month,'-01') as DateTime), '%b-%y') as Data, i.Id as newId
     FROM (
       SELECT `year`, `month`
       FROM `table`
       GROUP BY `year`, `month`
     ) m
     CROSS JOIN `ID` i
     LEFT OUTER JOIN `table` t ON t.year = m.year AND t.month = m.month AND t.newId = i.Id
     WHERE t.Data IS NULL
     ORDER BY m.Year DESC, m.month DESC
    
  4. 现在可以根据需要应用索引,您应该咨询您的查询执行计划以获得指导,但我建议您至少需要一个用于 year 和 month 和 newId 的索引:

      CREATE INDEX IX_TABLE_YEAR_MONTH_NEWID ON `table` (`year`,`month`,'newId');
    

【讨论】:

  • 它非常完美,运行起来非常棒。唯一的问题是我有很多数据并且mysql超时所以我需要在第一个SELECT中放置一个“过滤器”来限制查询管理的数据
  • 是的,SQL 101 总是在生产数据集中包含 WHERE 或 TOP 限制标准。但是您可以将 Year 和 Month(或它们的组合)查找持久化到 table 架构中,并在这些列上应用索引以提高性能。一个持久的计算列在这里会有所帮助:stackoverflow.com/a/48099455/1690217
  • 对不起,我不明白如何将年和月存入 talbe 以及如何调整上面的代码,你能帮帮我吗?
  • @LucaFolin 你有什么版本的 MySQL?
  • @LucaFolin 我添加了一些关于优化的细节,但这确实是一个超出本文范围的一般概念。
猜你喜欢
  • 2022-09-27
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2017-01-31
  • 2021-06-11
  • 2017-01-24
  • 2014-09-08
  • 1970-01-01
相关资源
最近更新 更多