【问题标题】:GPS table of 600000 users [closed]600000 个用户的 GPS 表 [关闭]
【发布时间】:2017-08-19 12:36:41
【问题描述】:

我正在使用mysql。我的编程语言是php。

我有 600.000 个用户,我每 10 秒通过手机的 gps 得到这些用户中的 lat 和 lon。

我对此表的一些查询:

  • 具有特定lan 和lon 的最近用户。
  • 每分钟获取每个用户的最后一个lan 和lon。

我的一些查询需要 7-14 秒,例如:

SELECT m1.*
            FROM gps m1 LEFT JOIN gps m2
             ON (m1.driver_id = m2.driver_id AND m1.id < m2.id)
            WHERE m2.id IS NULL

我觉得这张桌子太大了。

只为这张桌子使用像Cloud Bigtable 这样的第三方是个好主意吗? 有什么解决办法吗? 我们先来讨论一下 MySQL 的修复。

我的桌子:

CREATE TABLE `gps` (
  `id` int(11) NOT NULL,
  `driver_id` int(11) NOT NULL,
  `trucks_drivers_id` int(11) NOT NULL,
  `x` varchar(100) COLLATE utf8_persian_ci NOT NULL,
  `y` varchar(100) COLLATE utf8_persian_ci NOT NULL,
  `speed` varchar(100) COLLATE utf8_persian_ci NOT NULL,
  `time_stamp` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP
) ENGINE=MyISAM DEFAULT CHARSET=utf8 COLLATE=utf8_persian_ci;

我没有给这个表设置任何indexs。

【问题讨论】:

  • 请阅读本文,尤其是关于查询性能的部分。 meta.stackoverflow.com/a/271056 请edit 提供有关您的表、查询和索引的更多详细信息。是的,这是一张大桌子。太大了?
  • 更新了我的问题。
  • 请索引!请您要优化的查询!
  • 正如你所写的那样,准备更新数据并每 10 秒更新这么多记录将是比仅查询该表更大的性能问题。所以你也应该考虑到这一点。现在你的问题太宽泛了。
  • 对于性能问题,您也应该添加解释计划。

标签: php mysql sql gps query-performance


【解决方案1】:

您可以像这样找到每个驱动程序的最新阅读的id。

           SELECT MAX(id) id
             FROM gps
            GROUP BY driver_id

(driver_id, id) 上的索引将有助于该查询。然后这个查询找到每个司机的最新位置。

       SELECT a.lat, a.lon, a.driver_id
         FROM gps a
         JOIN (
                  SELECT MAX(id) id
                    FROM gps
                   GROUP BY driver_id
              ) b ON a.id = b.id

专业提示:避免SELECT * 处理性能关键的查询,尤其是来自大型表的查询。而是给出您需要的列的名称。

专业提示:较短的列速度更快,尤其是在大表中。固定长度的列更快,尤其是在大表中。不要使用varchar(100) 来存储纬度/经度值。如果这些值来自 GPS,请使用 FLOAT。如果它们来自测量或摄影测量,请使用DOUBLE。或者考虑使用MySQL Spatial Data Extensions。

【讨论】:

  • 在您的提示中,您建议使用固定长度。如果你有这种情况 varchar(100) 有没有办法检查是否使用了 char 的最大值? @o-jones 所以基本上有办法找到最好的固定长度,如果你现在不知道将使用多少。
  • SELECT MAX(LENGTH(col)) FROM tbl 将显示col 中最长的值。 SELECT COUNT(*), LENGTH(col) FROM tbl GROUP BY LENGTH(col) ORDER BY 2 DESC 将显示长度分布。但是,如果该列实际上包含数值,则这些值中的字符数无关紧要。您需要将它们放在数字列中,一般来说,对于实际包含不同数量字符的数据,您不应该使用固定的字符宽度。
【解决方案2】:

对于这个查询:

SELECT m1.*
FROM gps m1 LEFT JOIN
     gps m2
     ON m1.driver_id = m2.driver_id AND m1.id < m2.id
WHERE m2.id IS NULL;

您希望在gsp(driver_id, id) 上建立索引。你可能已经有了这个索引。

根据您的问题,您将返回 600,000 行。大部分时间可能用于返回行,而不是生成结果集。

如果您想处理 GIS 数据,请考虑使用GIS extension。切换到 NO-SQL 解决方案可以解决一些性能问题,但可能会引入其他问题。在仔细评估系统所需的全部操作之前,您不应切换。

【讨论】:

  • 选择查询从 innodb 更改为 myisam 是否会获得极大的性能优势?您需要 60 万条记录的地方
  • 不要使用 MyISAM。将 InnoDB 与 PRIMARY KEY(driver_id, id) 一起使用,以从 PK 的“集群”中获得性能提升。
猜你喜欢
  • 1970-01-01
  • 2023-04-04
  • 1970-01-01
  • 2019-10-15
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多