MySQL 表保存统计数据的最佳结构

Question

我需要一种解决方案，让我能够跟踪 Web 应用程序 (PHP5 / MySQL5.7) 中的每一次点击（以及点击的链接和日期）。最简单的解决方案显然是一个简单的表格：

CREATE TABLE stats_data (
    id INT NOT NULL PRIMARY KEY AUTO_INCREMENT,
    log_date DATETIME NOT NULL DEFAULT NOW(),
    link VARCHAR(512) NOT NULL
)

我不知道这会如何提高性能，因为预计每天的点击量很可能超过 10000。

1. 这是一个可靠的解决方案吗？比如说，在存储 5 个月的数据之后？
2. 哪些优化可以让这个解决方案表现得更好？
3. 如果不是，有什么更好的解决方法？

Answer 1

这主要取决于您的用例。你想在这个数据集上运行什么查询？

我肯定会推荐一些面向文档的数据库（如 Redis 或 MongoDb），但正如我所说，这取决于您将如何使用您的数据。

如果您想坚持使用 MySQL，我有一些关于如何使该解决方案更可靠的建议。

1. 每次点击时不要将每次点击都保存到数据库中，而是将其存储到缓存中（例如 memcached）并每小时保存一次到 MySQL 中
2. 为每个月制作自己的表，以免在一个大表中进行搜索。并每月备份该表。

Answer 2

我想您可以将链接放在单独的表中，并将您的表引用作为外键。应该可以更快地检查特定链接的点击次数。

根据您希望数据的准确性，您还可以将其聚合到另一个表中，可能是某种夜间运行的操作（预定的 sp 应该可以工作）。 这样，您可以拥有一个表格，例如，您可以在其中查看链接在特定时间间隔内被点击的次数，一天或一小时或任何适合您需要的时间。我在工作中使用了这种方法，我们在负载非常重的应用程序中存储有关 Web 服务调用的统计数据，并且它一直运行良好，没有任何性能问题。

Answer 3

您可以采取一些措施来确保性能：

• 索引 log_date 列这样在按日期范围搜索结果时查询可以运行得更快 (https://dev.mysql.com/doc/refman/5.5/en/column-indexes.html)
• 通过log_date 列(https://dev.mysql.com/doc/refman/5.6/en/partitioning-types.html)创建分区

通过按日期列对数据进行分区，您可以按小时/天/周/月/年“分离”数据......任何你想要的......

例子：

CREATE TABLE members (
firstname VARCHAR(25) NOT NULL,
lastname VARCHAR(25) NOT NULL,
username VARCHAR(16) NOT NULL,
email VARCHAR(35),
joined DATE NOT NULL
)
PARTITION BY RANGE( YEAR(joined) ) (
  PARTITION p0 VALUES LESS THAN (1960),
  PARTITION p1 VALUES LESS THAN (1970),
  PARTITION p2 VALUES LESS THAN (1980),
  PARTITION p3 VALUES LESS THAN (1990),
  PARTITION p4 VALUES LESS THAN MAXVALUE
)

因此，假设您按周分隔数据，当您搜索日期等于“2016-08-25”的日志时，该记录将仅搜索日期介于“2016-08-22”和'2016-08-28'.

希望对你有帮助。