大表上的复杂查询

Question

我有一个大的用户表 (3M)，结构：

age  (int) 
country (FK) 
city (text) 
gender (text) 
active (bool)

我的目标是搜索给定年龄区域、性别、城市和国家/地区的 15 位用户（偏爱活跃用户）。

由于表格的大小，我遇到了两个问题：

• 即使有索引，也需要很长时间（几百 毫秒）

• 每次运行查询时，结果都必须不同。目前我执行 使用 LIMIT 30 查询并从中获取随机 15 个结果，但是 30 个结果总是一样的。整张桌子太大而不能做 洗牌。

有克服类似问题的常用解决方案吗？

数据库服务器是 MySQL，在 Django 中实现。我也可以访问 Redis 缓存。

Answer 1

您可以使用不同的限制和偏移量进行查询。 From the docs

您只需要跟踪您所在的位置。

# My example search criteria.
age = 21
gender = 'M'
city = 'Redmond'
country = 'US'

offset = 0
while True:
    next_fifteen = User.objects.filter(age=age,
                                       gender=gender,
                                       city=city,
                                       country=country)[offset:offset+15]
    if not next_fifteen.exists():
        break
    <do whatever>
    offset += 15

这将创建一个使用 OFFSET 45 LIMIT 15 的 SQL 语句

您可以看到做类似事情的网站。比如google搜索结果。转到第二页或第三页，您会注意到一个 url 参数&start=60。并不是说我知道 google 的运作方式，但基本原理是一样的。