在 python 中从 postgresql 获取数据的更快方法

Question

重要列数据库：

script_id	date_time
1	2019-01-11 09:35:00
1	2019-01-11 09:40:00
1	2019-01-11 09:45:00
2	2019-01-11 09:35:00
2	2019-01-11 09:40:00
2	2019-01-11 09:45:00

像这样我有 900K+ 行（19 年 1 月 1 日至 21 年 6 月 30 日）

我只有 200 个唯一的 script_id，所以每个 date_time 也会重复 200 次。

全列数据库：

现在，我尝试执行以下代码

df = pd.DataFrame(db_fetchquery("SELECT script_id,date_time,open,high,low,close,volume FROM data_five_minutes WHERE date_time >= '2019-01-11 09:35:00' and date_time <= '2019-01-11 09:50:00' ORDER BY id"))
df.columns = ['script_id','date_time','open','high','low','close','volume']

print(df)

这给了我大约 143 秒的结果

如何更快地获取数据（至少在 30 秒内）

Answer 1

对于这个查询：

SELECT script_id,date_time,open,high,low,close,volume
FROM data_five_minutes
WHERE date_time >= '2019-01-11 09:35:00' and date_time <= '2019-01-11 09:50:00'
ORDER BY id

您希望在data_five_minutes(date_time) 上建立索引。在数据库中，您使用以下方法创建索引：

create index idx_data_five_minutes_date_tinme on data_five_minutes(date_time);

Answer 2

有几种方法可以优化数据库查询

1. 在date_time 列上添加索引（如果您要先查询最新数据，请使用 desc）
2. 发送explain analyse 查询以检查需要很长时间才能回复的内容。
3. 如果您的表包含大量数据，请使用table partitions。它将根据您的分区列在小分区中创建划分表。每个查询将不得不读取更少的数据
4. 尽可能使用原始查询。当您的查询结果具有大量返回的行时，ORM 会较慢，因为 ORM 需要将每一列映射到模型。