使用 psycopg2 的 Python 循环中的性能下降

Question

我使用的是 Python 3.6，我的 table1 包含相当大量的数据，我只需要包含在区域（表“区域”的）中的 10%。我认为首先创建一个视图并通过它解析而不是完整的 table1 可以大大提高性能，但相反我看到在第 200 次迭代左右，速度急剧下降到每秒一次迭代（虽然起初它是连续的屏幕上的数字流）。这是代码：

import psycopg2

conn = psycopg2.connect("dbname=db_name user=postgres")
cur = conn.cursor()
cur.execute("create view temp as select st_setsrid(the_geom::geometry,2154), table1.gid from tout.area, public.table1 where (st_contains(area.geom,st_setsrid(table1.the_geom::geometry,2154)));")
cur.execute("select count(*) from temp")
nbtotal = cur.fetchone()[0]
print(nbtotal)
for i in range(nbtotal):
    print(i+1, " sur ", nbtotal)
    cur.execute ("insert into tout.table2 (geom) select st_setsrid FROM temp order by gid limit 1 offset "+str(i)+ ";")
    conn.commit()
cur.execute("drop view temp;")
conn.commit()

关于为什么会发生这种情况以及如何解决它的任何想法？在此之前，我尝试不创建视图（因此进行预选），并且循环在数千次迭代后减慢（我理解这是很正常的），但与那种节奏相去甚远。一种解决方法是加载所有数据，然后过滤结果并将其写入新表中。但这看起来不是一个合适的长期解决方案。

谢谢

Answer 1

您是否尝试过一次完成所有操作？：

cur.execute ('''
    insert into tout.table2 (geom)
    select st_setsrid(the_geom::geometry, 2154)
    from
        tout.area
        inner join
        public.table1 on
            st_contains(area.geom, st_setsrid(table1.the_geom::geometry, 2154))
''')

Answer 2

事实上，问题似乎来自 PostgreSQL 中视图的存在方式。创建物化视图似乎解决了我的问题。如果有人有解释，那将是受欢迎的。

如果它对任何人都有帮助，这里是我的代码的新版本：

import os, psycopg2

conn = psycopg2.connect("dbname=db_name user=postgres")
cur = conn.cursor()
cur.execute("create materialized view temp as select st_setsrid(the_geom::geometry,2154), table1.gid from tout.area, public.table1 where (st_contains(area.geom,st_setsrid(table1.the_geom::geometry,2154))); select count(*) from temp")
nbtotal = cur.fetchone()[0]
print(nbtotal)
for i in range(nbtotal):
    print(i+1, " sur ", nbtotal)
    cur.execute ("insert into tout.table2 (geom) select st_setsrid FROM temp order by gid limit 1 offset "+str(i)+ ";")
cur.execute("drop materialized view temp;")
conn.commit()