每次对涉及的表进行更改时,我都需要调用REFRESH MATERIALIZED VIEW,对吗?
是的,PostgreSQL 本身永远不会自动调用它,你需要通过某种方式来调用它。
我该怎么做呢?
实现这一目标的方法很多。在给出一些示例之前,请记住 REFRESH MATERIALIZED VIEW command 确实会在 AccessExclusive 模式下阻止视图,因此当它工作时,您甚至不能在桌子上执行 SELECT。
不过,如果您使用的是 9.4 或更高版本,您可以为其指定 CONCURRENTLY 选项:
REFRESH MATERIALIZED VIEW CONCURRENTLY my_mv;
这将获得一个 ExclusiveLock,并且不会阻塞 SELECT 查询,但可能会产生更大的开销(取决于更改的数据量,如果更改的行数很少,那么它可能会更快)。虽然你仍然不能同时运行两个REFRESH 命令。
手动刷新
这是一个可以考虑的选项。特别是在数据加载或批量更新的情况下(例如,在很长一段时间后只加载大量信息/数据的系统),通常会在最后进行操作来修改或处理数据,因此您可以简单地包含 @987654334 @操作在最后吧。
安排刷新操作
第一个也是广泛使用的选项是使用一些调度系统来调用刷新,例如,您可以在 cron 作业中配置类似:
*/30 * * * * psql -d your_database -c "REFRESH MATERIALIZED VIEW CONCURRENTLY my_mv"
然后您的物化视图将每 30 分钟刷新一次。
注意事项
这个选项非常好,特别是CONCURRENTLY 选项,但前提是您可以接受并非始终 100% 更新的数据。请记住,即使有或没有CONCURRENTLY,REFRESH 命令确实需要运行整个查询,因此在考虑安排REFRESH 的时间之前,您必须花时间运行内部查询。
使用触发器刷新
另一种选择是在触发函数中调用REFRESH MATERIALIZED VIEW,如下所示:
CREATE OR REPLACE FUNCTION tg_refresh_my_mv()
RETURNS trigger LANGUAGE plpgsql AS $$
BEGIN
REFRESH MATERIALIZED VIEW CONCURRENTLY my_mv;
RETURN NULL;
END;
$$;
然后,在涉及视图更改的任何表中,您可以:
CREATE TRIGGER tg_refresh_my_mv AFTER INSERT OR UPDATE OR DELETE
ON table_name
FOR EACH STATEMENT EXECUTE PROCEDURE tg_refresh_my_mv();
注意事项
它在性能和并发方面存在一些关键缺陷:
- 任何 INSERT/UPDATE/DELETE 操作都必须执行查询(如果您考虑 MV,这可能会很慢);
- 即使使用
CONCURRENTLY,一个REFRESH 仍会阻塞另一个,因此相关表上的任何INSERT/UPDATE/DELETE 都将被序列化。
我认为这是一个好主意的唯一情况是,如果更改真的很少。
使用 LISTEN/NOTIFY 刷新
前一个选项的问题在于它是同步的,并且在每个操作中都会产生很大的开销。为了改善这种情况,您可以像以前一样使用触发器,但这只会调用NOTIFY operation:
CREATE OR REPLACE FUNCTION tg_refresh_my_mv()
RETURNS trigger LANGUAGE plpgsql AS $$
BEGIN
NOTIFY refresh_mv, 'my_mv';
RETURN NULL;
END;
$$;
然后您可以构建一个保持连接并使用LISTEN operation 来确定调用REFRESH 的应用程序。一个可以用来测试的好项目是pgsidekick,在这个项目中你可以使用shell脚本来做LISTEN,所以你可以将REFRESH安排为:
pglisten --listen=refresh_mv --print0 | xargs -0 -n1 -I? psql -d your_database -c "REFRESH MATERIALIZED VIEW CONCURRENTLY ?;"
或使用pglater(也在pgsidekick 内部)确保您不会经常致电REFRESH。例如,您可以使用以下触发器使其成为REFRESH,但在 1 分钟(60 秒)内:
CREATE OR REPLACE FUNCTION tg_refresh_my_mv()
RETURNS trigger LANGUAGE plpgsql AS $$
BEGIN
NOTIFY refresh_mv, '60 REFRESH MATERIALIZED VIEW CONCURRENLTY my_mv';
RETURN NULL;
END;
$$;
所以它不会在 60 秒内调用REFRESH,而且如果你在 60 秒内多次NOTIFY,REFRESH 只会被触发一次。
注意事项
作为 cron 选项,这个选项也只有在你可以裸露一些陈旧数据的情况下才有用,但这样做的好处是只有在真正需要时才调用 REFRESH,因此你的开销更少,而且数据更接近需要时更新。
OBS:我还没有真正尝试过代码和示例,所以如果有人发现错误、拼写错误或尝试过并且有效(或无效),请告诉我。