【发布时间】:2020-09-03 03:50:59
【问题描述】:
我对 Superset 如何处理查询有点困惑。 根据我的低估 Superset 仅存储元数据,即用户、仪表板定义。它不会存储查询数据?
如果我的查询返回假设 10GB 的数据,超集如何处理它?
【问题讨论】:
我对 Superset 如何处理查询有点困惑。 根据我的低估 Superset 仅存储元数据,即用户、仪表板定义。它不会存储查询数据?
如果我的查询返回假设 10GB 的数据,超集如何处理它?
【问题讨论】:
我认为这应该通过额外的缓存数据库来解决。
“Superset 使用 Flask-Cache 进行缓存。出于安全原因,Superset 自己的元数据 (CACHE_CONFIG) 和 从连接的数据源查询的图表数据 (DATA_CACHE_CONFIG) 有两个单独的缓存配置。但是, SQL Lab 的查询结果存储在另一个名为 RESULTS_BACKEND 的后端。 配置缓存就像在您的 superset_config.py 中提供符合 Flask-Cache 规范的 CACHE_CONFIG 和 DATA_CACHE_CONFIG 一样简单。”
https://superset.apache.org/docs/installation/cache
通过 celery 使用异步查询时,您的查询可能会非常庞大 https://superset.apache.org/docs/installation/async-queries-celery
【讨论】:
Superset 具有存储配置信息的元数据库。例如仪表板和图表配置信息。
来自探索数据库的实际响应永远不会被保存。
关于结果的大小限制请参考 https://superset.incubator.apache.org/faq.html#how-big-can-my-data-source-be
【讨论】: