【问题标题】:Apache SuperSet ArchitectureApache 超集架构
【发布时间】:2020-09-03 03:50:59
【问题描述】:

我对 Superset 如何处理查询有点困惑。 根据我的低估 Superset 仅存储元数据,即用户、仪表板定义。它不会存储查询数据?

如果我的查询返回假设 10GB 的数据,超集如何处理它?

【问题讨论】:

    标签: database apache-superset


    【解决方案1】:

    我认为这应该通过额外的缓存数据库来解决。

    “Superset 使用 Flask-Cache 进行缓存。出于安全原因,Superset 自己的元数据 (CACHE_CONFIG) 和 从连接的数据源查询的图表数据 (DATA_CACHE_CONFIG) 有两个单独的缓存配置。但是, SQL Lab 的查询结果存储在另一个名为 RESULTS_BACKEND 的后端。 配置缓存就像在您的 superset_config.py 中提供符合 Flask-Cache 规范的 CACHE_CONFIG 和 DATA_CACHE_CONFIG 一样简单。”

    https://superset.apache.org/docs/installation/cache

    通过 celery 使用异步查询时,您的查询可能会非常庞大 https://superset.apache.org/docs/installation/async-queries-celery

    【讨论】:

      【解决方案2】:

      Superset 具有存储配置信息的元数据库。例如仪表板和图表配置信息。

      来自探索数据库的实际响应永远不会被保存。

      关于结果的大小限制请参考 https://superset.incubator.apache.org/faq.html#how-big-can-my-data-source-be

      【讨论】:

        猜你喜欢
        • 2015-08-26
        • 2017-09-22
        • 1970-01-01
        • 1970-01-01
        • 2023-04-06
        • 2018-12-31
        • 1970-01-01
        • 2020-08-10
        • 2018-10-27
        相关资源
        最近更新 更多