【问题标题】:superset dashboard table type when query large data crush and be slow?查询大数据时超集仪表板表类型并且速度很慢?
【发布时间】:2021-01-04 02:24:44
【问题描述】:

现在我使用超集仪表板(表)来查询详细数据,但是当查询结果超过 50K 行时,由于浏览器中呈现大量数据,它会使 Web 浏览器崩溃并且速度很慢,我想如果有什么解决方案来解决这个问题。

案例:我使用超集dashboard作为明细数据查询,但是数据行返回给浏览器的行数超过50K,会导致浏览器崩溃,速度慢。

我认为如果有任何可以控制仪表板下载和显示行限制的解决方案将是完美的。例如查询超过500行,在浏览器上只显示前500行,下载为csv时可以下载完整的数据集到csv中。

【问题讨论】:

    标签: python olap apache-superset superset


    【解决方案1】:

    您可以通过多种方式对此进行优化。

    1. 数据库级优化:直接评估查询在您的数据库上运行多长时间并将其与超集进行比较。如果没有太大区别,那么您需要考虑在数据库级别优化查询。理想情况下,您希望将尽可能多的繁重工作推给数据库。

    2. 超集级别优化:

      a) 元数据库:远离 sql​​ite 并迁移到 mysql 或 postgres 或其他受支持的数据库。

      b) 缓存:查看superset documentation

    【讨论】:

    • 缓存不能解决我的问题,我只是想在查询返回浏览器时限制数据行。但是当我用 500 行设置限制参数时,它也会设置下载数据集行限制。所以,我只想设置显示行数限制,而不影响下载数据集。例如,在一个 5000 行的查询中,只显示前 500 行,下载 csv 可以下载完整的数据集
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2015-03-26
    • 1970-01-01
    • 2023-03-13
    • 1970-01-01
    • 2012-01-05
    • 2016-05-31
    • 1970-01-01
    相关资源
    最近更新 更多