【发布时间】:2017-10-26 00:29:39
【问题描述】:
我偶尔会看到有人或公司展示从 Tableau 或 PowerBI 查询 db/cube/etc 时响应不到 5 秒,有时甚至不到 1 秒。他们怎么做到的?数据是否针对鳃进行了优化?他们使用的是海量数据库吗?
在一个相关问题上,我一直在尝试使用 Tableau 针对 SQL DW 分析一个 100m 行的小得多的数据集,但仍然需要将近一分钟的时间来计算。我应该尝试其他技术吗?也许是分析服务或大数据技术?
这些通常是一次性的数据分析任务,因此我不必担心数据增长。
【问题讨论】:
-
很遗憾没有办法客观地回答这个问题。我们对某人的数据库引擎、数据库背后的资源(一个服务、一组虚拟机)、模式、查询等一无所知。我们只是在猜测。还有你的相关问题:同样的事情。数据集大小(行数)与您的查询、环境等无关。
-
谢谢大卫。如果这有帮助,这里有一个更具体的例子。 2b 行纽约出租车数据示例。 youtube.com/watch?v=m1jnG1zIvTo 除了使用 S4,我将如何获得这种性能?我想trips 表中仍然必须有2b 行,所以它不能只是优化数据模型。
-
感谢您的建议。我肯定会尝试优化数据,但奇怪的是我的单个表可能有 20 列并且没有连接。现在我知道我可以从中创建六个查找表,并将大约 20 个字符字符串转换为整数,但与 2b 行相比,它真的会有那么大的不同吗?我想我需要做功课并找出答案。我只是确保我不会错过任何明显的东西,例如“哦,他们在 Hadoop 之上运行 AS,这就是它如此之快的原因!”
-
所以我尝试将我的 70m 行数据更改为所有整数,为 5 个维度创建星型模式,并创建一个仅包含维度键和度量值的事实表。表现一般都不错,但不是我预期的大幅上升。我必须在嵌入式 Tableau 和连接到 SQL 的 Tableau 中做同样的事情来比较,但到目前为止还没有给人留下深刻的印象。即使我将所有内容都放在 AS 的缓存中,仍然对如何快速查询 2b 行内容感到困惑。
标签: sql azure bigdata tableau-api