如何使用 Tableau 处理非常大的数据答案

【问题标题】：How to handle very large data with Tableau如何使用 Tableau 处理非常大的数据
【发布时间】：2016-08-15 02:19:04
【问题描述】：

全部，

我正在使用 Tableau 9.0 进行数据分析。我的数据集非常大，包含 1000 亿条记录。

我想先用过滤器过滤掉数据。但是，当我尝试在 Tableau 中的特定数据列上添加过滤器时，它会一直运行......永远。原因是 tableau 想按升序向我显示所有这些字段值，然后让我进行选择。例如，只选择一个或两个值进行过滤...

但由于有 1000 亿条记录，它一直在运行。如何解决这个问题呢？我可以关闭此功能（显示所有特定字段值..）吗？如何过滤这么大的数据集？

提前谢谢你

【问题讨论】：

标签： mysql database postgresql oracle-sqldeveloper tableau-api

【解决方案1】：

在将字段拖到过滤器架（或执行您不想触发查询刷新的任何操作）之前，通过工具栏的暂停按钮暂停自动更新。然后在您想要运行查询时点击刷新或重新打开自动更新。

对于离散维度过滤器，您可以输入自定义值列表以避免查询以填充过滤器对话框中的项目列表。

【讨论】：

谢谢。亚历克斯，你的意思是我也应该在tableau中使用自定义sql查询来过滤数据源以获得较小的工作数据，然后去工作表进行分析。
我的意思是不要在 Tableau 中使用自定义 SQL 查询，除非您首先确定没有更好的替代方案。自定义 SQL 很有用，但它破坏了重要的查询优化——它迫使 Tableau 生成保守的可能过于昂贵的查询，因为它不知道您在自定义 SQL 中放入了什么。在 Tableau 中，有许多替代方法可以有效地访问数据。自定义 SQL 是一种包罗万象的功能，可在其他 Tableau 功能无法为您提供所需结果的极少数情况下使用。即便如此，在您的数据库上创建视图也会更有效。
对于大型数据集，您可能希望首先创建一个数据源级别的过滤器，将数据量减少到较小的子集。或者更好的是，使用过滤器进行提取，将行数减少到一个小子集，并隐藏未使用的字段以减少列数。然后，您可以使用快速提取快速构建可视化，然后指向原始数据源（再次使用适当的过滤器）。不要试图做出明显复制整个数据集的提取。
谢谢，Alex，关闭自动更新并首先运行过滤器是正确的答案。

【解决方案2】：

您可以通过考虑以下提示来提高您的表现-

Use custom sql query in tableau to filter the data source to get the smaller working data.(data filtered at backend will be added advantage)

Hide unwanted fields from the data source pane.

Publish your data set to tableau server and then connect the tde server extract to tableau.

【讨论】：

【解决方案3】：

我认为 Tableau 不适合处理如此庞大的数据集。但是请查看这篇关于性能的文章。
http://kb.tableau.com/articles/knowledgebase/database-query-performance

【讨论】：

处理庞大数据集的明智方法是将数据留在源头，发送查询以返回适度大小的结果，汇总数据。疯狂的方法是获取并显示每个数据行。将其与过滤、缓存和交互式向下钻取子集相结合。表示层的速度取决于它发送的查询以及数据库执行这些查询的速度。这将需要仔细调整并排除一些适用于较小数据集的方法。这些事实在任何可视化工具、Tableau 或其他工具中都是相同的。