在 Tableau 中查询 4 B+ 记录的最佳方法答案

【问题标题】：Best way to query 4 B+ records in Tableau在 Tableau 中查询 4 B+ 记录的最佳方法
【发布时间】：2014-07-16 05:24:29
【问题描述】：

我正在寻找一种使用 Tableau 分析存储在 Vertica 中的 4B 记录（1TB 数据）的最佳方法。我尝试使用完美的 1M 记录提取。但不知道如何管理4B记录，因为查询4B记录耗时太长。

我有以下数据集：

timestamp id url domain keyword nor_word cat_1 cat_2 cat_3

所以在这里我需要创建前 10 个 ID、前 10 个 url、前 10 个域、前 10 个关键字、前 10 个 nor_word、前 10 个 cat_1、前 10 个 cat_2、前 10 个 cat_3 的降序列表，具体取决于每个字段值的计数单独的工作表并将所有工作表合并到一个仪表板中。

没有主键。这个数据集为 1 个月，所以我想制作全局过滤器开始日期和结束日期以减少查询大小。但不知道如何创建全局日期过滤器并在仪表板上显示？

【问题讨论】：

【解决方案1】：

您有两个问题，一个是关于 Vertica，一个是关于 Tableau。你应该把它们分开。

关于 Vertica，您需要知道 Vertica 在物理存储中以升序存储数据。这意味着任何时候您都需要一个额外的步骤来获得降序排序。

我建议在日期creating a partition，然后以增量模式运行数据库设计器 (DBD) 并将您的查询用作示例。通过对数据进行分区，Vertica 可以在优化期间消除分区。

运行 DBD 将生成一些更好的优化投影。您应该考虑在需要此数据的频率与是否值得创建这些额外的预测之间进行权衡，因为这会影响您的负载性能。

【讨论】：

好点，让我每天整理记录并创建分区。
@user3579198 如果您read the documentation，您希望将分区数保持在 10 到 20 之间以实现出色的性能。例如，这意味着按月+年进行分区。
如何验证表是否分区？我试过 \d table_name;但它没有显示任何帮助。
@user3579198 您可以使用EXPORT_TABLE() 获取表定义或直接查看v_monitor.partitions。