如何降低复杂性？数据准备，SQL + Tableau

Question

我需要准备一些数据来连接到 tableau，我正在苦苦挣扎，因为数据量太大，tableau 无法处理，所以我正在寻找用 SQL 高效编码的想法。

设置：

• 我有 200 万用户
• 有 30 个不同的类别，每个用户都可以分为很多。例如：
  • 用户 1 - A、B 和 C 类
  • 用户 2 - F 类
  • 用户 3 - 类别 A、B

我想要什么：

• 选择三个类别并分配优先级 1、优先级 2 和优先级 3
• 这些选择不是静态的，所以今天我可能会选择 A、B、C，但明天这些类别可以是 D、G、A

如果我有：

• 优先级 1：A
• 优先级 2：B
• 优先级 3：C

• 我想要属于 A 类的用户数
• 我想要属于 B 类且不属于 A 类的用户数
• 我想要属于 C 类且不属于 A 类或 B 类的用户数

我最初的想法是创建一个表，每个用户一行，每个类别一个是/否列，然后聚合，但最终表的大小仍然太大，无法处理。

有什么想法吗？

更新：我的想法是准备一个包含汇总数字和最多几千行的表格，以便可以使用 tableau 处理它

Answer 1

您可以为 30 个类别中的每一个分配一个唯一的占位符 1 到 30。此后，每个用户将根据他所属于的类别分配一个 30 位的二进制数。然后可以将该二进制数转换为最大的十进制数其中可以是 2^31-1 即 10 位数字，可以不使用 exp 格式存储。

当您必须查看用户所属的类别时，可以通过应用反向转换来完成，即十进制到二进制，然后再转换为左侧填充零的字符串。从此字符串中，您可以在所需位置搜索 1 的位置。

我想你可以试试这个方法。