Hive 中是否有 Bloom Filter UDF 功能？

Question

大的全事实表加入增量事实表有问题，我知道Bloom Filter是减少加入行数的好选择，但是Bloom UDF实现很少，我只能找到brickhouse的Bloom UDF，并且用起来不是很够用，需要先读取小表，将bloom数据加载到本地目录，以后再使用。 那么，有没有更好的布隆过滤器 UDF 实现可以直接在 Hive 中使用（只需上传 JAR）？谢谢。

Answer 1

在这几天里，我发现了 2 个具有 Bloomfilter UDF 功能的存储库，一个是 Hivemall，用于机器学习，另一个是 Brickhouse。但是，他们两个都不能解决我的问题。对于Brickhouse的Bloomfilter UDAF，它需要你将临时的bloom结果存储在本地目录中以供以后使用，但是当这个bloom结果足够大时，它会填满本地服务器的内存并导致本机的hiveserver关闭。 Hivemall 的一个，它适用于小数据集，但是当数据集变大时，比如数百万个唯一 id，它会抛出异常，仍然无法弄清楚为什么，但看起来它无法处理长字符串 id（长度从 40到 50) 并且无法处理其数据结构中的数百万个 id。这很奇怪，因为 UDF 数据结构都是字节数组，应该支持无限数量的 id。