【问题标题】:Why does Hyperloglog work and which real-world problems?为什么 Hyperloglog 有效,哪些实际问题?
【发布时间】:2015-12-18 00:34:00
【问题描述】:

我知道 Hyperloglog 的工作原理,但我想了解它真正适用于哪些实际情况,即使用 Hyperloglog 是否有意义,为什么?如果您曾用于解决任何现实世界的问题,请分享。我正在寻找的是,考虑到 Hyperloglog 的标准错误,它现在真正在哪些实际应用程序中使用,为什么它会起作用?

【问题讨论】:

    标签: bigdata mathematical-optimization discrete-mathematics hyperloglog


    【解决方案1】:

    “基数估计的应用”,太宽泛了?我想简单地添加这个作为评论,但它不适合)。

    我建议您转向该主题的众多学术研究;通常学术论文包含“对该主题的先前研究”的一些信息以及“使用该主题的应用”。您可以从遍历以下文章引用的感兴趣的引用开始:

    ...这个问题在过去受到了很多关注 二十年来,发现越来越多的应用在 网络和流量监控,例如蠕虫检测 传播,网络攻击(例如,通过拒绝服务),以及 网络上基于链接的垃圾邮件 [3]。例如,通过一个数据流 网络由一系列数据包组成,每个数据包都有一个 标头,其中包含一对(源-目标)地址, 其次是一组具体数据;不同标题的数量 不同时间片中的对(多重集的基数)是 检测攻击和监控流量的重要指标,如 它记录了不同的活动流的数量。事实上,蠕虫和 病毒通常通过打开大量不同的 联系,尽管它们很可能在一个巨大的 流量,一旦基数被暴露,他们的活动就会暴露 测量(参见 [11] 中 Estan 和 Varghese 的清晰阐述)。 基数估计器的其他应用包括数据挖掘 各种类型的海量数据集——自然语言文本 [4, 5]、生物 数据 [17, 18]、非常大的结构化数据库或互联网图, [22] 的作者报告了计算增益的一个因子 通过概率基数估计器达到 500+。

    【讨论】:

    • 好吧,考虑到 Hyperloglog 的标准错误,“它现在真正用于哪些实际应用程序”,我并不是真的要求“基数估计应用程序”?
    • 谢谢,我会把这个问题移到那里
    【解决方案2】:

    在我的工作中,HyperLogLog 用于估计在线服务中访问不同代码路径的唯一用户或唯一设备的数量。例如,每种类型的服务错误影响了多少用户?有多少用户使用每个功能? HyperLogLog 允许我们回答许多有趣的问题。

    【讨论】:

    • 酷,谢谢。实际上,您只是让我更好地了解了如何从我们拥有的数据中回答一些问题。我可以问一个问题,它是否为您的问题提供了合理/有用的答案?
    • 是的,我们一直在使用它们。
    猜你喜欢
    • 2016-04-08
    • 1970-01-01
    • 2010-10-02
    • 1970-01-01
    • 2013-12-11
    • 2011-11-19
    • 2016-07-29
    • 2020-10-21
    • 1970-01-01
    相关资源
    最近更新 更多