【问题标题】:Finding Pearson correlation for millions of records查找数百万条记录的 Pearson 相关性
【发布时间】:2020-02-04 09:00:37
【问题描述】:

我正在做一个 NLP 任务,其中我有一个按天分组的文本中单词出现的分布。我想找到给定单词与数据库中所有其他单词之间的 Pearson 相关性。是否可能有一些算法解决方案,而不仅仅是手动迭代数据库中的所有其他单词并计算相关性。可能与图表有关?

【问题讨论】:

  • 您可以通过对记录的随机子集进行抽样来估计相关性。

标签: python algorithm graph nlp


【解决方案1】:

您可以使用 numpy 或 pandas(矢量化版本,而不是遍历所有记录)。

【讨论】:

    猜你喜欢
    • 2015-10-28
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2019-09-16
    • 1970-01-01
    • 2023-01-31
    • 2019-10-27
    相关资源
    最近更新 更多