【发布时间】:2020-02-04 09:00:37
【问题描述】:
我正在做一个 NLP 任务,其中我有一个按天分组的文本中单词出现的分布。我想找到给定单词与数据库中所有其他单词之间的 Pearson 相关性。是否可能有一些算法解决方案,而不仅仅是手动迭代数据库中的所有其他单词并计算相关性。可能与图表有关?
【问题讨论】:
-
您可以通过对记录的随机子集进行抽样来估计相关性。
标签: python algorithm graph nlp
我正在做一个 NLP 任务,其中我有一个按天分组的文本中单词出现的分布。我想找到给定单词与数据库中所有其他单词之间的 Pearson 相关性。是否可能有一些算法解决方案,而不仅仅是手动迭代数据库中的所有其他单词并计算相关性。可能与图表有关?
【问题讨论】:
标签: python algorithm graph nlp
您可以使用 numpy 或 pandas(矢量化版本,而不是遍历所有记录)。
【讨论】: