quanteda - 计算前 n 个特征的稀疏比例

Question

我正在尝试获取语料库的前 n 个特征，然后检查前 n 个特征的稀疏比例。但是，我的编码效果不佳，因为稀疏性仅适用于 dfm 对象，但如果我将 sparsity() 放在dfm_remove(stopwords("en")) 之后，我无法知道顶级特征的比例。 你能告诉我一些关于我的案子的建议吗？

提前感谢您的帮助！

  top_n_terms <- text %>% 
      tokens(remove_numbers = TRUE, remove_punct = TRUE, remove_symbols = TRUE) %>% 
      tokens_ngrams(n = 1:3) %>% 
      dfm() %>% 
      dfm_remove(stopwords("en")) %>% 
      topfeatures(n = 3000) %>% 
      sparsity()

Answer 1

首先，按照您的方式创建 dfm，然后使用 dfm_trim() 将其限制为顶级 n 功能，然后将该结果发送到 sparsity()。

所以：

dfm_trim(your_dfm, min_termfreq = n, termfreq_type = "rank") %>%
  sparsity()

在您的示例中，如果您希望仅使用 3,000 个全球最频繁的术语来实现 dfm 的稀疏性，则将 3000 替换为 n。