R - 为文档术语矩阵设置频率

Question

在导出 DocumentTermMatrix 时，我正在寻求有关我的 R 代码的帮助。文件太大而无法导出，所以我很好奇是否有办法为 DTM 设置频率？例如，仅返回 DTM 中已使用 5 次或更多次的值。

dtm <- DocumentTermMatrix(alltextclean)

write.csv(as.matrix(dtm), "dtm.csv")

以上产生的文件太大，我可以添加频率吗？我也尝试了以下方法，但留下了一个术语列表，但没有术语计数（这也很有用）。

termsonly <- findFreqTerms(dtm, 5)

write.csv(termsonly, "termsonly.csv")

在上面添加频率也会有所帮助。

感谢您的帮助！

Answer 1

我猜您正在查找所有文档中每个术语的总出现次数。使用示例数据集：

library(tm)
data(crude)

如果你的矩阵不是那么大，你可以这样做：

dtm = DocumentTermMatrix(crude)
Freq = colSums(as.matrix(dtm))

否则，假设我们接受至少 5 次出现的条款：

termsonly <- findFreqTerms(dtm, 5)
Freq = colSums(as.matrix(dtm[,termsonly]))

或者您将其转换为 sparseMatrix 并对列求和：

library(Matrix)
Freq = colSums(sparseMatrix(i=dtm$i,j=dtm$j,x=dtm$v,dimnames=dtm$dimnames))

如果您喜欢整洁的解决方案，也可以查看此post。