如何为 R 主题模型正确编码 UTF-8 txt 文件

Question

在这个论坛上讨论过类似的问题（例如here 和here），但我没有找到解决我问题的问题，所以对于一个看似相似的问题，我深表歉意。

我有一组采用 UTF-8 编码的 .txt 文件（见屏幕截图）。我正在尝试使用 tm 包在 R 中运行主题模型。然而，尽管在创建语料库时使用了 encoding = "UTF-8"，但我在编码方面遇到了明显的问题。例如，我得到 scal 而不是 fiscal，inuenc 而不是 influence，并非所有标点符号都被删除，并且某些字母无法识别（例如，引号在某些情况下仍然存在，例如 view” 或 plan' 或 ændring 或孤立的引号，如“and ”或 zit 或 years - 因此带有应该已删除的破折号）。这些术语也显示在术语的主题分布中。我之前在编码方面遇到了一些问题，但是使用"encoding = "UTF-8" 创建了用于解决问题的语料库。这次好像没用了。

我使用的是 Windows 10 x64，R 版本 3.6.0 (2019-04-26)，tm 包的 0.7-7 版本（都是最新的）。我将非常感谢任何有关如何解决该问题的建议。

library(tm)
library(beepr)
library(ggplot2)
library(topicmodels)
library(wordcloud)
library(reshape2)
library(dplyr)
library(tidytext)
library(scales)
library(ggthemes)
library(ggrepel)
library(tidyr)


inputdir<-"c:/txtfiles/"
docs<- VCorpus(DirSource(directory = inputdir, encoding ="UTF-8"))

#Preprocessing
docs <-tm_map(docs,content_transformer(tolower))

removeURL <- function(x) gsub("http[^[:space:]]*", "", x)
docs <- tm_map(docs, content_transformer(removeURL))

toSpace <- content_transformer(function(x, pattern) (gsub(pattern, " ", x)))
docs <- tm_map(docs, toSpace, "/")
docs <- tm_map(docs, toSpace, "-")
docs <- tm_map(docs, toSpace, "\\.")
docs <- tm_map(docs, toSpace, "\\-")


docs <- tm_map(docs, removePunctuation)
docs <- tm_map(docs, removeNumbers)
docs <- tm_map(docs, removeWords, stopwords("english"))
docs <- tm_map(docs, stripWhitespace)
docs <- tm_map(docs,stemDocument)

dtm <- DocumentTermMatrix(docs)
freq <- colSums(as.matrix(dtm))
ord <- order(freq, decreasing=TRUE)
write.csv(freq[ord],file=paste("word_freq.csv"))

#Topic model
  ldaOut <-LDA(dtm,k, method="Gibbs", 
               control=list(nstart=nstart, seed = seed, best=best, 
                            burnin = burnin, iter = iter, thin=thin))

编辑：我应该在 cse 中添加，事实证明 txt 文件是使用以下 R 代码从 PDF 创建的：

inputdir <-"c:/pdf/"
myfiles <- list.files(path = inputdir, pattern = "pdf",  full.names = TRUE)
lapply(myfiles, function(i) system(paste('"C:/Users/Delt/AppData/Local/Programs/MiKTeX 2.9/miktex/bin/x64/pdftotext.exe"',
                                         paste0('"', i, '"')), wait = FALSE) )

可以下载两个示例txt文件here。

Answer 1

我找到了一种解决方法，它似乎可以在您提供的 2 个示例文件上正常工作。您首先需要做的是NFKD (Compatibility Decomposition)。这将“fi”正字法连字拆分为 f 和 i。幸运的是 stringi 包可以处理这个问题。所以在进行所有特殊的文本清理之前，您需要应用函数stringi::stri_trans_nfkd。您可以在较低步骤之后（或之前）的预处理步骤中执行此操作。

请阅读此函数的文档和参考资料。

library(tm)
docs<- VCorpus(DirSource(directory = inputdir, encoding ="UTF-8"))

#Preprocessing
docs <-tm_map(docs,content_transformer(tolower))

# use stringi to fix all the orthographic ligature issues 
docs <- tm_map(docs, content_transformer(stringi::stri_trans_nfkd))

toSpace <- content_transformer(function(x, pattern) (gsub(pattern, " ", x)))

# add following line as well to remove special quotes. 
# this uses a replace from textclean to replace the weird quotes 
# which later get removed with removePunctuation
docs <- tm_map(docs, content_transformer(textclean::replace_curly_quote))

....
rest of process
.....