R tm 包升级 - 将语料库转换为数据框时出错

Question

最近的 tm 升级似乎出了点问题。我的代码如下，带有测试数据-

data = c('Lorem ipsum dolor sit amet, consectetur adipiscing elit',
           'Vestibulum posuere nisl vel lobortis vulputate',
           'Quisque eget sem in felis egestas sagittis')
ccorpus_clean = Corpus(VectorSource((data)))
ccorpus_clean = tm_map(ccorpus_clean,removePunctuation,lazy=TRUE)
ccorpus_clean = tm_map(ccorpus_clean,stripWhitespace,lazy=TRUE)
ccorpus_clean = tm_map(ccorpus_clean,tolower,lazy=TRUE)
ccorpus_clean = tm_map(ccorpus_clean,removeNumbers,lazy=TRUE)
ccorpus_clean = tm_map(ccorpus_clean,stemDocument,lazy=TRUE)
ccorpus_clean = tm_map(ccorpus_clean,removeWords,stopwords("english"),lazy=TRUE)
ccorpus_clean = tm_map(ccorpus_clean,removeWords,c("hi"),lazy=TRUE)
ccorpus_clean = tm_map(ccorpus_clean,removeWords,c("account","can"),lazy=TRUE)     
ccorpus_clean = tm_map(ccorpus_clean,PlainTextDocument,lazy=TRUE)
ccorpus_clean = tm_map(ccorpus_clean,stripWhitespace,lazy=TRUE);
ccorpus_clean;
df = data.frame(text=unlist(sapply(ccorpus_clean , `[[`, "content")), stringsAsFactors=FALSE)

之前一切正常。但是突然我需要使用 ",lazy=TRUE"。没有那个，语料库转换停止工作。 懒惰问题记录在这里 - R tm In mclapply(content(x), FUN, ...) : all scheduled cores encountered errors in user code

使用 Lazy，转换工作，但语料库转换回 Data Frame 停止并出现以下错误 -

ccorpus_clean = tm_map(ccorpus_clean,stripWhitespace,lazy=TRUE)
ccorpus_clean

元数据：语料库特定：0，文档级别（索引）：0
内容：文档：5

df = data.frame(text=unlist(sapply(ccorpus_clean , `[[`, "content")), stringsAsFactors=FALSE)

UseMethod("meta", x) 中的错误：
没有适用于“尝试错误”类对象的“元”方法
另外：警告信息：
在 mclapply(x$content[i], function(d) tm_reduce(d, x$lazy$maps)) 中：
所有计划的核心都在用户代码中遇到错误

编辑 - 这也失败了

data.frame(text = sapply(ccorpus_clean, as.character), stringsAsFactors = FALSE)

UseMethod("meta", x) 中的错误： 没有适用于“尝试错误”类对象的“元”方法

R 版本 - version.string R 版本 3.2.3 (2015-12-10) / tm - 0.6-2

Answer 1

看起来很复杂。怎么样：

data <- c("Lorem ipsum dolor sit amet account: 999 red balloons.",
          "Some English words are just made for stemming!")

require(quanteda)

# makes the texts into a list of tokens with the same treatment
# as your tm mapped functions
toks <- tokenize(toLower(data), removePunct = TRUE, removeNumbers = TRUE)
# toks is just a named list
toks
## tokenizedText object from 2 documents.
## Component 1 :
## [1] "lorem"    "ipsum"    "dolor"    "sit"      "amet"     "account"  "red"      "balloons"
## 
## Component 2 :
## [1] "some"     "english"  "words"    "are"      "just"     "made"     "for"      "stemming"

# remove selected terms
toks <- removeFeatures(toks, c(stopwords("english"), "hi", "account", "can"))

# apply stemming
toks <- wordstem(toks)

# make into a data frame by reassembling the cleaned tokens
(df <- data.frame(text = sapply(toks, paste, collapse = " ")))
##                                     text
## 1 lorem ipsum dolor sit amet red balloon
## 2            english word just made stem

Answer 2

我也遇到过类似的问题，好像不是升级tm包引起的。如果您不想使用 quanteda，则另一种替代解决方案是将核心数设置为 1（而不是执行 Lazy = TRUE）。不知道为什么，但它对我有用。

corpus = tm_map(corpus, tolower, mc.cores = 1)

如果您有兴趣诊断此问题是否由并行计算问题引起，请尝试在此行输入

getOption("mc.cores", 2L)

如果返回 2 个核心，则将核心设置为 1 即可解决问题。详细解释见this answer。