r中的拆分词

Question

我有大量包含正常句子的文本文件（超过 50,000 个）。其中一些句子的单词已经合并在一起，因为一些尾线已经放在一起。如何在 R 中取消合并其中的一些单词？

我能得到的唯一建议是 here 和 kind of attempted something from here 但这两个建议都需要我无法使用的大矩阵，因为我要么内存不足，要么 RStudio 崩溃:(有人可以帮忙吗？这是一个例子我正在使用的一个文本文件（还有 50,000 多个来源）：

Mad cow disease, BSE, or bovine spongiform encephalopathy, has cost the country dear.
More than 170,000 cattle in England, Scotland and Wales have contracted BSE since 1988.

More than a million unwanted calves have been slaughtered, and more than two and a quarter million older cattle killed, their remains dumped in case they might be harbouring         the infection.

In May, one of the biggest cattle markets, at Banbury in Oxfordshire, closed down. Avictim at least in part, of this bizarre crisis.

The total cost of BSE to the taxpayer is set to top £4 billion.

编辑：例如： “一直靠补贴缓冲，生活在一个不真实的世界里。很多农民根本没想过农场门外发生了什么，因为总有人愿意买他们生产的东西。”

请参阅“关于什么”部分。好吧，大约每 100 篇左右的文章中就有 1 篇发生这种情况。不是这篇实际的文章，我只是将以上内容作为示例。这些单词以某种方式连接在一起（我想当我在一些文章中阅读时，其中一些文章遗漏了空格，或者我的记事本阅读器将一行的末尾与另一行连接在一起）。

编辑 2：这是我在使用 here 用读入列表替换创建的列表时遇到的错误：

Error: assertion 'tree->num_tags == num_tags' failed in executing regexp: file 'tre-compile.c', line 627 

我以前从未见过该错误，但确实出现了 here 和 here，但两者都没有解决方案:(

Answer 1

根据您的 cmets，我将使用 environment，它基本上是 R 中的哈希表。首先构建所有已知单词的哈希：

words <- new.env(hash=TRUE)
for (w in c("hello","world","this","is","a","test")) words[[tolower(w)]] <- T

（您实际上想使用 /usr/share/dict/words 或类似的内容），然后我们定义一个执行您描述的函数：

dosplit <- function (w) {
  if(is.null(words[[tolower(w)]])) {
    n <- nchar(w)
    for (i in 1:(n-1)) {
      a <- substr(w,1,i)
      b <- substr(w,i+1,n)
      if(!is.null(words[[tolower(a)]]) && !is.null(words[[tolower(b)]]))
        return (c(a,b))
    }
  }
  w
}

然后我们可以测试它：

test <- 'hello world, this isa test'
ll <- lapply(strsplit(test,'[ \t]')[[1]], dosplit)

如果你想把它放回一个空格分隔的列表中：

do.call(paste, as.list(unlist(ll,use.names=FALSE)))

请注意，对于大量文本，这将是缓慢，R 并不是真正为这种事情而构建的。我个人会使用 Python 来完成这类任务，如果它变得更大，我会使用编译语言。