如何从 R 中的 data.frame 文件中删除文本中的标点符号和数字

Question

我想从 data.frame 文件中删除文本中的标点符号、数字和 http 链接。我尝试了 tm、stringr、quanteda、tidytext 包，但它们都不起作用。我正在为干净的 data.frame 文件寻找有用的基本包或函数，而无需将其转换为语料库或类似的东西。

我该怎么做？

mycorpus

mycorpus

而且，当我尝试查看一些包含任何符号的推文时： nchar（输出）中的错误：无效的多字节字符串，元素 1

mycorpus

Answer 1

由于您尚未发布任何示例输入或示例输出，因此无法对其进行测试，为了从数据框的特定列中删除标点符号、数字和 http 链接，您可以尝试关注一次。

gsub("[[:punct:]]|[[:digit:]]|^http:\\/\\/.*|^https:\\/\\/.*","",df$column)

或者根据 Rui 在 cmets 中的建议，也使用以下。

gsub("[[:punct:]]|[[:digit:]]|(http[[:alpha:]]*:\\/\\/)","",df$column)

Answer 2

如果您的目标是仅保留字符，则可以通过替换所有非字符来实现简洁的版本。此外，我猜你想用空白替换它，因为你提到了一些关于语料库的东西。否则，您的地址将被折叠成没有长字符串（但也许这就是您想要的 - 正如您可能提供的示例所述）。

x = c("https://stackoverflow.com/questions/51582369/how-can-i-remove-punctuations-and-numbers-in-text-from-data-frame-file-in-r"
      , "http://stackoverflow.com/questions/51582369/how-can-i-remove-punctuations-and-numbers-in-text-from-data-frame-file-in-r")

gsub("\\W|\\d|http\\w?", " ", x, perl = T)
# [1] "    stackoverflow com questions          how can i remove punctuations and numbers in text from data frame file in r"
# [2] "    stackoverflow com questions          how can i remove punctuations and numbers in text from data frame file in r"

 the same task for a data frame of  100000 rows
# make sure that your strings are not factors
df = data.frame(id = 1:1e5, url = rep(x, 1e5/2), stringsAsFactors = FALSE)
# df before replacement
df[1:4, ]
# id    url
# 1  1 https://stackoverflow.com/questions/51582369/how-can-i-remove-punctuations-and-numbers-in-text-from-data-frame-file-in-r
# 2  2  http://stackoverflow.com/questions/51582369/how-can-i-remove-punctuations-and-numbers-in-text-from-data-frame-file-in-r
# 3  3 https://stackoverflow.com/questions/51582369/how-can-i-remove-punctuations-and-numbers-in-text-from-data-frame-file-in-r
# 4  4  http://stackoverflow.com/questions/51582369/how-can-i-remove-punctuations-and-numbers-in-text-from-data-frame-file-in-r
# apply replacement on a specific column and assign result back to this column
df$url = gsub("\\W|\\d|http\\w?", " ", df$url, perl = T)
# check output
df[1:4, ]
# id        url
# 1  1     stackoverflow com questions          how can i remove punctuations and numbers in text from data frame file in r
# 2  2     stackoverflow com questions          how can i remove punctuations and numbers in text from data frame file in r
# 3  3     stackoverflow com questions          how can i remove punctuations and numbers in text from data frame file in r
# 4  4     stackoverflow com questions          how can i remove punctuations and numbers in text from data frame file in r