从 R 中的整个数据帧中删除空格答案

【问题标题】：Removing Whitespace From a Whole Data Frame in R从 R 中的整个数据帧中删除空格
【发布时间】：2014-01-12 16:13:18
【问题描述】：

我一直在尝试删除数据框中的空白（使用 R）。数据框很大 (>1gb) 并且有多个列，每个数据条目中都包含空格。

有没有一种快速的方法可以从整个数据框中删除空白？我一直在尝试对前 10 行数据的子集执行此操作：

gsub( " ", "", mydata)

这似乎不起作用，尽管 R 返回了一个我无法解释的输出。

str_replace( " ", "", mydata)

R 返回 47 条警告，并且没有删除空格。

erase_all(mydata, " ")

R 返回一个错误说'错误：找不到函数“erase_all”'

在过去 24 小时里我一直在努力解决这个问题，因此我非常感谢您提供帮助。

谢谢！

【问题讨论】：

mydata[mydata == " "] <- "" 查找所有" " 并在data.frame 中替换为""。简单来说，就是你想要的这样的东西吗？
您应该将文件/数据的第一行添加到问题中。
我有一个具有这种格式的字符列：“A _ b”，我需要将其转换为“A_b”，但这些方法似乎不起作用。 @PKumar

标签： r replace whitespace gsub

【解决方案1】：

很多答案都比较老，所以在 2019 年这里有一个简单的 dplyr 解决方案，它只对字符列进行操作以删除尾随和前导空格。

library(dplyr)
library(stringr)

data %>%
  mutate_if(is.character, str_trim)

## ===== 2020 edit for dplyr (>= 1.0.0) =====
df %>% 
  mutate(across(where(is.character), str_trim))

如果您想要不同风格的空格删除，您可以将 str_trim() 函数切换为其他函数。

# for example, remove all spaces
df %>% 
  mutate(across(where(is.character), str_remove_all, pattern = fixed(" ")))

【讨论】：

如何将因子转换为字符串？
非常相似。查看?is.factor 和?as.character。这里的第二个答案显示了它。 stackoverflow.com/questions/2851015/…
mutate(across(where(is.character), str_remove_all, pattern = fixed(" "))) 抛出错误。我相信这个想法是正确的，但语法是错误的。
@NewBee 很有趣。这个对我有用。我知道对齐所有 tidyverse 软件包版本有时可能是个问题。

【解决方案2】：

如果我对您的理解正确，那么您想从整个数据框中删除所有空格，我猜您使用的代码很适合删除列名中的空格。我认为您应该试试这个：

 apply(myData,2,function(x)gsub('\\s+', '',x))

希望这行得通。

这将返回一个矩阵，但是，如果您想将其更改为数据框，请执行以下操作：

as.data.frame(apply(myData,2,function(x)gsub('\\s+', '',x)))

2020 年编辑：

将lapply 和trimws 函数与both=TRUE 一起使用可以删除前导和尾随空格，但不能删除其中的空格。由于OP 没有提供输入数据，因此我添加了一个虚拟示例来生成结果。

数据：

df <- data.frame(val = c(" abc"," kl m","dfsd "),val1 = c("klm ","gdfs","123"),num=1:3,num1=2:4,stringsAsFactors = FALSE)

#situation: 1（使用 Base R），当我们想要删除仅在开头和结尾而不是在字符串值内的空格时，我们可以使用修剪

cols_to_be_rectified <- names(df)[vapply(df, is.character, logical(1))]
df[,cols_to_be_rectified] <- lapply(df[,cols_to_be_rectified], trimws)

# situation: 2 (Using Base R) ，当我们想要删除数据帧中字符列中每个位置的空格时（字符串内部以及前导和尾端）。

(这是使用 apply 提出的初始解决方案，请注意使用 apply 的解决方案似乎可以工作但会很慢，而且如果 OP 真的想删除前导/尾随，问题显然不是很清楚空白或数据中的每个空白)

cols_to_be_rectified <- names(df)[vapply(df, is.character, logical(1))]
df[,cols_to_be_rectified] <- lapply(df[,cols_to_be_rectified], function(x)gsub('\\s+','',x))

##情况：1（使用data.table，只删除前导和尾随空格）

library(data.table)
setDT(df)
cols_to_be_rectified <- names(df)[vapply(df, is.character, logical(1))]
df[,c(cols_to_be_rectified) := lapply(.SD, trimws), .SDcols = cols_to_be_rectified]

输出来自situation1：

    val val1 num num1
1:  abc  klm   1    2
2: kl m gdfs   2    3
3: dfsd  123   3    4

## 情况：2（使用 data.table，删除里面的每个空格以及前导/尾随空格）

cols_to_be_rectified <- names(df)[vapply(df, is.character, logical(1))]
df[,c(cols_to_be_rectified) := lapply(.SD, function(x)gsub('\\s+', '', x)), .SDcols = cols_to_be_rectified]

输出来自situation2：

    val val1 num num1
1:  abc  klm   1    2
2:  klm gdfs   2    3
3: dfsd  123   3    4

注意两种情况的输出之间的区别，在第 2 行：您可以看到，使用 trimws 我们可以删除前导和尾随空格，但使用正则表达式解决方案我们能够删除每个空格。

希望对你有帮助，谢谢

【讨论】：

感谢 Pradeep！所以当我在前几行运行它时，这似乎有效。然后当我尝试在整个数据集上运行它时，我的笔记本电脑在一段时间后放弃了，R 说它已经达到了内存限制。我将分析分解成更小的块的最佳方法是什么？我可以指定它一次只对数据矩阵中的单个列执行 gsub 函数吗？
对于这么大的数据文件，最好首先获取包ff。然后，您可以隐式地将文件分成几部分并避免内存限制。
@CarlWitthoft 您可以使用 ff 和 sed 查看我的答案。
@Pradeep 您的解决方案仅适用于每列都是“字符”的数据框。如果不是，则所有非字符列都转换为“字符”
@MarkusN ，请理解这个问题，它说“在每个数据条目中包含空格的多列”，这意味着数据帧的每个元素都是字符。因此，基于这个假设，我提出了这个解决方案。这个解决方案在这个问题上运行良好。我从来没有写过它适用于所有情况。在否决任何答案之前，请先查看情况。这个答案在任何意义上都没有错/不好。另请阅读投票标准。还请理解，当 R 版本

【解决方案3】：

根据 Fremzy 和 Stamper 的评论，现在这是我清理数据中空白的便捷例程：

df <- data.frame(lapply(df, trimws), stringsAsFactors = FALSE)

正如其他人所指出的那样，这会将所有类型更改为字符。在我的工作中，我首先确定原始中可用的类型和所需的转换。修剪后，我重新应用所需的类型。

如果您的原始类型没问题，请在 https://stackoverflow.com/a/37815274/2200542 下方应用 MarkusN 的解决方案

那些使用 Excel 文件的人可能希望探索 readxl 包，它在阅读时默认为 trim_ws = TRUE。

【讨论】：

我已经尝试过这个解决方案，但它会将所有列更改为因子。
使用df <- data.frame(lapply(df, trimws), stringsAsFactors = FALSE)。（我知道这个线程很旧，只是在这里为其他人注意。）
这个解决方案对我有用 - 并没有将列的类转换为因子。

【解决方案4】：

参考了 Fremzy 和 Mielniczuk，我得出了以下解决方案：

data.frame(lapply(df, function(x) if(class(x)=="character") trimws(x) else(x)), stringsAsFactors=F)

它适用于混合数字/字符数据帧，仅操作字符列。

【讨论】：

更改列名内的所有空格
函数 data.frame() 默认检查并“更正”列名。如果您希望您的列名不受影响，请使用 data.frame(... , check.names=F)
这只是修剪空白，它不会删除内部空白，对吧？

【解决方案5】：

仅涉及dplyr 的一种可能性是：

data %>%
 mutate_if(is.character, trimws)

或者考虑到所有变量都是类字符：

data %>%
 mutate_all(trimws)

由于dplyr 1.0.0（仅限字符串）：

data %>%
 mutate(across(where(is.character), trimws))

或者如果所有列都是字符串：

data %>%
 mutate(across(everything(), trimws))

【讨论】：

【解决方案6】：

R 根本不适合这种文件大小。但是有两个选择：

使用 ffdply 和 ff base

使用ff 和ffbase 包：

library(ff)
library(ffabse)
x <- read.csv.ffdf(file=your_file,header=TRUE, VERBOSE=TRUE,
                 first.rows=1e4, next.rows=5e4)
x$split = as.ff(rep(seq(splits),each=nrow(x)/splits))
ffdfdply( x, x$split , BATCHBYTES=0,function(myData)        
             apply(myData,2,function(x)gsub('\\s+', '',x))

使用 sed（我的偏好）

sed -ir "s/(\S)\s+(/S)/\1\2/g;s/^\s+//;s/\s+$//" your_file

【讨论】：

【解决方案7】：

您可以在所有列上使用 R 3.2 中的 trimws 函数。

myData[,c(1)]=trimws(myData[,c(1)])

您可以对数据集中的所有列进行循环。它在处理大型数据集时也具有良好的性能。

【讨论】：

【解决方案8】：

如果您正在处理这样的大型数据集，您可以真正受益于data.table 的速度。

library(data.table)

setDT(df)

for (j in names(df)) set(df, j = j, value = df[[trimws(j)]])

我希望这是最快的解决方案。这行代码使用data.table 的set 运算符，它非常快速地循环列。这里有一个很好的解释：Fast looping with set。

【讨论】：

此解决方案中存在拼写错误，以下将起作用： for (j in names(dat)) { if(class(dat[[j]])=="character") set( dat, j = j, 值 = trimws(dat[[j]]) ) }

【解决方案9】：

如果您想在data.frame 中维护变量类 - 您应该知道使用apply 会破坏它们，因为它会输出matrix，其中所有变量都转换为character 或numeric。在 Fremzy 和 Anthony Simon Mielniczuk 的代码的基础上，您可以遍历 data.frame 的列，并仅从 factor 或 character 类的列中修剪空白（并维护您的数据类）：

for (i in names(mydata)) {
  if(class(mydata[, i]) %in% c("factor", "character")){
    mydata[, i] <- trimws(mydata[, i])
  }
}

【讨论】：

【解决方案10】：

我认为使用 sapply 的简单方法也可以，给定一个像这样的 df：

dat<-data.frame(S=LETTERS[1:10],
            M=LETTERS[11:20],
            X=c(rep("A:A",3),"?","A:A ",rep("G:G",5)),
            Y=c(rep("T:T",4),"T:T ",rep("C:C",5)),
            Z=c(rep("T:T",4),"T:T ",rep("C:C",5)),
            N=c(1:3,'4 ','5 ',6:10),
            stringsAsFactors = FALSE)

你会注意到 dat$N 将成为类字符，因为 '4 ' & '5 ' （你可以检查 class(dat$N)）

要去除数字列上的空格，只需使用as.numeric 或as.integer 转换为numeric。

dat$N<-as.numeric(dat$N)

如果要删除所有空格，请执行以下操作：

dat.b<-as.data.frame(sapply(dat,trimws),stringsAsFactors = FALSE)

再次在 col N 上使用 as.numeric（因为 sapply 会将其转换为 character）

dat.b$N<-as.numeric(dat.b$N)

【讨论】：