将分解的数据块拉入 R

Question

我有一个布局异常的 csv 文件。数据不是顶部的连续块。 csv文件可以这样描述：

Comment Strings
Empty row
Comment String

[Desired Data with 10 columns and an undetermined number of rows]

Empty Row

Comment String 

[Desired Data with 10 columns and an undetermined number of rows]

Empty Row

Comment String 

[包含 10 列且列数未定的所需数据]

.... and so on and so forth.

如前所述。每个数据块都有随机数量的行。

将这些数据提取到 R 中的最佳方法是什么？ read.table/read.csv 只能做这么多。

 read.table("C:\\Users\\Riemmman\\Desktop\\Historical Data\\datafile.csv",header=F,sep=",",skip=15,blank.lines.skip=T)

Answer 1

您可以结合使用readLines 和grep/grepl 来帮助您确定要阅读哪些行。

这是一个例子。第一部分只是补充一些样本数据。

创建一些示例数据。

x <- tempfile(pattern="myFile", fileext=".csv")

cat("junk comment strings",
    "",
    "another junk comment string",
    "This,Is,My,Data",
    "1,2,3,4",
    "5,6,7,8",
    "",
    "back to comments",
    "This,Is,My,Data",
    "12,13,14,15",
    "15,16,17,18",
    "19,20,21,22", file = x, sep = "\n")

第一步：使用readLines()将数据导入R

在这一步中，我们还将删除我们不感兴趣的行。逻辑是我们只对具有以下形式的信息的行感兴趣（对于四列数据集）：

某事逗号某事逗号某事逗号某事

---

## Read the data into R
## Replace "con" with the actual path to your file
A <- readLines(con = x)

## Find and extract the lines where there are "data".
## My example dataset only has 4 columns.
## Modify for your actual dataset.
A <- A[grepl(paste(rep(".*", 4), collapse=","), A)]

第 2 步：识别数据范围

## Identify the header rows. -1 for use with read.csv
HeaderRows <- grep("^This,Is", A)-1

## Identify the number of rows per data group
N <- c(diff(HeaderRows)-1, length(A)-1)

第三步：读取数据

使用数据范围信息指定读取前跳过多少行，读取多少行。

myData <- lapply(seq_along(HeaderRows), 
       function(x) read.csv(text = A, header = TRUE, 
                            nrows = N[x], skip = HeaderRows[x]))
myData
# [[1]]
#   This Is My Data
# 1    1  2  3    4
# 2    5  6  7    8
# 
# [[2]]
#   This Is My Data
# 1   12 13 14   15
# 2   15 16 17   18
# 3   19 20 21   22

---

如果您希望将所有这些都放在一个 data.frame 而不是 list 中，请使用：

final <- do.call(rbind, myData)

Answer 2

我最近遇到了这样的问题。我的解决方案是使用 awk 分离出不同类型的行，将它们加载到 dbms 中的不同表中，并使用 sql 创建一个平面文件以加载到 R 中。

或者，如果您不关心注释字符串，也许您可​​以只提取您想要的数据并加载它。

Answer 3

使用@Ananda Mahto 生成的数据，

file = x # change for the actual file name
alldata = readLines(file) # read all data
# count the fields in data (separated by comma)
nfields = count.fields(file=textConnection(alldata), sep=",", blank.lines.skip=FALSE) 
# asumme data has the 'mode' of the number of fields (can change for the actual number of colums)
dataFields = as.numeric(names(table(nfields))[which.max(table(nfields))]) 

alldata = alldata[nfields == dataFields] # read data lines only
header = alldata[1] # the header
alldata = c(header, alldata[alldata!=header]) # remove the extra headers
datos = read.csv(text=alldata) # read the data

  This Is My Data
1    1  2  3    4
2    5  6  7    8
3   12 13 14   15
4   15 16 17   18
5   19 20 21   22