R - 逐行读取 STDIN

Question

我想将大数据表逐行流式传输到 R 行，如果当前行具有特定条件（假设第一列 >15），则将该行添加到内存中的数据帧中。我写了以下代码：

count<-1;
Mydata<-NULL;
fin <- FALSE;
while (!fin){
    if (count==1){
        Myrow=read.delim(pipe('cat /dev/stdin'), header=F,sep="\t",nrows=1);
        Mydata<-rbind(Mydata,Myrow);
        count<-count+1;
    }
    else {
        count<-count+1;
        Myrow=read.delim(pipe('cat /dev/stdin'), header=F,sep="\t",nrows=1);
        if (Myrow!=""){
        if (MyCONDITION){
            Mydata<-rbind(Mydata,Myrow);
        }
        }
        else
        {fin<-TRUE}
    }
}
print(Mydata);

但我收到“数据不可用”错误。 请注意，我的数据很大，我不想一次读取所有数据并应用我的条件（在这种情况下很容易）。

Answer 1

我认为使用像readLines 这样的 R 函数会更明智。 readLines 只支持读取指定的行数，例如1. 将其与先打开file 连接，然后反复调用readLines 相结合，即可获得您想要的。多次调用readLines 时，将从连接中读取下一个n 行。在 R 代码中：

stop = FALSE
f = file("/tmp/test.txt", "r")
while(!stop) {
  next_line = readLines(f, n = 1)
  ## Insert some if statement logic here
  if(length(next_line) == 0) {
    stop = TRUE
    close(f)
  }
}

其他 cmets：

• R 有一种将标准输入视为文件的内部方法：stdin()。我建议你使用这个而不是使用pipe('cat /dev/stdin')。这可能使它更健壮，而且肯定更跨平台。
• 您在开始时初始化Mydata 并使用rbind 继续增长它。如果您rbind 的行数变大，这会变得非常慢。这与这样一个事实有关，即当对象增长时，操作系统需要为它找到一个新的内存位置，这最终会花费 很多 时间。更好的是预先分配MyData，或者使用应用样式循环。