【问题标题】:How to import multiple files and save to multiple data files?如何导入多个文件并保存到多个数据文件?
【发布时间】:2016-07-08 20:22:40
【问题描述】:

而不是,

split1<- read.csv("C:/Users/Admin/Documents/intern/splitstx/splitstx (1).csv")
split2<- read.csv("C:/Users/Admin/Documents/intern/splitstx/splitstx (2).csv")
.
.
.
split36<- read.csv("C:/Users/Admin/Documents/intern/splitstx/splitstx (36).csv")

我不想保存在 1 个文件中,因为当所有文件合并时,它包含 5GB csv 数据,而我的 ram 不支持它。那么有没有其他的解决方案呢?

【问题讨论】:

  • ff 包可能会有所帮助
  • 怎么做?对不起,我是 r 的新手
  • 我没有使用 ff package 的经验,但它的数据结构存储在磁盘而不是 RAM 上。如果 RAM 的数量是您的限制并且您想要所有数据,那么这可能是您唯一的选择。
  • 另外:停止添加RStudio 标签,这不是一个特定的RStudio 问题。
  • 好的,谢谢。我会试试那个包

标签: r


【解决方案1】:

您只想合并 CSV 文件中的数据?试试这样的。

library(data.table)
setwd("C:/Users/xxx/Merge Multiple CSV Files/CSV Files/")

WD="C:/Users/xxx/Merge Multiple CSV Files/CSV Files/"
data<-data.table(read.csv(text="CashFlow,Cusip,Period"))

csv.list<- list.files(WD)
k=1

for (i in csv.list){
  temp.data<-read.csv(i)
  data<-data.table(rbind(data,temp.data))

  if (k %% 100 == 0)
    print(k/length(csv.list))

  k<-k+1
}

【讨论】:

    猜你喜欢
    • 2022-07-29
    • 1970-01-01
    • 1970-01-01
    • 2016-02-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2018-10-11
    • 1970-01-01
    相关资源
    最近更新 更多