【问题标题】:Losing Records when writing to csv using R使用 R 写入 csv 时丢失记录
【发布时间】:2019-05-24 22:49:18
【问题描述】:

我有超过 2700 万条数据记录正在尝试写入.csv 格式。
但是,当我运行我的代码时,我丢失了除 110 万条记录之外的所有记录。如何将所有 27M 记录写入.csv 格式而不丢失数据?

write.csv(DT, "file.csv")

我希望将所有 .csv 格式的数据上传到 hive 架构中,但在运行我的流程后,我再次在我的架构中看到 110 万条记录。有什么解决办法吗?

【问题讨论】:

    标签: r export-to-csv


    【解决方案1】:

    它达到了 110 万条记录还是 1.080.000 条记录?我会尝试改用fwritehttps://www.rdocumentation.org/packages/data.table/versions/1.12.2/topics/fwrite

    Large csv file fails to fully read in to R data.frame

    【讨论】:

    • 感谢您的回复。我尝试使用 fwrite 并检索了一条额外的记录 1196191 与以前检索 1196190 的 write.csv 方法相比。将数据从桌面移动到集群时可能发生了什么?
    • 我在写入后将文件读回 R 并且所有数据都在那里。这意味着从我的桌面移动到配置单元时发生了一些事情。谢谢!
    猜你喜欢
    • 1970-01-01
    • 2021-05-24
    • 1970-01-01
    • 2023-03-31
    • 1970-01-01
    • 1970-01-01
    • 2013-06-27
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多