【问题标题】:Unable to open a large .csv file无法打开大型 .csv 文件
【发布时间】:2017-04-22 13:10:02
【问题描述】:

一个非常简单的问题... 我下载了一个非常大的 .csv 文件(大约 3.7 GB),现在想打开它;但 excel 似乎无法解决这个问题。 请问这个文件怎么打开? 显然我错过了一个技巧! 请帮忙!

【问题讨论】:

  • 文件是否适合单个工作表??
  • 可能不是,但我不知道它的格式,因为我无法打开它
  • 下载一个可以像Sublime Text一样打开它的程序,猜猜它是不是3.7gb,有超过100万条记录,这是Excel在一张纸上可以处理的那么大。您可能需要一个数据库(不是 Access,因为它也太大了)来处理这种数据。

标签: excel csv


【解决方案1】:

还有许多其他 Stackoverflow 问题可以解决此问题,例如: Excel CSV. file with more than 1,048,576 rows of data

最重要的是,您正在进入具有这种规模的数据库领域。我发现的最佳解决方案是来自 Google 云平台的 Bigquery。它超级便宜,速度惊人,它会自动检测大多数 CSV 上的模式。缺点是你必须学习 SQL 才能对数据做最简单的事情。

【讨论】:

    【解决方案2】:

    你能不能告诉 excel 只“打开”前 10 行的文件... 这将允许您检查格式,然后对内容使用一些数据库函数。

    【讨论】:

      【解决方案3】:

      另一个影响能否打开大型 Excel 文件的因素是计算机的资源和容量。这是一个巨大的文件,您必须有大量的磁盘交换空间(Windows 中的页面文件)+ 内存才能打开该大小的文件。因此,您可以做的一件事是找到另一台具有更多内存和资源的计算机,或者增加计算机上的交换空间。如果你有 Windows 只是谷歌如何增加你的页面文件。

      【讨论】:

        【解决方案4】:

        这是一个常见问题。典型的解决方案是

        1. 将您的 .CSV 文件插入 SQL 数据库,例如 MySQL、PostgreSQL 等。

        2. 使用 Python 或 R 处理您的数据。

        3. 为您的数据寻找数据中心。例如,Acho Studio。

        解决方案一的问题是您必须设计一个表模式并找到一个服务器来托管数据库。您还需要编写服务器端代码来维护或更改数据库。 Python 或 R 的问题在于,在 GB 数据上运行进程会给您的本地计算机带来压力。数据中心要容易得多,但其成本可能会有所不同。

        【讨论】:

          猜你喜欢
          • 1970-01-01
          • 1970-01-01
          • 1970-01-01
          • 2020-11-16
          • 1970-01-01
          • 1970-01-01
          • 2014-11-13
          • 2018-10-02
          • 2018-03-25
          相关资源
          最近更新 更多