【问题标题】:Why is my laptop struggling with large data sets? 16gb RAM defeated by a 1.5gb csv为什么我的笔记本电脑无法处理大型数据集? 16gb RAM 被 1.5gb csv 打败
【发布时间】:2020-07-19 22:08:41
【问题描述】:

我刚刚开始了一份新工作,并获得了一台戴尔 XPS 13 7390 笔记本电脑,但它在大数据文件/处理方面真的很吃力。

我目前正在使用 1.5gb 的 csv,当我尝试在 Jupyter Notebook 中使用 Python 打开它时出现内存错误。

标记数据时出错。 C 错误:内存不足

我确信我可以在我的个人笔记本电脑(一台 10 年前的 Macbook)上轻松打开这样的文件,所以我在同一个文件上对其进行了测试,它打开了。

为什么我的戴尔笔记本电脑虽然有大量可用 RAM,但仍然在挣扎?是否可以调整设置以为 Jupyter Notebooks 分配更多内存?我可以进行哪些测试来进一步研究这个问题?

下面的硬件详细信息。明显的区别是处理器速度 - 这可以解释吗?

戴尔笔记本电脑:

内存 - 16gb

处理器 - Intel Core i7-10510U CPU @ 1.80GHz

Macbook:

内存-4gb

处理器 - 2.7 GHz Intel Core i7

用于打开文件的代码:

import pandas as pd
data = pd.read_csv('data.csv')
data.shape

形状 = (2250493, 218)

【问题讨论】:

  • 您是否尝试过在任务管理器中查看您的 ram 打开时?
  • 你能分享你用来打开文件的代码吗?
  • @AMC 代码已添加。
  • @AwesomeCronk 内存使用率平均为 10%,当我运行代码时达到峰值 23%

标签: python jupyter-notebook data-science ram processor


【解决方案1】:

我安装了 32 位 python...我已经切换到 64 位,它工作正常

【讨论】:

    猜你喜欢
    • 2012-12-19
    • 1970-01-01
    • 2017-07-04
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2019-02-07
    • 2015-03-21
    • 1970-01-01
    相关资源
    最近更新 更多