【发布时间】:2020-07-19 22:08:41
【问题描述】:
我刚刚开始了一份新工作,并获得了一台戴尔 XPS 13 7390 笔记本电脑,但它在大数据文件/处理方面真的很吃力。
我目前正在使用 1.5gb 的 csv,当我尝试在 Jupyter Notebook 中使用 Python 打开它时出现内存错误。
标记数据时出错。 C 错误:内存不足
我确信我可以在我的个人笔记本电脑(一台 10 年前的 Macbook)上轻松打开这样的文件,所以我在同一个文件上对其进行了测试,它打开了。
为什么我的戴尔笔记本电脑虽然有大量可用 RAM,但仍然在挣扎?是否可以调整设置以为 Jupyter Notebooks 分配更多内存?我可以进行哪些测试来进一步研究这个问题?
下面的硬件详细信息。明显的区别是处理器速度 - 这可以解释吗?
戴尔笔记本电脑:
内存 - 16gb
处理器 - Intel Core i7-10510U CPU @ 1.80GHz
Macbook:
内存-4gb
处理器 - 2.7 GHz Intel Core i7
用于打开文件的代码:
import pandas as pd
data = pd.read_csv('data.csv')
data.shape
形状 = (2250493, 218)
【问题讨论】:
-
您是否尝试过在任务管理器中查看您的 ram 打开时?
-
你能分享你用来打开文件的代码吗?
-
@AMC 代码已添加。
-
@AwesomeCronk 内存使用率平均为 10%,当我运行代码时达到峰值 23%
标签: python jupyter-notebook data-science ram processor