【发布时间】:2016-06-02 09:26:55
【问题描述】:
我有一个“.csv”文件,其中包含超过 100 万行数据。
在 python 中,我必须处理这些数据。在这种情况下,每次运行后,我必须等待将近 1 分钟才能加载数据。
为了不等这么久,我想自动创建一个“.py”文件,里面有这个“.csv”文件的numpy数组列表,并返回这个值。
如何使用 python 脚本自动创建这样的“.py”文件?
谢谢,
【问题讨论】:
-
查看pickle
我有一个“.csv”文件,其中包含超过 100 万行数据。
在 python 中,我必须处理这些数据。在这种情况下,每次运行后,我必须等待将近 1 分钟才能加载数据。
为了不等这么久,我想自动创建一个“.py”文件,里面有这个“.csv”文件的numpy数组列表,并返回这个值。
如何使用 python 脚本自动创建这样的“.py”文件?
谢谢,
【问题讨论】:
import numpy as np
保存:
np.save('my_array.npy', my_array)
再次加载:
my_array = np.load('my_array.npy')
这是一个简单且可能相当快速的解决方案。
如果您有多个数组,您可以使用savez()。 也许使用savez_compressed 进行压缩会很有用。试试看它是否适合你。
【讨论】: