阅读单行泡菜python

Question

我正在用 python 进行一些模拟，并使用 pickle.dump() 保存结果。现在我有大量数据需要阅读。数据由矩阵（很多行数字）组成，每个矩阵都保存在一个文件中。我需要能够有效地阅读信息。

• 如何在不上传完整文件的情况下读取矩阵的单行？

• 如何在不上传完整文件的情况下读取一组特定的行（例如从第 1000 行到第 2000 行）？ 这是我用来保存数据的代码：

  for j in range(61):
      for l in range(31):
          X = zeros([100000,100])
          K = k[j]
          A = a[l]
          X = RK4(deriv,dt,pasos,xo,n,w,b,K,g,A,V)
          pickle.dump( X, open( 'Vrc'+'dk_'+ str(K) + 'alpha_' + str(A) , "wb" ) )
  

Answer 1

在进行 pickle.load() 时尝试使用生成器：yield pickle.load(...)

也可以看看cPickle。