【问题标题】:Big file loading strategy大文件加载策略
【发布时间】:2017-03-31 19:52:30
【问题描述】:

例如,我有一个 10GB 的 csv 文件,我想得到这个文件中间的 1000 行,或者我想得到这个文件的任何一行。有没有可以帮助我的开源库?我必须根据操作系统来解决这个问题吗?

【问题讨论】:

标签: python file csv pandas


【解决方案1】:

文件是迭代器,要从任何迭代器的中间取出项目而不存储其余部分,您可以使用islice

from itertools import islice

with open('bigfile.txt') as bigfile:
    lines = islice(bigfile, start, end)

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2012-05-12
    • 2012-04-16
    • 1970-01-01
    • 1970-01-01
    • 2017-04-09
    • 2011-06-30
    • 2012-06-23
    • 2011-06-12
    相关资源
    最近更新 更多