【问题标题】:Largest number of rows in a csv python can handle?csv python可以处理的最大行数?
【发布时间】:2017-01-26 14:57:19
【问题描述】:
import csv
with open("C:\Anaconda3\FalkParameters\AllModels.csv","r") as f:
    reader = csv.reader(f)
    listofModels = list(reader)

AllModels 是一个巨大的 csv 文件 (2.4 GB)。我不确定那里有多少行,因为我无法使用任何应用程序(记事本、notepad++、excel 等)打开它。

上面的代码运行正常,但是如果我尝试打印“listofModels”,控制台会开始打印,但有时我会收到“ValueError: I/O operation on closed file”。每次打印在不同的行停止。

我想知道是否有办法在 python 中处理巨大的 csv 文件。

【问题讨论】:

    标签: python csv


    【解决方案1】:

    不要将其转换为列表。而是使用生成器。 一次打印一个值/行。

    for line in reader:
        print line
    

    希望这会有所帮助!

    【讨论】:

    • 我敢肯定!
    • 是的,因为一次打印大文件会导致内存满,无法打印。
    • 太棒了。非常感谢!
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2022-01-04
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2018-03-23
    相关资源
    最近更新 更多