如何在使用 pandas read_csv 和 chunksize 选项阅读时跳过 csv 文件中的页脚

Question

我正在使用 pandas.read_csv() 和 chunksize = 500000 读取大的 csv 文件。 由于我使用的是块大小，因此“skipfooter=1”选项不适用于块大小，因为它返回的是生成器而不是数据帧。

在读取块时从文件中跳过页脚记录的最佳方法是什么？

Answer 1

这样的事情会起作用：

import pandas

chunksize = 5
csv = pandas.read_csv('sample.csv', chunksize=chunksize)

class NextIterator:
    def __init__(self, iterator):
        self._iterator = iterator
        self._buffer = []

    def __iter__(self):
        return self

    @property
    def has_next(self):
        try:
            self._buffer = [next(self._iterator)]
            return True
        except StopIteration:
            return False

    def __next__(self):
        if self._buffer:
            return self._buffer.pop()
        else:
            # returns the dataframe
            return next(self._iterator)

has_next = True
b = NextIterator(csv)
while has_next:
    a = next(b)
    if b.has_next:
        print(a)
    else:
        print(a[:-1])
        has_next = False

您不一定需要创建一个类，但我发现它很有用。

使用 next 并捕获 StopIteration 您可以检查迭代器中是否还有更多内容。如果没有，您可以只切片您的块以排除最后一个元素。