如何在熊猫中使用 read_fwf 跳过空白行？答案

【问题标题】：How to skip blank lines with read_fwf in pandas?如何在熊猫中使用 read_fwf 跳过空白行？
【发布时间】：2017-03-06 21:30:23
【问题描述】：

我使用 Python pandas 0.19.2 中的 pandas.read_fwf() 函数读取具有以下内容的文件 fwf.txt：

# Column1 Column2
      123     abc

      456     def

#
#

我的代码如下：

import pandas as pd
file_path = "fwf.txt"
widths = [len("# Column1"), len(" Column2")]
names = ["Column1", "Column2"]
data = pd.read_fwf(filepath_or_buffer=file_path, widths=widths, 
                   names=names, skip_blank_lines=True, comment="#")

打印出来的数据框是这样的：

    Column1 Column2
0   123.0   abc
1   NaN     NaN
2   456.0   def
3   NaN     NaN

看起来 skip_blank_lines=True 参数被忽略了，因为数据帧包含 NaN。

确保跳过空行的pandas.read_fwf() 参数的有效组合应该是什么？

【问题讨论】：

尝试去掉comment参数，它可能会覆盖skip_blank_lines
@rassar 这也是我的想法，但似乎没有帮助。
对我来说它看起来像一个 Pandas 错误...
@B. M.，这是关于 R 中类似函数的问题
是的，read_fwf 忽略了skip_blank_lines 似乎是一个错误。通过启用verbose=True 推断NA 值时，您可以收到一条消息。您可以将此错误报告为pandas issue。您也可以使用 na_filter = None 禁用在空白行上推断出的 NA

标签： python pandas

【解决方案1】：

import io
import pandas as pd
file_path = "fwf.txt"
widths = [len("# Column1 "), len("Column2")]
names = ["Column1", "Column2"]

class FileLike(io.TextIOBase):
    def __init__(self, iterable):
        self.iterable = iterable
    def readline(self):
        return next(self.iterable)

with open(file_path, 'r') as f:
    lines = (line for line in f if line.strip())
    data = pd.read_fwf(FileLike(lines), widths=widths, names=names, 
                       comment='#')
    print(data)

打印

   Column1 Column2
0      123     abc
1      456     def

with open(file_path, 'r') as f:
    lines = (line for line in f if line.strip())

定义一个生成器表达式（即一个可迭代的），它产生从文件中删除空行的行。

pd.read_fwf 函数可以接受 TextIOBase 对象。你可以子类 TextIOBase 以便其 readline 方法从可迭代对象返回行：

class FileLike(io.TextIOBase):
    def __init__(self, iterable):
        self.iterable = iterable
    def readline(self):
        return next(self.iterable)

将这两者放在一起为您提供了一种操作/修改文件行的方法在将它们传递给pd.read_fwf之前。

【讨论】：