pandas：DTypeWarning，但我指定了 dtypes

Question

我正在使用以下内容读取 Pandas 数据框：

df = pd.read_csv('../table.csv.gz', nrows=10000,
                 index_col=False, engine='c',
                 true_values=[b'1'], false_values=[b'0'],
                 usecols=usecols, dtype=dtype)

我收到以下警告：

DtypeWarning: Columns (5,2397,2402,2449) have mixed types. Specify dtype option on import or set low_memory=False.

但列的标题名称存在于dtype 中。所有这些列的指定类型是np.bool，并且 csv 文件中这些列中存在的唯一值是 '1' 和 ''（逗号之间没有任何内容。这给出了一个类型为 object 的列，并且调用 DataFrame.fillna 时变为类型 bool)。

此外，当我编辑 CSV 文件以删除除违规列之外的所有列以尝试查明警告的来源时，警告停止发生。

发生了什么事？这是read_csv 中的错误吗？我应该忽略警告吗？

Answer 1

所以我猜你的问题是，当你读取文件时，这些列实际上有两种不同类型的值：np.bool('1') 和 np.nan('')，所以实际上如果你是告诉它将该列视为 np.bool 它不会这样做。我认为您可以尝试使用相同的方法，只需将 false_values 参数更改为 false_values = [b'']

df = pd.read_csv('../table.csv.gz', nrows=10000,
             index_col=False, engine='c',
             true_values=[b'1'], false_values=[b''],
             usecols=usecols, dtype=dtype)

如果这不起作用，您也可以这样做：

df.loc[:,[5,2397,2402,2449]].fillna('0',inplace = True)
df.to_csv('../table.csv.gz')

现在，当您回读它时，实际上应该是 0。

df = pd.read_csv('../table.csv.gz', nrows=10000,
             index_col=False, engine='c',
             true_values=[b'1'], false_values=[b'0'],
             usecols=usecols, dtype=dtype)