Pandas read_csv 声明 dtype 错误地转换列

Question

当我使用 pandas 读取 csv 文件时，我使用字典 (dict_types) 设置 dtype 以节省内存：

dict_types = {
    "Id": "object",
    "COD_OPE": "object",
    "NUM_OPE": "float32",
    "STR_ANA": "category",
    "COD_EXO": "category",
    "NUM_CPT": "object",
    "MTT_DEV": "float32",
    "SEN_MTT": "category",
}
columns = [
    "Id",
    "COD_OPE",
    "NUM_OPE",
    "STR_ANA",
    "COD_EXO",
    "NUM_CPT",
    "MTT_DEV",
    "SEN_MTT",
    "DTE_OPE", 
    "DTE_CPT",
    "DTE_VAL", 
    "DTE_TRT"
]
df_chunk = pd.read_csv(
    "../SIDP_Operations/SAB_OPE_02_2020/SAB_OPE_02_2020.rpt",
    sep="\t",
    dtype=dict_types,
    usecols=columns,
    error_bad_lines=False,
    chunksize=1000000,
    parse_dates=["DTE_OPE", "DTE_CPT", "DTE_VAL", "DTE_TRT"],
    infer_datetime_format=True,
)

但是，当文件被加载并且我查看df.info() 和df.dtypes 时，它告诉我STR_ANA 的类型是object，而我希望它应该是category。 而“COD_EXO”“SEN_MTT”确实是类型category

为什么？

也许是因为我使用 chunk 的方式？ 实际上我这样做是为了读取数据帧

chunk_list=[] 
for chunk in df_chunk: 
    chunk_list.append(chunk) 
df=pd.concat(chunk_list,ignore_index=True)

Answer 1

可以使用pd.concat()，但最好加上ignore_index=True，避免索引重复。

df = pd.concat(df_chunk, ignore_index=True)

您已为parse_dates 参数填写了4 列，这些参数在columns 中不存在。

确保 csv 文件中的列名与您分配的 dtypes 和 usecols 的名称相同。可以肯定的是，使用参数header=N 来确保pandas 使用csv 的N 行作为你的标题。

试试这个：

# add 4 columns with date
columns = [
    "Id",
    "COD_OPE",
    "NUM_OPE",
    "STR_ANA",
    "COD_EXO",
    "NUM_CPT",
    "MTT_DEV",
    "SEN_MTT",
    "DTE_OPE", "DTE_CPT", "DTE_VAL", "DTE_TRT"
]
df_chunk = pd.read_csv(
    "../SIDP_Operations/SAB_OPE_02_2020/SAB_OPE_02_2020.rpt",
    sep="\t",
    header=0,
    usecols=columns,
    dtype=dict_types,
    parse_dates=["DTE_OPE", "DTE_CPT", "DTE_VAL", "DTE_TRT"],
    infer_datetime_format=True,
    chunksize=1000000,
    error_bad_lines=False,
    low_memory=False
)

如果还是不行，请尝试删除low_memory=False。