【问题标题】:Pandas Dataframe interpreting columns as float instead of StringPandas Dataframe 将列解释为浮点数而不是字符串
【发布时间】:2019-04-16 06:22:03
【问题描述】:

我想将 csv 文件导入 pandas 数据框。有一列有 ID,它只包含数字,但不是每一行都有一个 ID。

   ID      xyz
0  12345     4.56
1           45.60
2  54231   987.00

我想将此列读取为字符串,但即使我用

指定它

df=pd.read_csv(filename,dtype={'ID': str})

我明白了

   ID         xyz
0  '12345.0'    4.56
1   NaN        45.60
2  '54231.0'  987.00

有没有像'12345'这样简单的方法将ID作为不带小数的字符串获取,而无需在导入表格后编辑字符串?

【问题讨论】:

  • 数字列中是否可能存在空值?
  • 如果您关心的是输出格式,请在导出数据时解决此问题(例如to_csv、to_string),不通过更改基础数据(看起来很好)到尴尬的类型。
  • 我认为你可以升级你的 pandas 版本并且一切正常。
  • 我的意思是我的基础数据是一个 csv 文件,其 ID 不是数字,而是顾名思义作为标识。字符串似乎是最好的表示。

标签: python python-3.x pandas dataframe types


【解决方案1】:

解决方案可能是这样,但是在您导入 df 之后:

df = pd.read_csv(filename)
df['ID'] = df['ID'].astype(int).astype(str)

或者因为有NaN 有:

df['ID'] = df['ID'].apply(lambda x: x if pd.isnull(x) else str(int(x)))

【讨论】:

  • 不起作用,因为我有空单元格,并且 NaN 值无法转换为 int
  • 成功了,谢谢。正在尝试类似的方法,但您的效果更好
  • 这让我在浏览了半小时后没有用的其他答案后救了我。谢谢!
  • 如果单元格的值为“00212”,我们该怎么办? @乔
【解决方案2】:

写入 csv 时指定浮点格式

由于您的根本问题是导出数据时的输出格式,因此不需要任何操作。只需使用:

df.to_csv('file.csv', float_format='%.0f')

由于您只希望特定列具有这种格式,您可以使用to_string:

def format_int(x):
    return f'{x:.0f}' if x==x else ''

with open('file.csv', 'w') as fout:
    fout.write(df.to_string(formatters={'ID': format_int}))

保持数值数据数值化

有一列带有ID,它只包含数字

如果您的列仅包含数字,请勿转换为字符串!您转换为字符串的愿望似乎是XY problem。数字标识符应保持数字。

float NaN 提示向上转换

您的问题是 NaN 值不能与 numeric 系列中的整数共存。由于NaN 是float,Pandas 强制向上转换。这是很自然的,因为object dtype 替代方案效率低下,不推荐。

如果可行,您可以使用哨兵值,例如-1 表示空值:

df['ID'] = pd.to_numeric(df['ID'], errors='coerce').fillna(-1).astype(int)

print(df)

      ID     xyz
0  12345    4.56
1     -1   45.60
2  54231  987.00

【讨论】:

  • If your column only includes numbers, don't convert to strings! - OP 需要将数字转换为字符串,为什么不呢?它有什么问题?
  • @jezrael, XY problem:“XY 问题是询问您尝试的解决方案,而不是您的实际问题。”
  • 好的,请将您关于XY问题的commnet添加到问题下的评论中,但是如果需要转换为字符串数字列绝对没有错。
  • 我需要它们作为字符串,或者至少是可以转换为字符串的整数。如果找不到其他选项,我会尝试您的方法,但每次保存文件时都必须删除 -1。
  • 我不投票,因为don't convert to strings! 是错误的陈述。
【解决方案3】:

如果缺失值不在数字列中,可能的解决方案 - 广告参数 keep_default_na=False 用于不将空值转换为字符串,但它不会在所有数据中转换为 NaN,并不总是在第一列中,还要检查 docs:

import pandas as pd

temp=u"""ID;xyz
0;12345;4.56
1;;45.60
2;54231;987.00"""
#after testing replace 'pd.compat.StringIO(temp)' to 'filename.csv'
df = pd.read_csv(pd.compat.StringIO(temp), sep=";", dtype={'ID': str}, keep_default_na=False)
    print (df)
      ID     xyz
0  12345    4.56
1          45.60
2  54231  987.00

编辑:

对我来说,在 pandas 0.23.4 中完美地运行您的解决方案,因此这意味着较低的 pandas 版本中存在错误:

import pandas as pd

temp=u"""ID;xyz
0;12345;4.56
1;;45.60
2;54231;987.00"""
#after testing replace 'pd.compat.StringIO(temp)' to 'filename.csv'
df = pd.read_csv(pd.compat.StringIO(temp), sep=";", dtype={'ID': str})
print (df)
      ID     xyz
0  12345    4.56
1    NaN   45.60
2  54231  987.00

【讨论】:

  • 它适用于您的示例,但不适用于我的 csv 文件。与之前结果的唯一区别是 NaN 变成了一个空字符串。我真的很困惑,我再次检查了我的文件,但那里肯定没有浮动。
  • @GeorgB - ID 列中的预期输出是什么而不是空字符串?
  • 空列无关紧要,只要我有一种简单的方法可以将它们过滤掉。我只需要非空 ID 作为字符串,最后没有“.0”。用户乔给出了一个有效的答案,所以我可以继续。只是感觉有一种方法可以在读取文件时而不是之后。
  • @GeorgB - df['ID'] = df['ID'].apply(lambda x: x if pd.isnull(x) else str(int(x))) 是你的解决方案吗?
  • @GeorgB - 你的熊猫版本是什么?因为在 pandas 0.23.4 中,它工作得很好,就像你需要的那样。
猜你喜欢
  • 2019-02-02
  • 2021-07-22
  • 1970-01-01
  • 2021-06-24
  • 2020-04-21
  • 1970-01-01
相关资源
最近更新 更多