【问题标题】:May I use either tab or comma as delimiter when reading from pandas csv?从 pandas csv 读取时,我可以使用制表符或逗号作为分隔符吗?
【发布时间】:2021-01-26 21:57:59
【问题描述】:

我有 csv 文件。有些是逗号分隔的,有些是制表符分隔的。

df = pd.read_csv(data_file, sep='\t')

在使用 pd.read_csv() 时,有没有办法将制表符或逗号指定为分隔符?或者,有没有办法自动检测文件是制表符还是逗号分隔?如果我知道这一点,我可以在读取文件时使用不同的 sep='' 参数。

【问题讨论】:

  • CSV 代表“逗号分隔值”
  • @Erich,我也有标签分隔文件,扩展名为 '.csv'
  • 我不确定您使用的是什么操作系统,但文件扩展名实际上非常短暂。我可以以任何我想要的方式标记我想要的任何文件,我也可以制作程序来标记它们我喜欢的方式。 tools.ietf.org/html/rfc4180#section-2
  • 你解决了吗?我很想知道

标签: python pandas


【解决方案1】:

最近我遇到了一个类似的问题,我最终使用了不同的方法,但我探索了使用 CSV 标准库中的 Sniffer 类。

我没有在生产中使用它,只是为了帮助查找用于测试原型的文件类型,使用风险自负!

来自文档

“嗅探”CSV 文件的格式(即分隔符、引号字符)返回 方言对象。

您可以返回方言对象,然后将 dialect.delimiter 传递给 pd.read_csv 中的 sep 参数

'text_a.csv'

cola|colb|col
A|B|C
E|F|G
A|B|C
E|F|G

'text_b.csv'

cola\tcolb\tcol
A\tB\tC
E\tF\tG
A\tB\tC
E\tF\tG
A\tB\tC

from csv import Sniffer

sniffer = Sniffer()

def detect_delim(file,num_rows,sniffer):

    with open(file,'r') as f:
        for row in range(num_rows):
            line = next(f).strip()
            delim = sniffer.sniff(line)
    
    print(delim.delimiter) # ideally you should return the dialect object - just being lazy.
    #return delim.dedelimiter

detect_delim(file='text_a.csv',num_rows=5,sniffer=sniffer)
'|'
detect_delim(file='text_b.csv',num_rows=5,sniffer=sniffer)
'\t'

【讨论】:

    【解决方案2】:

    我刚刚阅读了第一行,看看哪一行提供了更多列:

    import pandas as pd
    tab = pd.read_csv(data_file, nrows=1, sep='\t').shape[1]
    com = pd.read_csv(data_file, nrows=1, sep=',').shape[1]
    if tab > com:
        df = pd.read_csv(data_file, sep='\t')
    else:
        df = pd.read_csv(data_file, sep=',')
    

    【讨论】:

    • 如果其中一行中的第一个字符串是正确的字符串但有 50,000 个制表符,该怎么办
    • 如果您知道应该有多少列,您可以将 if 语句更改为例如if tab == 8: <load as tab> elif com == 8: <load as com>。或者你可以设置一个最大值,例如if (tab > com) and (tab < 100): <load as tab> else: <load as com>.
    • 这仍然错过了tab == N 和com == 8 都为真的情况。它也错过了给出错误文件的情况。这不是一个容易处理的问题,没有什么能阻止用户将整个蜜蜂电影放入您的程序中,您如何处理它以及您所做的假设是您控制的。您可以尝试拆分两者并查看字段是否有效,但这仍然会留下一些边缘情况。或者您可以要求用户明确输入,否则拒绝输入。
    • 我的意思是这绝对不是生产级别的代码,但如果你可以对你拥有的数据做一些温和的假设,它就会起作用。
    【解决方案3】:

    是this useful?您可以使用带有read_csv 的python 正则表达式解析器并指定不同的分隔符。

    【讨论】:

      【解决方案4】:

      如果您不希望能够从文件内容本身确定文件的格式,请让用户指定文件的格式。

      例如--tab-delimited-file=true 的某种标志,然后根据他们的输入翻转分隔符。

      【讨论】:

      • 或者,您可以请大家在使用制表符而不是逗号时使用*.tsv 扩展名。
      猜你喜欢
      • 1970-01-01
      • 2020-05-25
      • 1970-01-01
      • 2016-04-22
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多