熊猫无法使用熊猫读取 CSV 文件，带有额外的引号字符

Question

我有以下 CSV 和以下条目

“第 1 列”| “列2”| “第 3 列”| “第 4 列”| “第 5 栏”
“123” | “sometext”、“this somedata”、“8 英寸”、“你好”

当我尝试读取 8 inches" 时出现问题，我无法使用 read_csv() 读取 csv。

Pandas.read_csv(io.BytesIO(obj['Body'].read()), sep="|",
                                      quoting=1,
                                      engine='c', error_bad_lines=False, warn_bad_lines=True,
                                      encoding="utf-8", converters=pandas_config['converters'],skipinitialspace=True,escapechar='\"')

有没有办法处理单元格内的引号。

Answer 1

从为此案例传递适当的参数开始：

1. sep='[|,]' - 有 两个 分隔符：一个 管道 字符和一个 逗号， 所以将它们定义为 regex。
2. skipinitialspace=True - 您的源文本包含额外的空格（在 分隔符），所以你应该删除它们。
3. engine='python' - 抑制有关回退到 “python”引擎。

上述选项单独允许调用 read_csv 没有错误，但缺点 （现在）是双引号仍然存在。

要至少从数据行中消除它们，还需要另一个技巧：

定义一个转换器（lambda）函数：

cnv = lambda txt: txt.replace('"', '')

并将其应用于所有源列。

在您的情况下，您有 5 列，因此为了保持代码简洁， 你可以使用字典理解：

{ i: cnv for i in range(5) }

所以整个代码可以是：

df = pd.read_csv(io.StringIO(txt), sep='[|,]', skipinitialspace=True,
    engine='python', converters={ i: cnv for i in range(5) })

结果是：

  "column1"  "column2"       "column3"  "column4"  "column5"
0      123    sometext   this somedata   8 inches      hello

但是请记住，现在所有的列都是 string 类型的，所以你应该 将所需的列转换为数字。 另一种方法是为数字列传递第二个转换器， 返回 数字 而不是字符串。

要获得正确的列名（不带双引号），您可以传递其他参数：

• skiprows=1 - 省略第一行，
• names=["column1", "column2", "column3", "column4", "column5"] - 到 自行定义列列表。

Answer 2

我们可以指定一个稍微复杂的分隔符，读取数据并去除多余的引号字符：

# Test data:
text='''"column1"| "column2"| "column3"| "column4"| "column5" 
        "123" | "sometext", "this somedata", "8 inches"", "hello"'''
ff=io.StringIO(text)


df= pd.read_csv(ff,sep=r'"\s*[|,]\s*"',engine="python")
# Make it tidy:
df= df.transform(lambda s: s.str.strip('"'))
df.columns= ["column1"]+list(df.columns[1:-1])+["column5"]

结果：

  column1   column2        column3   column4 column5
0     123  sometext  this somedata  8 inches   hello