如何从带有额外分隔符的 csv 在 python 中创建 pandas 数据框？

Question

我有一个大的 csv（大约 400k 行），我希望将其转换为 python 中的数据框。原始文件有两列：一个文本列，后跟一个 int（或 NAN）列。

例子：

...
P-X1-6030-07-A01    368963
P-X1-6030-08-A01    368964
P-X1-6030-09-A01    368965
P-A-1-1011-14-G-01  368967
P-A-1-1014-01-G-05  368968
P-A-1-1017-02-D-01  368969
...

我希望按照示例文本的最后三行的模式另外将文本列拆分为一系列列（例如P A 1 1017 02 D 01 368969）

注意到文本字段可以有不同的格式（P-X1 vs P-X-1），如何才能最好地完成？

Answer 1

第一次尝试

read_csv 的规范表明它采用正则表达式，但这似乎是不正确的。检查源代码后，它似乎只需要一系列字符，可用于填充一组字符，后跟+，因此以下 sep 参数将用于创建像

这样的正则表达式

`[- ]+`. 

导入必要的库以重新创建：

import pandas as pd
import StringIO

您可以使用一组字符作为分隔符，pd.read_csv 无法解析不匹配的行，但如果您想单独解析它们：

pd.read_csv(StringIO.StringIO('''P-X1-6030-07-A01    368963
P-X1-6030-08-A01    368964
P-X1-6030-09-A01    368965'''), sep=r'- ') # sep arg becomes regex, i.e. `[- ]+`

和

pd.read_csv(StringIO.StringIO('''P-A-1-1011-14-G-01  368967
P-A-1-1014-01-G-05  368968
P-A-1-1017-02-D-01  368969'''), sep=r'- ')

但 read_csv 显然无法使用真正的正则表达式作为分隔符。

---

最终解决方案

这意味着我们需要一个定制的解决方案：

import re
import StringIO
import pandas as pd

txt = '''P-X1-6030-07-A01    368963
P-X1-6030-08-A01    368964
P-X1-6030-09-A01    368965
P-A-1-1011-14-G-01  368967
P-A-1-1014-01-G-05  368968
P-A-1-1017-02-D-01  368969'''

fileobj = StringIO.StringIO(txt)

def df_from_file(fileobj):
    '''
    takes a file object, returns DataFrame with columns grouped by 
    contiguous runs of either letters or numbers (but not both together)
    '''
    # unfortunately, we must materialize the data before putting it in the DataFrame
    gen_records = [re.findall(r'(\d+|[A-Z]+)', line) for line in fileobj]
    return pd.DataFrame.from_records(gen_records)

df = df_from_file(fileobj)

现在 df 返回：

   0  1  2     3   4  5   6       7
0  P  X  1  6030  07  A  01  368963
1  P  X  1  6030  08  A  01  368964
2  P  X  1  6030  09  A  01  368965
3  P  A  1  1011  14  G  01  368967
4  P  A  1  1014  01  G  05  368968
5  P  A  1  1017  02  D  01  368969