使用 pandas 正则表达式基于逗号字符分隔列数据

Question

我有一个如下所示的数据框

df = pd.DataFrame({'val': ['V583 ,ATTENTION, PRIMARY','Y9207,INDOOR LIVING, sEcondary',' z526, liver,primary ','12345678, test, secondary',',project,']})

我想根据comma 字符拆分/分离列val 数据。

例如，所有字符 before 1st comma 应该转到 first 列 同样，所有字符 after 1st comma 和 before 2nd comma 都应该转到 second 列 同样，after 2nd comma 和 before 3rd comma 的所有字符都应该转到 third 列

我尝试了以下

df['val'].astype(str).str.extract(r'\s*([a-zA-Z0-9\s]*)',expand=True)

我希望我的输出如下所示

Answer 1

Series.str.extractall

我们可以extract所有出现的捕获组指定为正则表达式模式，然后unstack进行重塑。

df['val'].str.extractall(r'([^,]+)(?:\s*,\s*|$)')[0].unstack()

---

match         0              1          2
0         V583       ATTENTION    PRIMARY
1         Y9207  INDOOR LIVING  sEcondary
2          z526          liver   primary 
3      12345678           test  secondary
4       project            NaN        NaN

正则表达式详细信息：

• ([^,]+) : 第一个捕获组
  • [^,]+ ：匹配列表中不存在的任何字符[,] 一次或多次。
• (?:\s*,\s*|$) : 非捕获组
  • \s*,\s* : 第一种选择
    • \s* ：匹配任何空白字符零次或多次
    • , ：字面匹配字符逗号
    • \s* ：匹配任何空白字符零次或多次
  • $ ：第二个替代方案在行尾断言位置

PS：如果您有任意数量的逗号分隔字符串，此方法也可以工作。

Answer 2

使用您展示的示例，请尝试以下操作。在这里使用 Pandas 的extract 功能。简单的解释是：在提取中提到正则表达式以在 DataFrame 中创建 3 个新列。它基本上根据显示的示例为每个新字段创建 3 个捕获组。

df[["first", "second", "third"]] =  df['val'].str.extract(r'^([^,]*),([^,]*),(.*)$',expand=True)

Here is online demo of above regex

df 的输出如下：

                              val     first         second       third
0        V583 ,ATTENTION, PRIMARY     V583       ATTENTION     PRIMARY
1  Y9207,INDOOR LIVING, sEcondary     Y9207  INDOOR LIVING   sEcondary
2            z526, liver,primary       z526          liver    primary 
3       12345678, test, secondary  12345678           test   secondary
4                       ,project,                  project            

Answer 3

您可以在这里使用str.extract，如下所示：

df["first"] = df["val"].str.extract(r'^\s*(.*?)\s*,')
df["second"] = df["val"].str.extract(r',\s*(.*?)\s*,')
df["third"] = df["val"].str.extract(r',\s*([^,]*)$')

Answer 4

使用str.split(expand=True)

  df.join(df['val'].str.split(',', expand=True).rename(columns={0:'first',1:'second',2:'third'}))

                              val     first         second       third
0        V583 ,ATTENTION, PRIMARY     V583       ATTENTION     PRIMARY
1  Y9207,INDOOR LIVING, sEcondary     Y9207  INDOOR LIVING   sEcondary
2            z526, liver,primary       z526          liver    primary 
3       12345678, test, secondary  12345678           test   secondary
4                       ,project,                  project