Pyspark：根据字符串的子集选择列

Question

我有一个数据框；如下所示

id   1id  id2  ac1  2ac tre tye

我想删除其中包含"id" 和"ac" 的列并保留其他列

我将如何在 pyspark 中实现这一点？

尝试过的“选择语句”不起作用

我应该如何在这里对列名使用正则表达式？

Answer 1

使用简单的列表推导：

• 使用选择

  df.select(*[col(c) for c in df.columns if not("id" in c or "ac" in c)]).show()
  

• 使用拖放

  df.drop(*[c for c in df.columns if "id" in c or "ac" in c]).show()