PySpark 基于列名/字符串条件删除列

Question

我想删除包含 banned_columns 列表中任何单词的 pyspark 数据框中的列，并从剩余的列中形成一个新的数据框

banned_columns = ["basket","cricket","ball"]
drop_these = [columns_to_drop for columns_to_drop in df.columns if columns_to_drop in banned_columns]

df_new = df.drop(*drop_these)

banned_columns 的想法是删除以basket 和cricket 开头的所有列，以及名称中任何位置包含单词ball 的列。

以上是我到目前为止所做的，但它不起作用（因为在新数据框中仍然包含那些列名称）

数据框示例

 sports1basketjump | sports

在上面的列名示例中，它将删除列sports1basketjump，因为它包含单词 basket。

此外，使用filter 或/和reduce 函数是否比创建列表和for 循环增加了优化？

Answer 1

您的列表理解并没有达到您的预期。它将返回一个空列表，除非它完全匹配一个字符串。有关如何将子字符串列表与字符串列表匹配的答案，请查看matching list of substrings to a list of strings in Python

df.drop(*cols) 将按您的预期工作。