【问题标题】:PySpark filter by dataframe columnPySpark 按数据框列过滤
【发布时间】:2019-03-07 13:25:31
【问题描述】:

我最近开始使用 PySpark,所以我完全是初学者。我想要做的是根据另一个数据帧从一个数据帧中过滤。 简而言之,我有 df1 与列 A、B、C 和 df2 与列 A。我只想输出 df1 行在 df2 值中具有 A 列值。

目前我的设置如下:

df_final = df1.join(df2, df2.A == df1.A)

我在网上找到的也是以下解决方案:

df_final = df1.join(df2, Seq("A"), "left_anti")

似乎它做同样的事情,但我想知道哪个更正确/更好?

同时我也发现.filter可以用,但是不知道怎么用dataframe/list。

主要问题实际上是 - 执行此任务以尽可能快地运行作业的最佳方法是什么?

谢谢你和最好的问候

【问题讨论】:

    标签: join filter pyspark


    【解决方案1】:

    注意,Seq 在Python 中不可用。

    df_final = df1.join(df2, Seq("A"), "left_anti")
    

    假设df1有以下内容

    +---+----+-----+
    |  A|   B|    C|
    +---+----+-----+
    |  1|John|Smith|
    |  2|Praz| June|
    |  3|hell|valu3|
    |  4|test|valu2|
    +---+----+-----+
    

    而df2 有

    +---+
    |  A|
    +---+
    |  1|
    |  2|
    |  3|
    |  4|
    +---+
    

    当你这样做时

    df_final = df1.join(df2, df2.A == df1.A)
    

    它现在会警告!!你:

    构造平凡的真等于谓词,'A#154L = A#154L'。也许您需要使用别名。

    这意味着您正在尝试加入两个具有相同column 的DataFrame。

    你说,

    我只想输出 df2 值中具有 A 列值的 df1 行。

    您可以使用 .select() 从列 A 中选择 df1 行,即

    df1_A = df1.select('A')
    

    然后,你可以join()使用

    from pyspark.sql.functions import col  
    df_final = df1_A.alias('le').join(df2.alias('ri'), (col('le.A') == col('ri.A'))) 
    
    • col:根据给定的列名返回一个列。

    关于过滤器,您可以在需要根据某些条件进行评估时使用过滤器。如需更多信息,请参阅: class DataFrame

    【讨论】:

      猜你喜欢
      • 2017-06-28
      • 1970-01-01
      • 1970-01-01
      • 2020-08-19
      • 1970-01-01
      • 2016-09-12
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多