【问题标题】:Left Anti join in Spark dataframes [duplicate]Spark数据帧中的左反连接[重复]
【发布时间】:2019-01-02 01:24:24
【问题描述】:

我有两个dataframe,我想只检索其中一个dataframe的信息,在inner join中找不到,看图:

我尝试了几种方法:内部连接和过滤返回至少一个 null 的行,Spark 1.6 文档中描述的所有连接类型,但未能从刚刚获得结果一个加入。

有人可以帮忙吗?

【问题讨论】:

  • @a_horse_with_no_name 你是对的,更正了名字
  • @user8371915 在 Spark 1.6 中不工作
  • 我编辑了重复的目标以包含不依赖于 leftanti 关键字的 alternative solution

标签: scala apache-spark anti-join


【解决方案1】:

这被称为不包括加入的权利,你可以像下面那样做

df1.join(df2,df1("column1")===df2("column2"),"right_outer").filter("column1 is null").show

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2020-08-11
    • 2021-12-12
    • 2020-12-15
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多