【发布时间】:2019-03-07 13:25:31
【问题描述】:
我最近开始使用 PySpark,所以我完全是初学者。我想要做的是根据另一个数据帧从一个数据帧中过滤。 简而言之,我有 df1 与列 A、B、C 和 df2 与列 A。我只想输出 df1 行在 df2 值中具有 A 列值。
目前我的设置如下:
df_final = df1.join(df2, df2.A == df1.A)
我在网上找到的也是以下解决方案:
df_final = df1.join(df2, Seq("A"), "left_anti")
似乎它做同样的事情,但我想知道哪个更正确/更好?
同时我也发现.filter可以用,但是不知道怎么用dataframe/list。
主要问题实际上是 - 执行此任务以尽可能快地运行作业的最佳方法是什么?
谢谢你和最好的问候
【问题讨论】: