在 PySpark 中合并（左右）

【问题标题】：Merging in PySpark (both left and right)在 PySpark 中合并（左右）
【发布时间】：2021-12-31 12:25:47
【问题描述】：

PySpark 中合并两个不同数据帧（左右）的等效代码是什么？

df_merge = pd.merge(t_df, d_df, left_on='a_id', right_on='d_id', how='inner')

【问题讨论】：

这能回答你的问题吗？ Pyspark: How to merge dataframes like Pandas?
是的，这是一个有用的链接。然而，left_on='a_id', right_on='d_id' 这些术语让我对正确使用 join 感到困惑。

标签： pandas dataframe pyspark merge

【解决方案1】：

join 相当于 pandas 中的merge。

您共享的合并代码的等效 PySpark 逻辑是


t_df.join(d_df, t_df["a_id"] == d_df["d_id"], "inner")

【讨论】：

猜你喜欢

1970-01-01
2019-07-17
1970-01-01
1970-01-01
1970-01-01
1970-01-01
2019-01-09
1970-01-01
2019-09-22

相关资源

下载 2021-06-05
下载 2023-01-03
下载 2023-01-18
下载 2023-01-31

最近更新更多

热门标签

Java Python linux javascript Mysql C# Docker 算法前端 SpringBoot Redis Vue spring 设计模式 .net core .net kubernetes c++ 数据库数据结构大数据 js 机器学习微服务 Android Go 程序员面试 JVM ASP.net core 云原生人工智能后端 PHP git CSS golang k8s Nginx Django mybatis 深度学习多线程 React 架构 devops 爬虫云计算 Spring Boot LeetCode