R：如何合并使用 spark_read_csv 加载的两个文件答案

【问题标题】：R: How to merge two files loaded with spark_read_csvR：如何合并使用 spark_read_csv 加载的两个文件
【发布时间】：2020-02-26 03:27:18
【问题描述】：

我正在处理以这种方式使用spark_read_csv 加载的数据：

library(sparklyr)
connection <- spark_connect(master = 'local')
all_data <- spark_read_csv(sc, "D:/my_data.csv")

处理完这些数据后，我意识到我需要将它与另一个文件合并。第二个文件与第一个文件具有相同的变量和特征，我想用相同的方法加载它spark_read_csv。

所以我的问题如下，是否可以使用spark_read_csv 方法加载两个文件然后合并它们？目的是将一个文件已经存在的列的值添加到另一个文件中

【问题讨论】：

【解决方案1】：

你可以合并两个数据框

x: SparkDataFrame
y: SparkDataFrame

union(x, y)

【讨论】：