databricks 上的 sql sparklyr sparkr 数据帧转换答案

【问题标题】：sql sparklyr sparkr dataframe conversions on databricksdatabricks 上的 sql sparklyr sparkr 数据帧转换
【发布时间】：2019-01-01 10:27:24
【问题描述】：

我有使用以下代码创建的数据块上的 sql 表

%sql 
CREATE TABLE data 
USING CSV 
OPTIONS (header "true", inferSchema "true") 
LOCATION "url/data.csv"

以下代码将该表分别转换为 sparkr 和 r 数据帧：

%r
library(SparkR)
data_spark <- sql("SELECT * FROM data")
data_r_df <- as.data.frame(data_spark)

但我不知道如何将这些数据帧中的任何一个或所有转换为 sparklyr 数据帧以利用 sparklyr 的并行化？

【问题讨论】：

【解决方案1】：

只是

sc <- spark_connect(...)

data_spark <- dplyr::tbl(sc, "data")

或

sc %>% spark_session() %>% invoke("sql", "SELECT * FROM data") %>% sdf_register()

【讨论】：