相当于使用 sparklyr 的 spark 表的“str()”（描述数据帧）答案

【问题标题】：equivalent of "str()" (describes dataframe) for a spark table using sparklyr相当于使用 sparklyr 的 spark 表的“str()”（描述数据帧）
【发布时间】：2019-12-11 12:39:11
【问题描述】：

我的问题归结为：什么是 Sparklyr 等价于 str R 命令？

我正在使用 Sparklyr 包从 R 中打开一个大表（从文件中），在 Spark 中将其命名为 my_table。

怎样才能描述表？列名和类型，几个例子等等。

提前道歉必须是一个非常基本的问题，但我确实搜索了它，并检查了 Rstudio 的 Sparklyr Cheatsheet 并没有找到答案。

【问题讨论】：

对于架构，df.printSchema。

标签： r apache-spark sparklyr

【解决方案1】：

让我们使用 mtcars 数据集并将其移动到本地 spark 实例以作为示例：

library(sparklyr)
library(dplyr)
sc <- spark_connect(master = "local")
tbl_cars <- dplyr::copy_to(sc, mtcars, "mtcars")

现在您有很多选择，这里有 2 个，每个都略有不同 - 根据您的需要进行选择：

1.将第一行收集到R中（现在是标准的R数据框），查看str：

 str(tbl_cars %>% head(1) %>% collect())

2.调用schema方法，查看结果：

spark_dataframe(tbl_cars) %>% invoke("schema")

这将给出如下内容：

StructType(StructField(mpg,DoubleType,true), StructField(cyl,DoubleType,true), StructField(disp,DoubleType,true), StructField(hp,DoubleType,true), StructField(drat,DoubleType,true), StructField(wt,DoubleType,true), StructField(qsec,DoubleType,true), StructField(vs,DoubleType,true), StructField(am,DoubleType,true), StructField(gear,DoubleType,true), StructField(carb,DoubleType,true))

【讨论】：