有没有办法将从 sql 语句生成的 spark 数据帧转换为 rdd？

Question

如果我使用这个 spark sql 语句：

df = spark.sql('SELECT col_name FROM table_name')

它将返回一个火花数据框对象。如何将其转换为 rdd？有没有办法直接使用 sql 读取表但生成 rdd 而不是数据框？

提前致谢

Answer 1

df = spark.sql('SELECT col_name FROM table_name')

df.rdd # 你可以保存它，执行转换等。

df.rdd 将内容作为行的pyspark.RDD 返回。

然后，您可以在 Row 的 RDD 上进行映射，将每一行转换为 numpy 向量。我无法更具体地了解转换，因为我不知道您的向量在给出的信息中代表什么。

注意 1：df 是定义我们的 Dataframe 的变量。

注意 2：此功能自 Spark 1.3 起可用