如何将数组列表转换为 Spark 数据框

【问题标题】：How to convert a list of array to Spark dataframe如何将数组列表转换为 Spark 数据框
【发布时间】：2021-10-27 07:23:27
【问题描述】：

假设我有一个列表：

x = [[1,10],[2,14],[3,17]]

我想将 x 转换为具有两列 id (1,2,3) 和 value (10,14,17) 的 Spark 数据框。

我该怎么做？

谢谢

【问题讨论】：

【解决方案1】：

x = [[1,10],[2,14],[3,17]]
df = sc.parallelize(x).toDF(['ID','VALUE'])
df.show()

【讨论】：

【解决方案2】：

您也可以使用 SparkSession 直接创建它-

x = [[1,10],[2,14],[3,17]]
df = spark.createDataFrame(data=x, schema = ["id","value"])
df.printSchema()
df.show()

【讨论】：