将 numpy 数组的 DataFrame 转换为 Spark DataFrame答案

【问题标题】：Convert DataFrame of numpy arrays to Spark DataFrame将 numpy 数组的 DataFrame 转换为 Spark DataFrame
【发布时间】：2017-08-10 07:55:55
【问题描述】：

我有一个由一列整数和另一列 numpy 数组组成的 pandas DataFrame

DataFrame({'col_1':[1434,3046,3249,3258], 'col_2':[np.array([1434, 1451, 1467]),np.array([3046, 3304]),
    np.array([3249, 3246, 3298, 3299, 3220]),np.array([3258, 3263, 3307])]})


   col_1    col_2
0   1434    [1434, 1451, 1467]
1   3046    [3046, 3304]
2   3249    [3249, 3246, 3298, 3299, 3220]
3   3258    [3258, 3263, 3307]

我想转换为以下格式的 Spark DataFrame

df=sc.parallelize([  [1434,[1434, 1451, 1467]],
          [3046,[3046, 3304]],
          [3249,[3046, 3304]],
          [3258,[3258, 3263, 3307]]]).toDF(['col_1','col_2'])


df.select('col_1',explode(col('col_2')).alias('col_2')).show(14)


+-----+-----+
|col_1|col_2|
+-----+-----+
| 1434| 1434|
| 1434| 1451|
| 1434| 1467|
| 3046| 3046|
| 3046| 3304|
| 3249| 3046|
| 3249| 3304|
| 3258| 3258|
| 3258| 3263|
| 3258| 3307|
+-----+-----+

如果我尝试将 pandas DataFrame 直接转换为 Spark DataFrame，我会收到错误

not supported type: <type 'numpy.ndarray'>

【问题讨论】：

标签： python apache-spark pyspark

【解决方案1】：

我想一种方法是将 DataFrame 中的每一行转换为整数列表。

df.col_2 = df.col_2.map(lambda x: [int(e) for e in x])

然后，直接转成Spark DataFrame

df_spark = spark.createDataFrame(df)
df_spark.select('col_1', explode(col('col_2')).alias('col_2')).show(14)

【讨论】：