读取熊猫数据框时出现pyspark类型错误

Question

我将一些 CSV 文件读入 pandas，对其进行了很好的预处理并将 dtypes 设置为所需的 float、int、category 值。但是，当尝试将其导入 spark 时，出现以下错误：

Can not merge type <class 'pyspark.sql.types.DoubleType'> and <class 'pyspark.sql.types.StringType'>

在尝试追踪一段时间后，我找到了一些问题的来源 -> 查看 CSV 文件：

"myColumns"
""
"A"

red into pandas 喜欢：small = pd.read_csv(os.path.expanduser('myCsv.csv'))

并且未能将其导入以激发：

sparkDF = spark.createDataFrame(small)

目前我使用 Spark 2.0.0

可能有多个列受到影响。我该如何处理这个问题？

Answer 1

您需要明确定义 spark DataFrame 架构并将其传递给 createDataFrame 函数：

from pyspark.sql.types import *
import pandas as pd

small = pdf.read_csv("data.csv")
small.head()
#  myColumns
# 0       NaN
# 1         A
sch = StructType([StructField("myColumns", StringType(), True)])

df = spark.createDataFrame(small, sch)
df.show()
# +---------+
# |myColumns|
# +---------+
# |      NaN|
# |        A|
# +---------+

df.printSchema()
# root
# |-- myColumns: string (nullable = true)