创建数据框时出错：java.lang.RuntimeException：scala.Tuple2 不是字符串模式的有效外部类型

Question

我已经使用以下代码创建了一个架构

val schema=  new StructType().add("city", StringType, true).add("female", IntegerType, true).add("male", IntegerType, true)

从

创建了一个RDD

val data = spark.sparkContext.textFile("cities.txt")

转换为 Row 的 RDD 以应用架构

    val cities = data.map(line => line.split(";")).map(row => Row.fromSeq(row.zip(schema.toSeq)))


 val citiesRDD = spark.sqlContext.createDataFrame(cities, schema)

这给了我一个错误

java.lang.RuntimeException: Error while encoding: java.lang.RuntimeException: scala.Tuple2 is not a valid external type for schema of string

Answer 1

创建Row 不需要架构，创建DataFrame 时需要架构。您还需要介绍一些如何将分割线（产生 3 个字符串）转换为整数的逻辑：

这里是一个没有异常处理的最小解决方案：

val data = sc.parallelize(Seq("Bern;10;12")) // mock for real data

val schema = new StructType().add("city", StringType, true).add("female", IntegerType, true).add("male", IntegerType, true)

val cities = data.map(line => {
val Array(city,female,male) = line.split(";")
  Row(
    city,
    female.toInt,
    male.toInt
  )
 }
)

val citiesDF = sqlContext.createDataFrame(cities, schema)

我通常使用案例类来创建数据框，因为 spark 可以从案例类中推断出架构：

// "schema" for dataframe, define outside of main method
case class MyRow(city:Option[String],female:Option[Int],male:Option[Int]) 

val data = sc.parallelize(Seq("Bern;10;12")) // mock for real data

import sqlContext.implicits._

val citiesDF = data.map(line => {
val Array(city,female,male) = line.split(";")
  MyRow(
    Some(city),
    Some(female.toInt),
    Some(male.toInt)
  )
}
).toDF()