在 Spark 中，我想将 RDD 对象保存到配置单元表中。我正在尝试使用 createDataFrame 但这是在抛出
线程“main”中的异常 java.lang.NullPointerException
val products=sc.parallelize(evaluatedProducts.toList);
//here products are RDD[Product]
val productdf = hiveContext.createDataFrame(products, classOf[Product])
我使用的是 Spark 1.5 版本。
【问题讨论】：
标签： hadoop apache-spark apache-spark-sql
如果您的 Product 是一个类（不是案例类），我建议您在创建 DataFrame 之前将您的 rdd 转换为 RDD[Tuple]：
import org.apache.spark.sql.hive.HiveContext
val hiveContext = new HiveContext(sc)
import hiveContext.implicits._
val productDF = products
.map({p: Product => (p.getVal1, p.getVal2, ...)})
.toDF("col1", "col2", ...)
使用这种方法，您将在 DataFrame 中将 Product 属性作为列。
然后你可以创建一个临时表：
productDF.registerTempTable("table_name")
或带有以下内容的物理表：
productDF.write.saveAsTable("table_name")
【讨论】：
val productdf= products.map({ p =>(p.getcol1(), p.getCol2(),p.isValide())}).toDF("col1", "col2","col3");
import hiveContext.implicits._我要把它添加到答案中。
<dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-hive_2.10</artifactId> <version>1.2.1</version> </dependency>
<artifactId>spark-hive_2.10</artifactId> <version>1.5.1</version>。理想情况下，spark-hive 应该始终与您的 Spark 版本匹配。如果还不够，也可以尝试添加 spark-sql 包
<dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-sql_2.10</artifactId> <version>1.5.2</version> <scope>provided</scope> </dependency> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-hive_2.10</artifactId> <version>1.5.2</version> </dependency>