我是 Spark 世界的新手。我们如何持久化 Dataframe，以便我们可以跨组件使用它。
我有一个 Kafka 流，我通过 Rdd.Tried RegisterAsTempTable 从中生成数据帧，但在另一个程序中无法访问该表。
我想通过sqlContext访问另一个类中的这个Dataframe，并使用查询结果做进一步的计算。
【问题讨论】：
标签： scala apache-spark apache-spark-sql spark-streaming spark-dataframe
您可以将 DataFrame 的内容保存为 Parquet 文件并在另一个程序中读取相同的内容。您可以在下一个程序中注册为 Temp 表。Spark SQL 支持读取和写入 Parquet 文件，自动保留原始数据的架构。
//First Program
dataframe.write.format("parquet").save("/tmp/xyz-dir/card.parquet")
//where /tmp/xyz-dir/ is a HDFS directory
//Second Program
val parquetRead = sqlContext.read.format("parquet").load("/tmp/xyz-dir/card.parquet")
//Parquet files can also be registered as tables and then used in SQL statements.
parquetRead.registerTempTable("parquettemptable")
val cust= sqlContext.sql("SELECT name FROM parquettemptable")
//After use of parquet file, delete the same in the second program
val fs = org.apache.hadoop.fs.FileSystem.get(new java.net.URI("hdfs://hostname:8030"), sc.hadoopConfiguration)
fs.delete(new org.apache.hadoop.fs.Path("/tmp/xyz-dir"),true) // isRecusrive= true
【讨论】：
DataFrames 也可以使用 saveAsTable 命令将 saved 作为持久表保存到 Hive 元存储中。请注意，使用此功能不需要现有的 Hive 部署。 Spark 将为您创建一个默认的本地 Hive 元存储（使用 Derby）。与 createOrReplaceTempView 命令不同，saveAsTable 将具体化 DataFrame 的内容并创建指向 Hive 元存储中数据的指针。
即使您的 Spark 程序重新启动后，持久表仍然存在，只要您保持与同一个元存储的连接。可以通过使用表名调用 SparkSession 上的 table 方法来创建持久表的 DataFrame。
默认情况下 saveAsTable 将创建一个“托管表”，这意味着数据的位置将由元存储控制。删除表时，托管表的数据也会自动删除。
【讨论】：