临时表:针对SparkSession

  

  使用DF.createTempView("person")对数据集注册临时表

  通过spark.sql(.....)
  代码说明:
    df_rdd.createTempView("person")
    spark.sql("select * from person where name like '%0%'").show()
      +------+---+-------+
      | name|age|address|
      +------+---+-------+
      | joe| 39| CO|
      |alison| 35| NY|
      | bob| 71| CA|
      +------+---+-------+
      spark.newSession().sql("select * from person where name like '%o%'").show()
      抛异常:Exception in thread "main" org.apache.spark.sql.AnalysisException: Table or view not found: person; line 1 pos 15

      原因:因为临时表不是全局的,它指在当前的SparkSession下可以使用,新创建的就不好使了。

 

 全局表:针对SparkApplication

 

 

  使用DF.createGlobalTempView("person")对数据集注册临时表
  代码说明:
    df_rdd.createGlobalTempView("person")
    spark.sql("select * from global_temp.person where name like '%o%'").show()
    spark.newSession().sql("select * from global_temp.person where name like '%o%'").show()
      +------+---+-------+
      | name|age|address|
      +------+---+-------+
      | joe| 39| CO|
      |alison| 35| NY|
      | bob| 71| CA|
      +------+---+-------+

 

相关文章:

  • 2021-07-14
  • 2022-12-23
  • 2022-12-23
  • 2021-08-20
  • 2021-09-22
  • 2021-05-28
  • 2021-12-16
  • 2021-06-14
猜你喜欢
  • 2021-09-29
  • 2021-10-01
  • 2022-12-23
  • 2021-12-29
  • 2021-08-01
  • 2021-11-17
相关资源
相似解决方案