2个编程抽象DataFrame和DataSet

DataSet是强类型的,DataFrame是弱类型的;
spark.write

spark.read.jdbc (“jdbc:。。。。”,参数,参数)

spark-shell 默认是支持hive的,代码中默认是不支持的,需要设置参数

内嵌hive是不用的

公司基本都是hive外部调用
rdd、dataframe以及dataset之间的相互装换:
spark sql小节
面试sparksql问的不多,面试重点主要是在hive的能力;

聚合函数核心需要做的东西:类型定义,计算(分区内分区外最终的计算)
中间缓存的方法。

sparksession开始;

相关文章:

  • 2021-06-24
  • 2021-05-17
  • 2021-05-19
  • 2021-12-13
猜你喜欢
  • 2021-07-21
  • 2021-07-28
  • 2021-12-27
  • 2021-10-15
  • 2021-12-10
  • 2021-06-03
相关资源
相似解决方案