hive是基于hdfs的一个数据库工具

hive spark等

 

可以类比为 mysql 是基于本地文件系统的数据库, hive则是基于hdfs的数据库,不太准确

spark 对应于mapreduce, 但是更快,本来spark是单独于hadoop生态的,但是hadoop太强大了, spark 渐渐的基于hadoop发展了, 

spark的运行模式多样:Spark可运行于独立的集群模式中,或者运行于Hadoop中,也可运行于Amazon EC2等云环境中,并且可以访问HDFS、Cassandra、HBase、Hive等多种数据源。

我们的主要用法是

用scala 编写程序, 编译成jar包, 上传afs, 然后运行spark, 读取afs,写入hive表 nginxlog, 之后的分析,都基于这个hive表, 查询hive表, 一般用hive, 当然也可以用spark-sql

相关文章:

  • 2022-01-03
  • 2022-12-23
  • 2022-12-23
  • 2022-12-23
  • 2021-10-21
猜你喜欢
  • 2021-08-01
  • 2021-09-24
  • 2022-12-23
  • 2021-08-29
  • 2021-04-15
  • 2021-06-12
  • 2021-11-03
相关资源
相似解决方案