Hive: 可以对数据转换为类SQL执行,调用hadoop mapreduce进行分布式计算。据说facebook的95%统计分析由此进行。有了分布式后ad hoc查询也变成可能。所以该软件还是不错的。


1 单机安装可参考官网

2 和hadoop集成步骤

   2.1 安装好hadoop

   2.2 job tracker根据自身的配置进行调整

        SET mapred.job.tracker=myhost.mycompany.com:50030;

                   同样文件位置也一样进行调整 hostname:9000 具体忘了,应该是这个

   2.3 CLI进行测试


注意:我在整个过程中碰到一个情况,具体的忘了,错误信息是期望的地址和实际不一致。就是修改masters为名称而不是IP。重启动就可以。

   HWI可以在页面进行查看当前运行情况和结果。和CLI类似。


参考文献:

http://hive.apache.org/#Getting+Started

相关文章:

  • 2021-11-30
  • 2021-06-21
  • 2022-12-23
  • 2021-08-09
  • 2022-02-19
  • 2021-09-26
  • 2022-12-23
  • 2021-04-10
猜你喜欢
  • 2022-01-29
  • 2021-08-16
  • 2022-12-23
  • 2021-10-19
  • 2021-08-27
  • 2021-10-05
相关资源
相似解决方案