【问题标题】:How can hive run an mapreduce algorithm?Hive 如何运行 mapreduce 算法?
【发布时间】:2015-03-02 15:23:46
【问题描述】:

现在我正在实现 apache hive,并且我现在该 hive 也像通常的 hadoop mapreduce 一样运行 mapreduce 算法。所以,我想知道,关于从 hive 查询中关于 mapreduce、mapper 和 reducer 的解释。那这个查询怎么能做一个mapreduce?

谢谢大家.....

【问题讨论】:

    标签: hadoop mapreduce hive hql hiveql


    【解决方案1】:

    当您在这些数据库中运行 SQL 查询时,类似于 Oracle 或 MySQL 对 SQL 所做的事情。有一个解析器解析查询,然后构建数据库引擎可以理解的 Oracle/MySQL 特定指令。同样,Hive 有一个解析器和优化器,可以将 SQL 查询转换为 MR。

    例如从表名中选择计数(*); 将转换为 Mapper(读取文件和计数)-> Reducer(汇总所有计数并返回)。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2018-01-21
      • 2015-06-03
      相关资源
      最近更新 更多