【发布时间】:2015-03-02 15:23:46
【问题描述】:
现在我正在实现 apache hive,并且我现在该 hive 也像通常的 hadoop mapreduce 一样运行 mapreduce 算法。所以,我想知道,关于从 hive 查询中关于 mapreduce、mapper 和 reducer 的解释。那这个查询怎么能做一个mapreduce?
谢谢大家.....
【问题讨论】:
标签: hadoop mapreduce hive hql hiveql
现在我正在实现 apache hive,并且我现在该 hive 也像通常的 hadoop mapreduce 一样运行 mapreduce 算法。所以,我想知道,关于从 hive 查询中关于 mapreduce、mapper 和 reducer 的解释。那这个查询怎么能做一个mapreduce?
谢谢大家.....
【问题讨论】:
标签: hadoop mapreduce hive hql hiveql
当您在这些数据库中运行 SQL 查询时,类似于 Oracle 或 MySQL 对 SQL 所做的事情。有一个解析器解析查询,然后构建数据库引擎可以理解的 Oracle/MySQL 特定指令。同样,Hive 有一个解析器和优化器,可以将 SQL 查询转换为 MR。
例如从表名中选择计数(*); 将转换为 Mapper(读取文件和计数)-> Reducer(汇总所有计数并返回)。
【讨论】: