Hive 中的字数统计程序答案

【问题标题】：Word Count program in HiveHive 中的字数统计程序
【发布时间】：2012-04-19 20:42:28
【问题描述】：

我正在尝试学习 Hive。令人惊讶的是，我找不到如何编写简单的字数统计工作的示例。以下是正确的吗？

假设我有一个输入文件input.tsv:

hello, world
this is an example input file

我在 Python 中创建了一个拆分器来将每一行变成单词：

import sys

for line in sys.stdin:
 for word in line.split():
   print word

然后我的 Hive 脚本中有以下内容：

CREATE TABLE input (line STRING);
LOAD DATA LOCAL INPATH 'input.tsv' OVERWRITE INTO TABLE input;

-- temporary table to hold words...
CREATE TABLE words (word STRING);

add file splitter.py;

INSERT OVERWRITE TABLE words 
  SELECT TRANSFORM(text) 
    USING 'python splitter.py' 
    AS word
  FROM input;

SELECT word, count(*) AS count FROM words GROUP BY word;

我不确定我是否遗漏了什么，或者它是否真的这么复杂。（特别是需要临时的words表，需要写外分器函数吗？）

【问题讨论】：

标签： mapreduce hive

【解决方案1】：

如果您想要一个简单的，请参阅以下内容：

SELECT word, COUNT(*) FROM input LATERAL VIEW explode(split(text, ' ')) lTable as word GROUP BY word;

我使用横向视图来启用表值函数 (explode) 的使用，该函数采用拆分函数产生的列表并为每个值输出一个新行。在实践中，我使用包装了 IBM 的 ICU4J 分词器的 UDF。我通常不使用转换脚本，而对所有内容都使用 UDF。您不需要临时单词表。

【讨论】：

查看您在 HiveQL 中涉及爆炸和横向视图的评论，请您看看这个 SO 问题，我无法找到解决方案，http://stackoverflow.com/questions/11373543/explode-the-array-of-struct-in-hive。很抱歉这样与您联系。
@Steve - 我已将数据加载到表中，当我运行命令时，我得到FAILED: Error in semantic analysis: null。运行命令是否有任何先决条件？

【解决方案2】：

CREATE TABLE docs (line STRING);
LOAD DATA INPATH 'text' OVERWRITE INTO TABLE docs;
CREATE TABLE word_counts AS
SELECT word, count(1) AS count FROM
(SELECT explode(split(line, '\s')) AS word FROM docs) w
GROUP BY word
ORDER BY word;

【讨论】：

【解决方案3】：

你可以将hive内置的UDF写成如下：

1) 步骤 1：创建一个临时表，其中包含一个名为 sentence 的数据类型数组的单列

create table temp as select sentence from docs lateral view explode(explode(sentences(lcase(line)))) ltable as sentence

2）第2步：从临时表中选择你的单词再次爆炸列句

select words,count(words) CntWords from
(
select explode(words) words from temp
) i group by words order by CntWords desc

【讨论】：