补交作业的帖子https://www.cnblogs.com/FZW1874402927/p/9089123.html

1.用Hive对爬虫大作业产生的文本文件(或者英文词频统计下载的英文长篇小说)词频统计。

(1)启动hadoop

Hadoop综合大作业&补交作业

 

Hadoop综合大作业&补交作业

(2)Hdfs上创建文件夹

Hadoop综合大作业&补交作业

Hadoop综合大作业&补交作业

(3)上传文件至hdfs

 Hadoop综合大作业&补交作业Hadoop综合大作业&补交作业

(4)启动Hive,创建原始文档表

create table news(line string);(没有截图。。)

(5)导入文件内容到表docs并查看

Hadoop综合大作业&补交作业

Hadoop综合大作业&补交作业

select * from news;(太长了不截了)截最后面的:

Hadoop综合大作业&补交作业

(6)用HQL进行词频统计,结果放在表word_count里

Hadoop综合大作业&补交作业

Hadoop综合大作业&补交作业

(7)查看统计结果

Hadoop综合大作业&补交作业

Hadoop综合大作业&补交作业Hadoop综合大作业&补交作业

2.用Hive对爬虫大作业产生的csv文件进行数据分析,写一篇博客描述你的分析过程和分析结果。

 (1) 将爬虫大数据得到的结果导入到Ubuntu

 

相关文章: