本次作业来源于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3363

 

一、课程评分标准:

分数组成:

考勤 10

平时作业 30

爬虫大作业 25

Hadoop生态安装与配置 10

分布式文件系统HDFS

分布式并行计算MapReduce

Hadoop综合大作业 25

 评分标准:

难易程度

数据量

文章质量:描述、分析与总结

1.将爬虫大作业产生的csv文件上传到HDFS

Hadoop综合大作业1

Hadoop综合大作业1

 

二、对CSV文件进行预处理生成无标题文本文件

 

Hadoop综合大作业1

三、

在HDFS上传文件夹/bigdatacase/dataset

 Hadoop综合大作业1

 四、在HDFS上传we_table.txt并查询

Hadoop综合大作业1

在HDFS上传we_table.txt并查询

进入hive模式,创建表格bdlab

Hadoop综合大作业1

 使用表格

Hadoop综合大作业1

查询前十条数据

Hadoop综合大作业1

相关文章:

  • 2021-07-10
猜你喜欢
  • 2021-12-04
  • 2021-11-25
  • 2021-11-20
相关资源
相似解决方案