大数据（巨型数据集合）
Linux+Hadoop+mr+zookeeper+hive+sqoop+hbase+flume
1 .Linux的目录结构
2.三种网络模式：
-bridged （桥接方式，默认是使用vmnet0虚拟网卡）
-net （网络地址转换模式，默认为vmnet8虚拟网卡）
-host-noly（仅主机模式，默认使用vmnet1虚拟网卡）
4.虚拟网络配置
5.linux中的命令
（1）man 找出某个命令的帮助文档
例如：ls的帮助文档
我们就可以打开终端，输入 man ls ;
想要退出按q键，就可以退出；
也可以用ls --help，或者info ls
（2）Ctrl+R 查找历史输入过的命令 （方向键的上下键也可以翻出来）
Ctrl+c Ctrl+z 终止或者退出当前操作
（3）Table键的作用
1.自动补全命令或者目录
2.在某个目录下只有一个目录的时候就可以不用输入首字母直接敲击table键，既可以自动补全目录
3.双击table键时一般会显示所有命令或者列出某个目录下的所有目录和文件；
（4）command [-option] 路径
uname 打印出虚拟机版本信息
用man uname查看
date 查看时间
（5）查看系统小版本
cat/etc/redhat-release
（6）查看当前主机名
hostname
（7）查看第一个网卡
ifconfig ech0
（8）查看和设置系统时间
date
date -s “2020-06-14 18:02:00”
（9）查看进程
ps -fe | grep redis 查看关于Redis进程
ps -fe 查看全部进程
（10）top 查看运行进程包括对CPU内存使用，动态监控
（11）grep 过滤
（12）重启linux操作系统
reboot
（13）关闭linux操作系统
shutdown -h now
init 0
(14)图形和命令行转换
vi /etc/inittab
init 3 命令行模式
init 5 图形化
加载网卡：service network restart
linux不仅系统更改root密码：
1.在grub选项菜单中按e进入编辑模式
2.编辑kernel哪行，输入“1”（空格1），然后按enter键
3，按b键重启
4.进入执行下列命令：
password root 配置root的密码
enter new Unix password：输入新密码
init 6 启动
二。Hadoop
1.Hadoop简单介绍
Hadoop核心构成：
Hadoop是Apache基金会旗下的一个分布式系统基础框架，主要包括分布式文件系统HDFS，分布式计算系统MapReduce和分布式资源管理系统YARN。
HDFS：
基本原理：就是将数据文件以指定的块大小拆分成数据块，并将数据块以副本的方式存储到多台机器上，即时某个节点出现故障，该节点的存储的数据块副本丢失，但是其他节点上还有对应的数据副本，所以在HDFS中即使某个节点出现问题也不会造成数据块副本丢失，但是在其他节点上还有对应的数据副本，所以HDFS中即使某个节点出现问题，也不会造成数据丢失。
分布式计算系统MapReduce
MapReduce是个编程模型，泳衣进行大数据量的计算，MapReduce名字起源于这个模型的两个核心操作：Map（映射）和Reduce（归纳）。MapReduce是一种简化的应用程序开发编程模型。
资源管理系统YARN
YARN基本思想是将Hadoop1.X中MapReduce框架中JobTracker的资源管理和作业监控功能进行分离。引入Hadoop集群在利用率，资源统一管理和数据共享等方面带来很大的好处，而且在YARN之上还可运行不同类型的作业。
Hadoop平台是一个框架，允许适应简单的编程模型
（1）在计算机中集群中对大型数据集进行分布式处理
（2）该平台被设计成可以从单个服务器扩展到数千台服务器，每个服务器都提供本地计算和存储；
（3）该平台也被设计成可检测和处理应用层的故障（即高可靠性，高容错），高可用服务是基于计算机集群的。
2.HDFS框架概述：
Namenode：存储文件的元数据，如文件名，文件目录结构，文件属性，以及每个文件的块列表和块所在的DateNode；
DateNode：在本地文件系统存储文件块数据，以及块数据的校验和。
Secondary：用来监控HDFS状态的辅助后台程序，每隔一段时间获取HDFS元数据的快照。
3.MapReduce架构概述
MapReduce将计算机分为两个阶段，Map和Reduce。
Reduce阶段对Map结果进行汇总。