Linux基础
每日关注
2019年3月20日 星期三
1. 网易云课堂和中国大学MOOC并入网易有道，重点聚焦K12培训
2. 腾讯回应禁止微信头像昵称用于多闪：无稽之谈，已提起诉讼
3. 淘宝将开放购后服务视频，解决商品安装问题
4. 字节跳动回应搭建直播大中台：在技术、运营上做统一
学习路线和课程简介
1、基础：Java语言（Java SE）：
变量、循环、if等等
面向对象
I/O输入和输出；HDFS会用到
反射、泛型，MR查询
JDBC：操作关系型数据库（RDBMS）：HIVE用到
Linux基础：基本操作
SQL基础：Select（重点）insert update delete————————>Hive、Spark SQL都会用到
大数据的终极目标：使用SQL分析大数据
2、Hadoop
(1) 数据存储：HDFS（Hadoop Distribute File System）
（2）数据计算：Map Reduce(Java程序)：在Hadoop2.x之后，Yarn容器中实现离线运算
（3）Hive：基于HDFS之上的数据库，支持SQL语句、
（4）HBase：基于HDFS之上的NoSQL数据库
（5）Zookeeper实现HA（High Available高可用性）的功能实现秒杀
（6）其他：Sqoop、Flume、Pig
3、实时计算
（1）Redis内存NoSql数据库
Redis Cluster：分布式解决方案
（2）Apache Storm：进行实时计算（流式计算）
4、Spark只有数据的计算没有数据的存储（依赖HDFS）
（1）Scala编程语言：多范式的编程语言（支持多种方式编程：1、面向对象 2、函数式编程）
（2）Spark Core：内核：相当于MapReduce
最重要概念：RDD（弹性分布式数据集）
（3）Spark SQL：类似Hive、支持SQL
（4）Spark Steaming：处理流式计算的模块，类似storm
配置Linux和Linux的目录结构
1.关闭防火墙
systemctl stop firewalld.server
systemctl disable firewalld.service
2.设置主机名和IP的对应关系：/etc/hosts
vi /etc/hosts
(设置显示行数：set number)
(ping linux01)
(ls /：查看子目录)
root：超级用户目录
vi编辑器：相当于记事本
三种模式：
1.编辑器模式：等待命令的输入
1.进入插入模式
2.插入模式：按esc模式
3.命令模式：需要在编辑模式下，输入：号
w 保存
wq 保存退出
q 退出
打开行号 set number
换行：set wrap
set nowrap
文件目录操作命令：（重点掌握，类似HDFS的操作命令）
ls 显示文件和目录列表
-l 列出文件的详细信息，等价于：ll命令
-a 列出当前目录所有文件 包含隐藏文件
隐藏文件：/root/.bash.profile 设置环境变量：JAVA_HOME、HADOOP_HOME等
隐藏目录：/root/.ssh ----->配置勉密码登录（Hadoop和spark）,有公钥和私钥
HDFS操作：HDFS dfs -ls /查看HDFS的根目录
（*） mkdir 创建目录
-p 父目录不存在情况下生成父目录
约定：mkdir /root/tools ---->安装包
mkdir /root/training ---->安装目录
HDFS： hdfs dfs -mkdir /input
cd：切换目录
touch 生成一个空文件
Linux的权限管理（非常类似HDFS的权限管理）
安装常用软件：安装JDK
解压 tar -zxvf jdkxxxxxxtar.gz -C ~/training/
设置环境变量 vi ~.bash_profile
JAVA_HOME=/root/training/jdkxxxx
export JAVA_HOME
一定Java home的bin在最前面
PATH=$JAVA_HOME/bin:$PATH
export PATH
生效环境
source ~/。bash_profile
查看安装地址 echo $JAVA_HOME
Linux的权限管理（非常类似HDFS的权限管理）
1、权限的类型：3种
r 读
w 写
x 执行
2.查看文件或者目录的权限 ls -l 或者 ll
Java 死锁（线程之间相互等待）
线程死锁问题戳
JDK heap dump :分析OOM问题
JDK Thread dump：分析性能瓶颈（线程信息）
得到Thread Dump