| 导读 |
本文为博文 linux —— shell 编程（整体框架与基础笔记）的第4小点的拓展。（本文所有语句的测试均在 Ubuntu 16.04 LTS 上进行） |
| 目录 |
sort :用于排序，常用参数 -t 指定一行的分隔符 -k 指定具体排序的规则 -d 按字典序排列 -f 忽略大小写
-u （unique）丢弃相同指定字段的记录
unique：报告或删除文件中重复的行。 -c 在输出行前加上出现的次数 -d （duplicated）显示重复的行
-u 仅显示不重复的行
wc： 统计文本行数，字数和字符数。 -c 字符数 -w 单词数 -l 行数
pr：将文本转换成适合打印的格式。 -c 显示的列数(截断超出的部分)
fmt: 优化文本的格式。 -w 设置一行显示的最大行宽 -s 只对过长的行进行换行，不要自动回填。
fold：限制文本宽度（强行截断并换行）。 -w 指定宽度 -s 只在空格处换行。
cut ：截取行的字段。 -delimiter 设置字段分割符 -f List 设置截取的域
List可以是M，M-，M-N -M；可以用逗号指定多个
join：连接两个文件的数据字段。 join file1 file2 -1 M -2 N M、N指定匹配的字段
tr： 文本替换。 tr set set :将str1上字符替换成str2上对于位置的字符； （可以是 tr 'a-z' 'A-Z'）
tr {-d|-s} set ：-d 删除set上的每一个字符 ；-s 除去连续出现的set中的字符，至只剩下单个
tr -c （complement 互补）使用set1的外的其他字符 [例子：tr -cs '[:lower:][:upper:]' '[\n*]' 单词表]
0)sed 的作用和工作方式
sed 是一个非交互式的的行编辑器，工作时，从指定的输入读入一行数据存入被称为模式空间（Pattern Space） 的临时缓冲区，然后按照指定的sed编辑命令处理缓冲区里面的内容，将结果输出到标准输出后从模式空间中删除，然后继续读取下一行继续工作。
1) 地址范围
sed -e '1,5d' test.txt
sed -e '/^#/d' test.txt
规则表达式中使用的表达式字符：
| 字符 | 描述 |
| ^ | 与行首匹配 |
|
$ |
与行尾匹配 |
|
. |
与任意一个字符匹配 |
| * | 与之前一个字符的零个或多个出现匹配 |
| [] | 与[]之间的所有字符匹配 |
2) 参数
-e 将脚本添加到命令执行，如上面的 '/^#/d'
-n 禁止模式空间的自动打印
替换文本： sed -e "s/benson/BENSON/g" 将benson 替换成大写
sed -e "1,10s/benson/BENSON/g" 将1-10行的benson变成大写
s/// 的 “/”可以被替换：比如 sed -e "s:/usr/local:/usr:g"
多条命令一起执行： sed -n -e "=;p" 打印行号；打印行 （等价与 sed -e "=" -e "p" ）
多条命令于同一地址范围：sed -n -e '1,5{s/benson/BENSON/g;s/laur/LAUR/g}'
把命令放在文件fsed里：sed -n -f fsed
awk 具有成为一门语言应有的要素：变量，函数等，是强大的处理工具。
例子：
awk -F ":" '{print "USER:" $1 "\tSHELL: " $7 }' /etc/passwd 结果： USER:root SHELL: /bin/bash USER:daemon SHELL: /usr/sbin/nologin USER:sync SHELL: /bin/sync
上面的命令也可以写入文件file.awk中：
awk -f file.awk /etc/passwd
BEGIN{ FS=":" }
{
print "USER:" $1 "\tSHELL: " $7
}