十二、sed文本处理

 

 

1.sed 是一款流编辑工具，用来对文本进行过滤与替换工作，特别是当你想要对几十个配置文件做统计修改时，你会感受到 sed 的魅力！
sed 通过输入读取文件内容，但一次仅读取一行内容进行某些指令处理后输出，所以 sed更适合于处理大数据文件。

sed：Stream Editor文本流编辑，sed是一个“非交互式的”面向字符流的编辑器。能同时处理多个文件多行的内容，可以不对原文件改动，把整个文件输入到屏幕,可以把只匹配到模式的内容输入到屏幕上。还可以对原文件改动，但是不会再屏幕上返回结果。


2.sed 流程：
* 通过文件或管道读取文件内容。
* sed 并不直接修改源文件，而是将读入的内容复制到缓冲区中，我们称之为模式空间（pattern space）。
* 根据 sed 的指令对模式空间中的内容进行处理并输出结果，默认输出至标准输出即屏幕上。

 

 

 

 

二、Sed 执行流程

Sed 脚本执行遵从下面简单易记的顺序： Read,Execute,Print,Repeat(读取，执行，打印，重复)，
简称 REPR
分析脚本执行顺序：

读取一行到模式空间(sed 内部的一个临时缓存，用于存放读取到的内容)
在模式空间中执行命令。如果使用了{ } 或 –e 指定了多个命令， sed 将依次执行每个命令
打印模式空间的内容，然后清空模式空间
重复上述过程，直到文件结束

 

如图：

十二、sed文本处理

 

    sed编辑器逐行处理文件（或输入），并将结果发送到屏幕。具体过程如下：首先sed把当前正在处理的行保存在一个临时缓存区中（也称为模式空间），然后处理临时缓冲区中的行，完成后把该行发送到屏幕上。sed每处理完一行就将其从临时缓冲区删除，然后将下一行读入，进行处理和显示。处理完输入文件的最后一行后，sed便结束运行。

   前面说到sed不会修改文件，那么现在我们可以知道是为什么了？是因为sed把每一行都存在临时缓冲区中，对这个副本进行编辑，所以不会修改原文件。

 

 

 

 三、sed使用方法介绍

 

 

sed常见的语法格式有两种，一种叫命令行模式，另一种叫脚本模式。

sed的命令格式： sed [option] 'sed command'filename

sed的脚本格式：sed [option] -f 'sed script'filename

 

1. 命令行格式

 

㈠ 语法格式

 sed [options] '处理动作**'** 文件名

 

注意：处理动作即sed 命令

 

sed命令的选项(option)：

 

-n ：只打印模式匹配的行

-e ：直接在命令行模式上进行sed动作编辑，此为默认选项

-f ：将sed的动作写在一个文件内，用–f filename 执行filename内的sed动作

-r ：支持扩展表达式

-i ：直接修改文件内容

 

 

 

 

sed选项

 

 

 选项

 功能

 -e

 进行多项编辑，即对输入行应用多条sed命令时使用

  -i

 直接在原文件上进行操作 

 -n

 取消默认的输出

 -f

 指定sed脚本的文件名

 

 

 

 

 

sed在文件中查询文本的方式：

 

1)使用行号，可以是一个简单数字，或是一个行号范围

  在使用sed的过程中，我们经常会听到“定址”，那么什么是“定址”呢？ 定址用于决定对哪些行进行编辑。地址的形式可以是数字、正则表达式、或二者的结合。如果没有指定地址，sed将处理输入文件的所有行。


x

x为行号

x,y

表示行号从x到y

/pattern

查询包含模式的行

/pattern /pattern

查询包含两个模式的行

pattern/,x

在给定行号上查询包含模式的行

x,/pattern/

通过行号和模式查询匹配的行

x,y!

查询不包含指定行号x和y的行

 

 

 

图1：

十二、sed文本处理

 

 

 

 

 

 

图2:

十二、sed文本处理

 

 

 

图3：

十二、sed文本处理

 

 

 

2)使用正则表达式、扩展正则表达式(必须结合-r选项)

 

与grep一样，sed也支持特殊元字符（默认正斜杠线“/”），模式查找、替换。不同的是，sed使用的正则表达式是括在斜杠线"/"之间的模式。

    如果要把正则表达式分隔符"/"改为另一个字符，比如o，只要在这个字符前加一个反斜线，在字符后跟上正则表达式，再跟上这个字符即可。

 

 

 

^

锚点行首的符合条件的内容，用法格式"^pattern"

$

锚点行首的符合条件的内容，用法格式"pattern$"

^$

空白行

.

匹配任意单个字符

*

匹配紧挨在前面的字符任意次(0,1,多次)

.*

匹配任意长度的任意字符

\？

匹配紧挨在前面的字符0次或1次

\{m,n\}

匹配其前面的字符至少m次，至多n次

\{m,\}

匹配其前面的字符至少m次

\{m\}

精确匹配前面的m次\{0,n\}:0到n次

\<

锚点词首----相当于 \b，用法格式：\<pattern

\>

锚点词尾，用法格式:\>pattern

\<pattern\>

单词锚点
 

分组，用法格式：n，引用\1,\2

[]

匹配指定范围内的任意单个字符

[^]

匹配指定范围外的任意单个字符

[:digit:]

所有数字, 相当于0-9， [0-9]---> [[:digit:]]

[:lower:]

所有的小写字母

[:upper:]

所有的大写字母

[:alpha:]

所有的字母

[:alnum:]

相当于0-9a-zA-Z

[:space:]

空白字符

[:punct:]

所有标点符号

 

 

 

#######sed的匹配模式支持正则表达式##################### 

 

    #######sed的匹配模式支持正则表达式#####################  
    sed'5 q'/etc/passwd#打印前5行  
    sed-n '/r*t/p'/etc/passwd#打印匹配r有0个或者多个，后接一个t字符的行  
    sed-n '/.r.*/p'/etc/passwd#打印匹配有r的行并且r后面跟任意字符  
    sed-n '/o*/p'/etc/passwd#打印o字符重复任意次  
    sed-n '/o\{1,\}/p'/etc/passwd#打印o字重复出现一次以上  
    sed-n '/o\{1,3\}/p'/etc/passwd#打印o字重复出现一次到三次之间以上

 

 

 

sed的编辑命令(sed command)或处理动作：

 

p

打印匹配行（和-n选项一起合用）

=

显示文件行号

a\

在定位行号后附加新文本信息

i\

在定位行号后插入新文本信息

d

删除定位行

c\

用新文本替换定位文本

w filename

写文本到一个文件，类似输出重定向 >

r filename

从另一个文件中读文本，类似输入重定向 <

s

使用替换模式替换相应模式

q

第一个模式匹配完成后退出或立即退出

l

显示与八进制ACSII代码等价的控制符

{}

在定位行执行的命令组，用分号隔开

n

从另一个文件中读文本下一行，并从下一条命令而不是第一条命令开始对其的处理

N

在数据流中添加下一行以创建用于处理的多行组

g

将模式2粘贴到/pattern n/

y

传送字符，替换单个字符

 

或者：sed命令

 

 

 

 命令

 功能

 a\

 在当前行后添加一行或多行。多行时除最后一行外，每行末尾需用“\”续行

 c\

 用此符号后的新文本替换当前行中的文本。多行时除最后一行外，每行末尾需用"\"续行

 i\

 在当前行之前插入文本。多行时除最后一行外，每行末尾需用"\"续行

 d

 删除行

 h

 把模式空间里的内容复制到暂存缓冲区

 H

 把模式空间里的内容追加到暂存缓冲区

 g

 把暂存缓冲区里的内容复制到模式空间，覆盖原有的内容

 G

 把暂存缓冲区的内容追加到模式空间里，追加在原有内容的后面

 l

 列出非打印字符

 p

 打印行

 n

 读入下一输入行，并从下一条命令而不是第一条命令开始对其的处理

 q

 结束或退出sed

 r

 从文件中读取输入行

 !

 对所选行以外的所有行应用命令

 s

 用一个字符串替换另一个

 g

 在行内进行全局替换

 w

 将所选的行写入文件

 x

 交换暂存缓冲区与模式空间的内容

 y

 将字符替换为另一字符（不能对正则表达式使用y命令）

 

 

 

丑话说在前面：以下所有的动作都要在单引号里，你敢出轨，回家跪搓衣板

 

 

㈡ 举例说明

 

文件准备

# vim a.txt 
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
298374837483
172.16.0.254
10.1.1.1

 

① 对文件进行增、删、改、查操作

 

语法：sed 选项 '定位+命令' 需要处理的文件

 

1）打印文件内容

 

[root@server ~]# sed ''  a.txt                        对文件什么都不做
[root@server ~]# sed -n 'p'  a.txt                    打印每一行，并取消默认输出
[root@server ~]# sed -n '1p'  a.txt                    打印第1行
[root@server ~]# sed -n '2p'  a.txt                    打印第2行
[root@server ~]# sed -n '1,5p'  a.txt                打印1到5行
[root@server ~]# sed -n '$p' a.txt                     打印最后1行

 

 

2）增加文件内容

i 地址定位的上面插入

a 下面插入

[root@server ~]# sed '$a99999' a.txt                 文件最后一行下面增加内容
[root@server ~]# sed 'a99999' a.txt                 文件每行下面增加内容
[root@server ~]# sed '5a99999' a.txt                 文件第5行下面增加内容
[root@server ~]# sed '$i99999' a.txt                 文件最后一行上一行增加内容
[root@server ~]# sed 'i99999' a.txt                 文件每行上一行增加内容
[root@server ~]# sed '6i99999' a.txt                 文件第6行上一行增加内容
[root@server ~]# sed '/^uucp/ihello'                以uucp开头行的上一行插入内容

 

3）修改文件内容

c 替换指定的整行内容

[root@server ~]# sed '5chello world' a.txt         替换文件第5行内容
[root@server ~]# sed 'chello world' a.txt         替换文件所有内容
[root@server ~]# sed '1,5chello world' a.txt     替换文件1到5号内容为hello world
[root@server ~]# sed '/^user01/c888888' a.txt    替换以user01开头的行

 

4）删除文件内容

 

[root@server ~]# sed '1d' a.txt                         删除文件第1行
[root@server ~]# sed '1,5d' a.txt                     删除文件1到5行
[root@server ~]# sed '$d' a.txt                        删除文件最后一行

 

② 对文件进行搜索替换操作

语法：sed 选项 's/搜索的内容/替换的内容/动作' 需要处理的文件

其中，s表示search搜索；斜杠/表示分隔符，可以自己定义;动作一般是打印p和全局替换g

 

[root@server ~]# sed -n 's/root/ROOT/p' 1.txt 
[root@server ~]# sed -n 's/root/ROOT/gp' 1.txt 
[root@server ~]# sed -n 's/^#//gp' 1.txt 
[root@server ~]# sed -n 's@/sbin/nologin@itcast@gp' a.txt
[root@server ~]# sed -n 's/\/sbin\/nologin/itcast/gp' a.txt
[root@server ~]# sed -n '10s#/sbin/nologin#itcast#p' a.txt 
uucp:x:10:14:uucp:/var/spool/uucp:itcast
[root@server ~]# sed -n 's@/sbin/nologin@itcastheima@p' 2.txt 
注意：搜索替换中的分隔符可以自己指定

[root@server ~]# sed -n '1,5s/^/#/p' a.txt         注释掉文件的1-5行内容
#root:x:0:0:root:/root:/bin/bash
#bin:x:1:1:bin:/bin:/sbin/nologin
#daemon:x:2:2:daemon:/sbin:/sbin/nologin
#adm:x:3:4:adm:/var/adm:/sbin/nologin
#lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

 

③ 其他命令

命令 解释 备注
r 从另外文件中读取内容  
w 内容另存为  
& 保存查找串以便在替换串中引用 和\(\)相同
= 打印行号  
！ 对所选行以外的所有行应用命令，放到行数之后 '1,5!'
q 退出  

 

举例说明：

 

r    从文件中读取输入行
w    将所选的行写入文件
[root@server ~]# sed '3r /etc/hosts' 2.txt 
[root@server ~]# sed '$r /etc/hosts' 2.txt
[root@server ~]# sed '/root/w a.txt' 2.txt 
[root@server ~]# sed '/[0-9]{4}/w a.txt' 2.txt
[root@server ~]# sed  -r '/([0-9]{1,3}\.){3}[0-9]{1,3}/w b.txt' 2.txt

!    对所选行以外的所有行应用命令，放到行数之后
[root@server ~]# sed -n '1!p' 1.txt 
[root@server ~]# sed -n '4p' 1.txt 
[root@server ~]# sed -n '4!p' 1.txt 
[root@server ~]# cat -n 1.txt 
[root@server ~]# sed -n '1,17p' 1.txt 
[root@server ~]# sed -n '1,17!p' 1.txt 

&   保存查找串以便在替换串中引用   \(\)

[root@server ~]# sed -n '/root/p' a.txt 
root:x:0:0:root:/root:/bin/bash
[root@server ~]# sed -n 's/root/#&/p' a.txt 
#root:x:0:0:root:/root:/bin/bash

# sed -n 's/^root/#&/p' passwd   注释掉以root开头的行
# sed -n -r 's/^root|^stu/#&/p' /etc/passwd    注释掉以root开头或者以stu开头的行
# sed -n '1,5s/^[a-z].*/#&/p' passwd  注释掉1~5行中以任意小写字母开头的行
# sed -n '1,5s/^/#/p' /etc/passwd  注释1~5行
或者
sed -n '1,5s/^/#/p' passwd 以空开头的加上#
sed -n '1,5s/^#//p' passwd 以#开头的替换成空

[root@server ~]# sed -n '/^root/p' 1.txt 
[root@server ~]# sed -n 's/^root/#&/p' 1.txt 
[root@server ~]# sed -n 's/\(^root\)/#\1/p' 1.txt 
[root@server ~]# sed -nr '/^root|^stu/p' 1.txt 
[root@server ~]# sed -nr 's/^root|^stu/#&/p' 1.txt 


=     打印行号
# sed -n '/bash$/=' passwd    打印以bash结尾的行的行号
# sed -ne '/root/=' -ne '/root/p' passwd 
# sed -n '/nologin$/=;/nologin$/p' 1.txt
# sed -ne '/nologin$/=' -ne '/nologin$/p' 1.txt

q    退出
# sed '5q' 1.txt
# sed '/mail/q' 1.txt
# sed -r '/^yunwei|^mail/q' 1.txt
[root@server ~]# sed -n '/bash$/p;10q' 1.txt
ROOT:x:0:0:root:/root:/bin/bash


综合运用：
[root@server ~]# sed -n '1,5s/^/#&/p' 1.txt 
#root:x:0:0:root:/root:/bin/bash
#bin:x:1:1:bin:/bin:/sbin/nologin
#daemon:x:2:2:daemon:/sbin:/sbin/nologin
#adm:x:3:4:adm:/var/adm:/sbin/nologin
#lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

[root@server ~]# sed -n '1,5s/\(^\)/#\1/p' 1.txt 
#root:x:0:0:root:/root:/bin/bash
#bin:x:1:1:bin:/bin:/sbin/nologin
#daemon:x:2:2:daemon:/sbin:/sbin/nologin
#adm:x:3:4:adm:/var/adm:/sbin/nologin
#lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

 

 

④ 其他选项

 

-e 多项编辑
-r    扩展正则
-i 修改原文件

[root@server ~]# sed -ne '/root/p' 1.txt -ne '/root/='
root:x:0:0:root:/root:/bin/bash
1
[root@server ~]# sed -ne '/root/=' -ne '/root/p' 1.txt 
1
root:x:0:0:root:/root:/bin/bash

在1.txt文件中的第5行的前面插入“hello world”;在1.txt文件的第8行下面插入“哈哈哈哈”

[root@server ~]# sed -e '5ihello world' -e '8a哈哈哈哈哈' 1.txt  -e '5=;8='

sed -n '1,5p' 1.txt
sed -ne '1p' -ne '5p' 1.txt
sed -ne '1p;5p' 1.txt

过滤vsftpd.conf文件中以#开头和空行：
[root@server ~]# grep -Ev '^#|^$' /etc/vsftpd/vsftpd.conf
[root@server ~]# sed -e '/^#/d' -e '/^$/d' /etc/vsftpd/vsftpd.conf
[root@server ~]# sed '/^#/d;/^$/d' /etc/vsftpd/vsftpd.conf
[root@server ~]# sed -r '/^#|^$/d' /etc/vsftpd/vsftpd.conf

过滤smb.conf文件中生效的行：
# sed -e '/^#/d' -e '/^;/d' -e '/^$/d' -e '/^\t$/d' -e '/^\t#/d' smb.conf
# sed -r '/^(#|$|;|\t#|\t$)/d' smb.conf 

# sed -e '/^#/d' -e '/^;/d' -e '/^$/d' -e '/^\t$/d' -e '/^\t#/' smb.conf


[root@server ~]# grep '^[^a-z]' 1.txt

[root@server ~]# sed -n '/^[^a-z]/p' 1.txt

过滤出文件中的IP地址：
[root@server ~]# grep -E '([0-9]{1,3}\.){3}[0-9]{1,3}' 1.txt 
192.168.0.254
[root@server ~]# sed -nr '/([0-9]{1,3}\.){3}[0-9]{1,3}/p' 1.txt 
192.168.0.254

[root@server ~]# grep -o -E '([0-9]{1,3}\.){3}[0-9]{1,3}' 2.txt 
10.1.1.1
10.1.1.255
255.255.255.0

[root@server ~]# sed -nr '/([0-9]{1,3}\.){3}[0-9]{1,3}/p' 2.txt
10.1.1.1
10.1.1.255
255.255.255.0
过滤出ifcfg-eth0文件中的IP、子网掩码、广播地址
[root@server shell06]# grep -Eo '([0-9]{1,3}\.){3}[0-9]{1,3}' ifcfg-eth0 
10.1.1.1
255.255.255.0
10.1.1.254
[root@server shell06]# sed -nr '/([0-9]{1,3}\.){3}[0-9]{1,3}/p' ifcfg-eth0|cut -d'=' -f2
10.1.1.1
255.255.255.0
10.1.1.254
[root@server shell06]# sed -nr '/([0-9]{1,3}\.){3}[0-9]{1,3}/p' ifcfg-eth0|sed -n 's/[A-Z=]//gp'
10.1.1.1
255.255.255.0
10.1.1.254

[root@server shell06]# ifconfig eth0|sed -n '2p'|sed -n 's/[:a-Z]//gp'|sed -n 's/ /\n/gp'|sed '/^$/d'
10.1.1.1
10.1.1.255
255.255.255.0
[root@server shell06]# ifconfig | sed -nr '/([0-9]{1,3}\.)[0-9]{1,3}/p' | head -1|sed -r 's/([a-z:]|[A-Z/t])//g'|sed 's/ /\n/g'|sed  '/^$/d'

[root@server shell06]# ifconfig eth0|sed -n '2p'|sed -n 's/.*addr:\(.*\) Bcast:\(.*\) Mask:\(.*\)/\1\n\2\n\3/p'
10.1.1.1 
10.1.1.255 
255.255.255.0

-i 选项  直接修改原文件
# sed -i 's/root/ROOT/;s/stu/STU/' 11.txt
# sed -i '17{s/YUNWEI/yunwei/;s#/bin/bash#/sbin/nologin#}' 1.txt
# sed -i '1,5s/^/#&/' a.txt
注意：
-ni  不要一起使用
p命令 不要再使用-i时使用

 

 

⑤ sed结合正则使用

 

sed 选项 'sed命令或者正则表达式或者地址定位=='== 文件名

 

  1. 定址用于决定对哪些行进行编辑。地址的形式可以是数字、正则表达式、或二者的结合。
  2. 如果没有指定地址，sed将处理输入文件的所有行。
正则 说明 备注
/key/ 查询包含关键字的行 sed -n '/root/p' 1.txt
/key1/,/key2/ 匹配包含两个关键字之间的行 sed -n '/^adm/,/^mysql/p' 1.txt
/key/,x 从匹配关键字的行开始到文件第x行之间的行（包含关键字所在行） sed -n '/^ftp/,7p'
x,/key/ 从文件的第x行开始到与关键字的匹配行之间的行  
x,y! 不包含x到y行  
/key/! 不包括关键字的行 sed -n '/bash$/!p' 1.txt

 

 

 

2. 脚本格式

 

㈠ 用法

 

# sed -f scripts.sh  file        //使用脚本处理文件
建议使用   ./sed.sh   file

脚本的第一行写上
#!/bin/sed -f
1,5d
s/root/hello/g
3i777
5i888
a999
p

 

 

㈡ 注意事项

 

１）　脚本文件是一个sed的命令行清单。'commands'
２）　在每行的末尾不能有任何空格、制表符（tab）或其它文本。
３）　如果在一行中有多个命令，应该用分号分隔。
４）　不需要且不可用引号保护命令
５）　#号开头的行为注释

 

㈢举例说明

 

# cat passwd
stu3:x:509:512::/home/user3:/bin/bash
stu4:x:510:513::/home/user4:/bin/bash
stu5:x:511:514::/home/user5:/bin/bash

# cat sed.sh 
#!/bin/sed -f
2a\
******************
2,$s/stu/user/
$a\
we inster new line
s/^[a-z].*/#&/

[root@server ~]# cat 1.sed 
#!/bin/sed -f
3a**********************
$chelloworld
1,3s/^/#&/

[root@server ~]# sed -f 1.sed -i 11.txt 
[root@server ~]# cat 11.txt 
#root:x:0:0:root:/root:/bin/bash
#bin:x:1:1:bin:/bin:/sbin/nologin
#daemon:x:2:2:daemon:/sbin:/sbin/nologin
**********************
adm:x:3:4:adm:/var/adm:/sbin/nologin
helloworld

 

3. 补充扩展总结

 

1、正则表达式必须以”/“前后规范间隔
例如：sed '/root/d' file
例如：sed '/^root/d' file

2、如果匹配的是扩展正则表达式，需要使用-r选来扩展sed
grep -E
sed -r
+ ? () {n,m} | \d

注意：         
在正则表达式中如果出现特殊字符(^$.*/[]),需要以前导 "\" 号做转义
eg：sed '/\$foo/p' file

3、逗号分隔符
例如：sed '5,7d' file                  删除5到7行
例如：sed '/root/,/ftp/d' file    
删除第一个匹配字符串"root"到第一个匹配字符串"ftp"的所有行本行不找 循环执行
       
4、组合方式
例如：sed '1,/foo/d' file            删除第一行到第一个匹配字符串"foo"的所有行
例如：sed '/foo/,+4d' file            删除从匹配字符串”foo“开始到其后四行为止的行
例如：sed '/foo/,~3d' file            删除从匹配字符串”foo“开始删除到3的倍数行（文件中）
例如：sed '1~5d' file                从第一行开始删每五行删除一行
例如：sed -nr '/foo|bar/p' file    显示配置字符串"foo"或"bar"的行
例如：sed -n '/foo/,/bar/p' file    显示匹配从foo到bar的行
例如：sed '1~2d'  file                删除奇数行
例如：sed '0-2d'   file                删除偶数行 sed '1~2!d'  file

5、特殊情况
例如：sed '$d' file                    删除最后一行
例如：sed '1d' file                    删除第一行
    
6、其他：
sed 's/.//' a.txt                        删除每一行中的第一个字符
sed 's/.//2' a.txt                    删除每一行中的第二个字符
sed 's/.//N' a.txt                    从文件中第N行开始，删除每行中第N个字符（N>2）
sed 's/.$//' a.txt                    删除每一行中的最后一个字符


[root@server ~]# cat 2.txt 
1 a
2 b
3 c
4 d
5 e
6 f
7 u
8 k
9 o
[root@server ~]# sed '/c/,~2d' 2.txt 
1 a
2 b
5 e
6 f
7 u
8 k
9 o

 

 

#四、课堂练习

练习1：

    将任意数字替换成空或者制表符
    去掉文件1-5行中的数字、冒号、斜杠
    匹配root关键字替换成hello itcast，并保存到test.txt文件中
    删除vsftpd.conf、smb.conf、main.cf配置文件里所有注释的行及空行（不要直接修改原文件）
    使用sed命令截取自己的ip地址
    使用sed命令一次性截取ip地址、广播地址、子网掩码
    注释掉文件的2-3行和匹配到以root开头或者以ftp开头的行

答案：

1、将文件中任意数字替换成空或者制表符
2、去掉文件1-5行中的数字、冒号、斜杠
3、匹配root关键字的行替换成hello itcast，并保存到test.txt文件中
4、删除vsftpd.conf、smb.conf、main.cf配置文件里所有注释的行及空行（不要直接修改原文件）
5、使用sed命令截取自己的ip地址
# ifconfig eth0|sed -n '2p'|sed -n 's/.*addr://pg'|sed -n 's/Bcast.*//gp'
10.1.1.1  
# ifconfig eth0|sed -n '2p'|sed 's/.*addr://g'|sed 's/ Bcast:.*//g'
6、使用sed命令一次性截取ip地址、广播地址、子网掩码
# ifconfig eth0|sed -n '2p'|sed -n 's#.*addr:\(.*\) Bcast:\(.*\) Mask:\(.*\)#\1\n\2\n\3#p'
10.1.1.1 
10.1.1.255 
255.255.255.0

7、注释掉文件的2-3行和匹配到以root开头或者以ftp开头的行
# sed -nr '2,3s/^/#&/p;s/^ROOT|^ftp/#&/p' 1.txt
#ROOT:x:0:0:root:/root:/bin/bash
#bin:x:1:1:bin:/bin:/sbin/nologin
#3daemon:x:2:2:daemon:/sbin:/sbin/nologin

# sed -ne '1,2s/^/#&/gp' a.txt -nre 's/^lp|^mail/#&/gp'
# sed -nr '1,2s/^/#&/gp;s/^lp|^mail/#&/gp' a.txt

 

 

#五、课后实战

1、写一个初始化系统的脚本 1）自动修改主机名（如：ip是192.168.0.88，则主机名改为server88.itcast.cc）

a. 更改文件非交互式 sed

/etc/sysconfig/network

b.将本主机的IP截取出来赋值给一个变量ip;再然后将ip变量里以.分割的最后一位赋值给另一个变量ip1

2）自动配置可用的yum源

3）自动关闭防火墙和selinux

2、写一个搭建ftp服务的脚本，要求如下： 1）不支持本地用户登录 local_enable=NO 2） 匿名用户可以上传 新建 删除 anon_upload_enable=YES anon_mkdir_write_enable=YES 3） 匿名用户限速500KBps anon_max_rate=500000

 

仅供参考：
#!/bin/bash
ipaddr=`ifconfig eth0|sed -n '2p'|sed -e 's/.*inet addr:\(.*\) Bcast.*/\1/g'`
iptail=`echo $ipaddr|cut -d'.' -f4`
ipremote=192.168.1.10
#修改主机名
hostname server$iptail.itcast.com
sed -i "/HOSTNAME/cHOSTNAME=server$iptail.itcast.com" /etc/sysconfig/network
echo "$ipaddr server$iptail.itcast.cc" >>/etc/hosts
#关闭防火墙和selinux
service iptables stop
setenforce 0 >/dev/null 2>&1
sed -i '/^SELINUX=/cSELINUX=disabled' /etc/selinux/config
#配置yum源(一般是内网源)
#test network
ping -c 1 $ipremote > /dev/null 2>&1
if [ $? -ne 0 ];then
    echo "你的网络不通，请先检查你的网络"
    exit 1
else
    echo "网络ok."
fi
cat > /etc/yum.repos.d/server.repo << end
[server]
name=server
baseurl=ftp://$ipremote
enabled=1
gpgcheck=0
end

#安装软件
read -p "请输入需要安装的软件，多个用空格隔开：" soft
yum -y install $soft &>/dev/null

#备份配置文件
conf=/etc/vsftpd/vsftpd.conf
\cp $conf $conf.default
#根据需求修改配置文件
sed -ir '/^#|^$/d' $conf
sed -i '/local_enable/c\local_enable=NO' $conf
sed -i '$a anon_upload_enable=YES' $conf
sed -i '$a anon_mkdir_write_enable=YES' $conf
sed -i '$a anon_other_write_enable=YES' $conf
sed -i '$a anon_max_rate=512000' $conf
#启动服务
service vsftpd restart &>/dev/null && echo"vsftpd服务启动成功"

#测试验证
chmod 777 /var/ftp/pub
cp /etc/hosts /var/ftp/pub
#测试下载
cd /tmp
lftp $ipaddr <<end
cd pub
get hosts
exit
end

if [ -f /tmp/hosts ];then
    echo "匿名用户下载成功"
    rm -f /tmp/hosts
else
    echo "匿名用户下载失败"
fi
#测试上传、创建目录、删除目录等
cd /tmp
lftp $ipaddr << end
cd pub
mkdir test1
mkdir test2
put /etc/group
rmdir test2
exit
end

if [ -d /var/ftp/pub/test1 ];then
    echo "创建目录成功"
    if [ ! -d /var/ftp/pub/test2 ];then
        echo "文件删除成功"
        fi
else
    if [ -f /var/ftp/pub/group ];then
    echo "文件上传成功"
        else
        echo "上传、创建目录删除目录部ok"
        fi 
fi   
[ -f /var/ftp/pub/group ] && echo "上传文件成功"

 

 

练习

 

1，删除文件每行的第一个字符。

    sed -n 's/^.//gp' /etc/passwd  
    sed -nr 's/(.)(.*)/\2/p' /etc/passwd  

2，删除文件每行的第二个字符。

    sed -nr 's/(.)(.)(.*)/\1\3/p' /etc/passwd  

3，删除文件每行的最后一个字符。

    sed -nr 's/.$//p' /etc/passwd  
    sed -nr 's/(.*)(.)/\1/p' /etc/passwd  

4，删除文件每行的倒数第二个字符。

    sed -nr 's/(.*)(.)(.)/\1\3/p' /etc/passwd  

5，删除文件每行的第二个单词。

    sed -nr 's/([^a-Z]*)([a-Z]+)([^a-Z]+)([a-Z]+)(.*)/\1\2\3\5/p' /etc/passwd  

6，删除文件每行的倒数第二个单词。

    sed -nr 's/(.*)([^a-Z]+)([a-Z]+)([^a-Z]+)([a-Z]+)([^a-Z]*)/\1\2\4\5\6/p' /etc/samba/smb.conf  

7，删除文件每行的最后一个单词。

    sed -nr 's/(.*)([^a-Z]+)([a-Z]+)([^a-Z]*)/\1\2\4/p' /etc/samba/smb.conf  

8，交换每行的第一个字符和第二个字符。

    sed -nr 's/(.)(.)(.*)/\2\1\3/p' /etc/passwd  

9，交换每行的第一个单词和第二个单词。

    sed -nr 's/([^a-Z]*)([a-Z]+)([^a-Z]+)([a-Z]+)(.*)/\1\4\3\2\5/p' /etc/samba/smb.conf  

10，交换每行的第一个单词和最后一个单词。

    sed -nr 's/([^a-Z]*)([a-Z]+)([^a-Z]+)([a-Z]+)(.*)/\1\4\3\2\5/p' /etc/passwd  

11，删除一个文件中所有的数字。

    sed 's/[0-9]*//g' /etc/passwd  

12，删除每行开头的所有空格。

    sed -n 's/^\ *//p' /etc/samba/smb.conf   
    sed -nr 's/( *)(.*)/\2/p' testp  

13，用制表符替换文件中出现的所有空格。

    sed -n 's/\ /\t/gp' pass   

14，把所有大写字母用括号（）括起来。

    sed -nr 's/([A-Z])/(&)/gp' testp   
    sed -n 's/[A-Z]/(&)/gp' testp  

15，打印每行3次。

    sed 'p;p' pass  

16，隔行删除。

    sed -n '1~2p' pass  

17，把文件从第22行到第33行复制到第44行后面。

    sed '1,21h;22h;23,33H;44G' pass  

18，把文件从第22行到第33行移动到第44行后面。

    sed '22{h;d};23,33{H;d};44G' pass  

19，只显示每行的第一个单词。

    sed -nr 's/([^a-Z]*)([a-Z]+)([^a-Z]+)(.*)/\2/p' /etc/passwd  

20，打印每行的第一个单词和第三个单词。

    sed -nr 's/([^a-Z]*)([a-Z]+)([^a-Z]+)([a-Z]+)([^a-Z]+)([a-Z]+)(.*)/\2--\4/p' /etc/passwd  

21，将格式为    mm/yy/dd    的日期格式换成   mm；yy；dd

    date +%m/%Y/%d |sed -n 's#/#;#gp'

 

 

 

sed练习：

1、删除/etc/grub.conf文件中行首的空白符；
sed -r 's@^[[:spapce:]]+@@g' /etc/grub.conf
2、替换/etc/inittab文件中"id:3:initdefault:"一行中的数字为5；
sed 's@\(id:\)[0-9]\(:initdefault:\)@\15\2@g' /etc/inittab
3、删除/etc/inittab文件中的空白行；
sed '/^$/d' /etc/inittab
4、删除/etc/inittab文件中开头的#号;
sed 's@^#@@g' /etc/inittab
5、删除某文件中开头的#号及后面的空白字符，但要求#号后面必须有空白字符;
sed -r 's@^#[[:space:]]+@@g' /etc/inittab
6、删除某文件中以空白字符后面跟#类的行中的开头的空白字符及#
sed -r 's@^[[:space:]]+#@@g' /etc/inittab
7、取出一个文件路径的目录名称;
echo "/etc/rc.d/" | sed -r 's@^(/.*/)[^/]+/?@\1@g'    
基名：
echo "/etc/rc.d/" | sed -r 's@^/.*/([^/]+)/?@\1@g'

 

 

参考：

https://www.cnblogs.com/ctaixw/p/5860221.html

https://www.cnblogs.com/wangcp-2014/p/6756377.html

 https://note.youdao.com/ynoteshare1/index.html?id=b402ca42248d060e7bdd5ee145f47cc5&type=notebook##/DE6B4DF94A024C548A220DD89C0286A5

 

相关文章：

猜你喜欢
相关资源
相似解决方案
热门标签
Java Python linux javascript Mysql C# Docker 算法 前端 SpringBoot Redis Vue spring 设计模式 .net core .net kubernetes c++ 数据库 数据结构 大数据 js 机器学习 微服务 Android Go 程序员 面试 JVM ASP.net core 云原生 人工智能 后端 PHP git CSS golang k8s Nginx Django mybatis 深度学习 多线程 React 架构 devops 爬虫 云计算 Spring Boot LeetCode