Linux 云计算集群架构师->第二十三章 expect-正则表达式-sed-cut 的使用
第二十三章 expect-正则表达式-sed-cut 的使用(上课时间2021-07-22，笔记整理时间2021-07-28)
本节所讲内容：
23.1 expect 实现无交互登录
23.2 正则表达式
23.3 sed 流编辑器
23.4 cut 命令
23.5 实战-bash 脚本语法检查和查看详细的执行过程
23.1 expect 实现无交互登录
expect ([ɪkˈspekt] 期待 )是从它发展出来的。如果你想要写一个能够自动处理输入输出的脚本（如向用户提问并且验证密码）又不想面对 C 或者 Perl，那么 expect 是你的最好的选择。它可以用来做一些 linux 下无法做到交互的一些命令操作。
23.1.1 安装和使用 expect
# yum -y install expect.x86_64使用 expect 创建脚本的方法
1）定义脚本执行的 shell
#!/usr/bin/expect
这里定义的是 expect 可执行文件的链接路径（或真实路径），功能类似于 bash 等 shell 功能
2）set timeout 30
设置超时时间，单位是秒，如果设为 timeout -1 意为永不超时
3）spawn
spawn 是进入 expect 环境后才能执行的内部命令，如果没有装 expect 或者直接在默认的 SHELL下执行是找不到 spawn 命令的。不能直接在默认的 shell 环境中进行执行主要功能，它主要的功能是给ssh 运行进程加个壳，用来传递交互指令。
4）expect
这里的 expect 同样是 expect 的内部命令
主要功能：判断输出结果是否包含某项字符串，没有则立即返回，否则就等待一段时间后返回，等待时间通过 timeout 进行设置
5）send
执行交互动作，将交互要执行的动作进行输入给交互指令
命令字符串结尾要加上"\r"，如果出现异常等待的状态可以进行核查
6）exp_continue
继续执行接下来的交互操作
7）interact
执行完后保持交互状态，把控制权交给控制台；如果不加这一项，交互完成会自动退出
8）$argv
expect 脚本可以接受从 bash 传递过来的参数，可以使用 获得，n 从 0 开始，分别表示第一个，第二个，第三个……参数
免密码脚本通过 SSH 登录服务器
# vim ssh.exp!/usr/bin/expect
set ipaddr "192.168.100.63"
set name "root"
set passwd "123456"
set timeout 30 #设置超时时间，单位是秒；expect 超时等待的时间。默认 timeout 为 10s。
spawn ssh $name@$ipaddr # spawn 是进入 expect 环境后才可以执行的 expect 内部命令，如果没有装 expect 或者直接在 shell 下执行是找不到 spawn 命令的。这个就好比 cd 是 shell 的内建命令，离开 shell，就无法执行 cd 一样。 它主要的功能是给 ssh 运行进程加个壳，用来传递交互指令。
expect {
"yes/no" { send "yes\r";exp_continue }
"password" { send "$passwd\r" } #执行交互动作，与手工输入密码的动作等效。
}
expect "#" #找#这个字符串，找到就代表 root 登录成功了
send "touch /root/expect_test.txt\r"
send "ls /etc > /root/expect_test.txt\r"
send "mkdir /tmp/expect_test\r"
send "exit\r"
expect eof #执行完成上述命令后，退出 Expect，把控制权交给控制台，变回手工操作
对服务器批量管理（了解）
# vim ip_pass.txt
# vim ssh2.exp #编写要执行的操作!/usr/bin/expect
set ipaddr #接收第一个位置的变量
set passwd #接收第二个位置的变量
set timeout 30
spawn ssh root@$ipaddr
expect {
"yes/no" { send "yes\r";exp_continue }
"password" { send "$passwd\r" }
}
expect "#"
send "touch /root/expect_test.txt\r"
send "ls /etc > /root/expect_test.txt\r"
send "mkdir /tmp/expect_test\r"
send "exit\r"
expect eof# vim login.sh !/bin/bash
for ip in awk '{print $1}' /root/ip_pass.txt
do
pass=grep $ip /root/ip_pass.txt|awk '{print $2}' #通过 grep 找到这 ip 这一行内容，然后
通过 awk 找到这一行的第二列
expect /root/ssh2.exp $ip $pass
done
# bash login.sh 注：运行脚本时，要把#号后面的注释删除，不然无法运行
23.2 正则表达式的使用
正则表达式，又称规则表达式。（英语：Regular Expression [ˈreɡjulə] 规则的 [ iksˈpreʃən] 表达 ），在代码中常简写为 regex、regexp 或 RE），计算机科学的一个概念。正则表达式通常被用来检索、替换那些符合某个模式(规则)的文本。
正则表达式不只有一种，而且 LINUX 中不同的程序可能会使用不同的正则表达式，如：工具：grep sed awk
LINUX 中常用的有两种正则表达式引擎
基础正则表达式：BRE
扩展正则表达式: ERE
23.2.1 Shell 正则表达式的组成
基础正则表达式
字符含义$匹配输入字符串的结尾位置。要匹配 $ 字符本身，请使用 \$( )标记一个子表达式的开始和结束位置。要匹配这些字符，请使用 ( 和 )*匹配前面的子表达式零次或多次。要匹配 字符，请使用 \+匹配前面的子表达式一次或多次。要匹配 + 字符，请使用 +.匹配除换行符 \n 之外的任何单字符。要匹配 . ，请使用 .[标记一个中括号表达式的开始。要匹配 [，请使用 [?匹配前面的子表达式零次或一次，或指明一个非贪婪限定符。要匹配 ? 字符，请使用 \?\将下一个字符标记为或特殊字符、或原义字符、或向后引用、或八进制转义符。例如， 'n' 匹配字符 'n'。'\n' 匹配换行符。序列 '\' 匹配 "\"，而 '(' 则匹配 "("^匹配输入字符串的开始位置，除非在方括号表达式中使用，此时它表示不接受该字符集合。要匹配 ^ 字符本身，请使用 \^{标记限定符表达式的开始。要匹配 {，请使用 {|指明两项之间的一个选择。如：Y |y,要匹配|，请使用 |定位符^匹配输入字符串开始的位置$匹配输入字符串结尾的位置非打印字符\n匹配一个换行符\r匹配一个回车符\t匹配一个制表符# grep 'ro\+t' /etc/passwd
root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin
# egrep 'ro+t' /etc/passwd
root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin
# egrep 'ro(o)?t' /etc/passwd
root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin
# grep 'ro\(o\)\?t' /etc/passwd
root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin# grep -v "^$" /etc/ssh/ssh_config |grep -v "^#" | wc -l统计/etc/ssh/sshd_config 文件中除去空行和#号开头的行的行数
# grep -v "^$\|^" /etc/ssh/ssh_config | wc -l
0 #使用基础正则表达式
# grep -E -v "^$|^#" /etc/ssh/ssh_config | wc -l
1 #扩展正则表达式
# grep -v "^$|^#" /etc/ssh/ssh_config | wc -l
52 #扩展正则表达式
23.3 sed 流编辑器
23.3.1 sed strem editor 流编辑器
sed 编辑器是一行一行的处理文件内容的。正在处理的内容存放在模式空间(缓冲区)内，处理完成后按照选项的规定进行输出或文件的修改。
接着处理下一行，这样不断重复，直到文件末尾。文件内容并没有改变，除非你使用重定向存储输出。Sed 主要用来自动编辑一个或多个文件；简化对文件的反复操作；
sed 也是支持正则表达式的，如果要使用扩展正则加参数-r
sed 的执行过程：
(1)一次读取一行数据
(2)根据我们提供的规则来匹配相关的数据，比如查找 root
(3)按照命令修改数据流中的数据，比如替换
(4)将结果进行输出
(5)重复上面四步
23.3.2 如何使用
语法格式：sed ‘’ filename
# echo "this is linux" | sed 's/linux/dog/'
this is dog
# echo "this is li/nux " | sed 's/li\/nux/dog@'
this is dog #有/的时候，可以使用其他界定符
# echo "this linux test" > linux.txt
# sed 's/linux/dog/' linux.txt
this dog test
# cat linux.txt
this linux test#发现并没有修改文件23.3.3 sed 命令参数详解
选项定义-a在当前行下面插入文件-n读取下一个输入行，用下一个命令处理新的行而不是用第一个命令（取消默认输出）-e执行多个 sed 指令-f编辑文件内容 ***-i编辑文件内容 ***-i.bak编辑的同时创造.bak 的备份-r使用扩展的正则表达式命令定义i在当前行上面插入文件c把选定的行改为新的指定的文本p打印 ***d删除 ***r/R读取文件/一行w另存s查找y替换h拷贝模板块的内容到内存中的缓冲区。H追加模板块的内容到内存中的缓冲区。g获得内存缓冲区的内容，并替代当前模板块中的文本。G获得内存缓冲区的内容，并追加到当前模板块文本的后面D删除\n 之前的内容p打印\n 之前的内容替换标记：
数字：表明新文本将替换第几处模式匹配的地方
g：表示新文本将会替换所有匹配的文本
\1：子串匹配标记，前面搜索可以用元字符集(..),
&：保留搜索到的字符用来替换其它字符
sed 匹配字符集
符号定义^匹配行开始，如：/^sed/匹配所有以 sed 开头的行。$匹配行结束，如：/sed$/匹配所有以 sed 结尾的行。.匹配一个非换行符的任意字符，如：/s.d/匹配 s 后接一个任意字符，最后是 d。匹配 0 个或多个字符，如：/sed/匹配所有模板是一个或多个空格后紧跟 sed 的行。s 只替换第一个匹配到的字符，将 passwd 中的 root 用户替换成 mylinux
# cp /etc/passwd ./
# sed 's/root/mylinux/' passwd | grep mylinux
mylinux:x:0:0:root:/root:/bin/bash #发现只替换了第一个匹配的 root，后面的没有替换
operator:x:11:0:operator:/mylinux:/sbin/nologin
全面替换标记 g
# sed 's/root/mylinux/g' passwd | grep mylinux
mylinux:x:0:0:mylinux:/mylinux:/bin/bash #全部替换了
operator:x:11:0:operator:/mylinux:/sbin/nologin把/etc/passwd 文件每行开头加上 hello-
# sed 's/^/hello/' /etc/passwd
hello-root:x:0:0:root:/root:/bin/bash
hello-bin:x:1:1:bin:/bin:/sbin/nologin
………………将 sed 中默认的/ 定界符改成#号
# sed 's#/bin/bash#/sbin/nologin#' /etc/passwd | head -5
root:x:0:0:root:/root:/sbin/nologin
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin/来做定界符：
则需要转义符，先输入源内容和替换内容，然后输入转义符，最后输入界定符
# sed 's/\/bin\/bash/\/sbin\/nologin/' passwd | head -5
root:x:0:0:root:/root:/sbin/nologin
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin（2）按行查找替换
写法如下：
用数字表示行范围；$表示最末行
用文本模式配置来过滤
单行替换，将第 2 行中 bin 替换成 lslinux
# sed '2s/bin/lslinux/' passwd | head -2
root:x:0:0:root:/root:/bin/bash
lslinux:x:1:1:bin:/bin:/sbin/nologin多行替换，如果涉及到多行处理，用逗号表示行间隔。 将第 2 行到最末行中 bin 替换成lslinux，$匹配行结束
# sed '2,$s/bin/lslinux/' /etc/passwd | more
root:x:0:0:root:/root:/bin/bash
lslinux:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/slslinux:/sbin/nologin
adm:x:3:4:adm:/var/adm:/slslinux/nologin（3）d 删除行第 2 行到第 4 行的内容
# cat /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
10.170.80.80 centos83
10.170.80.81 centos81
10.170.80.82 centos82
10.170.80.83 centos83
10.170.80.84 centos85
10.170.80.85 centos86
# sed '3,4d' /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
10.170.80.82 centos82
10.170.80.83 centos83
10.170.80.84 centos85
10.170.80.85 centos86
# sed '/10.170/d' /etc/hosts #将包括 10.170 的行删除
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6（4）添加行
命令 i(insert 插入)，在当前行前面插入一行 i\
命令 a(append 附加)，在当前行后面添加一行 a\
# echo "hello world" | sed 'i\Hi linux'
Hi linux
hello world
# echo "hello world" | sed 'a\Linux'
hello world
Linux在文件最后追加内容
# sed '$a\10.170.80.80 lslinux100.cn' /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
…………
10.170.80.80 lslinux100.cn在文件中第 2 行之后，开始追加内容
# sed '2a\10.170.80.88 lslinux.cn' /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
10.170.80.88 lslinux.cn在文件中第 2 行前插入一行
# sed '2i\10.170.80.80 linux100.cn' /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
10.170.80.80 linux100.cn
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
………………在文件中第 2 行到第 4 行之后分别追加内容
# sed '2,4a\hello world' passwd | head
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
hello world
daemon:x:2:2:daemon:/sbin:/sbin/nologin
hello world
adm:x:3:4:adm:/var/adm:/sbin/nologin
hello world
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
# sed '2,4a\10.170.80.80 linux80.cn' /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
10.170.80.80 linux80.cn
10.170.80.80 centos83
10.170.80.80 linux80.cn
10.170.80.81 centos81
10.170.80.80 linux80.cn
10.170.80.82 centos82（5）修改行命令 c (change) c\ ;
将第 4 行内容改成 a1a1a1a1 b2b2b2b2
# cat /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
10.170.80.80 centos83
10.170.80.81 centos81
10.170.80.82 centos82
10.170.80.83 centos83
10.170.80.84 centos85
10.170.80.85 centos86
# sed '4c\a1a1a1a1 b2b2b2b2' /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
10.170.80.80 centos83
a1a1a1a1 b2b2b2b2
10.170.80.82 centos82
10.170.80.83 centos83将第 2 行到最后全部修改成 a1a1a1a1 b2b2b2b2
# sed '2,$c\a1a1a1a1 b2b2b2b2' /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
a1a1a1a1 b2b2b2b2将包括 10.170.80.85行的内容修改成 10.170.8.8
# sed '2,$c\a1a1a1a1 b2b2b2b2' /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
a1a1a1a1 b2b2b2b2
# sed '/10.170.80.85/c\10.170.8.8' /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
10.170.80.80 centos83
10.170.80.81 centos81
10.170.80.82 centos82
10.170.80.83 centos83
10.170.80.84 centos85
10.170.8.8
# sed '/10.170.80.8/c\10.170.80.100' /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
10.170.80.100
10.170.80.100
10.170.80.100
10.170.80.100
10.170.80.100
10.170.80.100（6）打印，直接打印文件中的内容
打印第 2-5 行内容
# sed -n '2,5p' /etc/hosts
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
10.170.80.80 centos83
10.170.80.81 centos81
10.170.80.82 centos82输出文件中含有 games 的行
# sed -n '/games/p' /etc/passwd
games:x:12:100:games:/usr/games:/sbin/nologin输出文件中 games 与 nobody 间的部分，包含 games 与 nobody
# sed -n '/games/p' /etc/passwd
games:x:12:100:games:/usr/games:/sbin/nologin
# sed -n '/games/,/nobody/p' /etc/passwd
games:x:12:100:games:/usr/games:/sbin/nologin
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
nobody:x:65534:65534:Kernel Overflow User:/:/sbin/nologin（7）将修改或过滤出来的内容保存到另一个文件中
将 passwd 中的包括 root 字样的行保存到 seds.txt 中
# sed -n '/root/w seds.txt' /etc/passwd
# cat seds.txt
root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin（8）-i 对原文件修改，保存（ 必会 ） 使用场景： 替换或修改服务器配置文件
# sed -i 's/root/lslinux/' passwd
# head -1 passwd
lslinux:x:0:0:root:/root:/bin/bash修改 IP 地址为 10.170.80.100
# sed -i 's/root/lslinux/' passwd
# head -1 passwd
lslinux:x:0:0:root:/root:/bin/bash
# sed -i 's/IPADDR=10.170.80.83/IPADDR=10.170.80.100/' /etc/sysconfig/network-scripts/ifcfg-ens33
23.4 cut 命令
23.4.1 cut 常用参数
cut 命令用来显示行中的指定部分，删除文件中指定字段。
说明：该命令有两项功能，其一是用来显示文件的内容，它依次读取由参数 file 所指明的文件，将它们的内容输出到标准输出上；其二是连接两个或多个文件，如 cut f1 f2 > f3 将把文件 f1 和 fn 的内容合并起来，然后通过输出重定向符“>”的作用，将它们放入文件 f3 中。
语法: cut(选项)(参数)
选项
-b：仅显示行中指定范围的字节数；
-c：仅显示行中指定范围的字符；
-d：指定字段的分隔符，默认的字段分隔符为“TAB”；
-f：显示指定字段的内容；
输出系统中所有用户名
使用 -f 选项提取指定字段，使用 -d 选项指定字段分隔符，这里以：冒号做分隔
# cut -f1 -d ":" passwd23.4.2 cut 命令按列显示
cut:可以将一串字符作为列来显示，字符字段的记法：
N-：从第 N 个字节、字符、字段到结尾；
N-M：从第 N 个字节、字符、字段到第 M 个（包括 M 在内）字节、字符、字段；
-M：从第 1 个字节、字符、字段到第 M 个（包括 M 在内）字节、字符、字段。
上面是记法，结合下面选项将某个范围的字节、字符指定为字段：
-b 表示字节；
-c 表示字符；
-f 表示定义字段。
# cut -c1-3 /etc/passwd #打印第 1 个到第 3 个字符
# cut -c-2 /etc/passwd #打印前 2 个字符
# cut -c2- /etc/passwd #打印从第 2 个字符开始到结尾
# cut -f1-3 -d ":" /etc/passwd #打印第 1 个到第 3 个字段
# cut -f2- -d ":" /etc/passwd #打印从第 2 个字段开始到结尾
23.5 实战-bash 脚本语法检查和查看详细的执行过程
检查语法是否有错：
bash -v test.bash #查看 bash 是否存在语法错误
bash -x test.bash #查看 bash 详细的执行过程
# vim testbash.sh
# cat testbash.sh Script to show debug of shellsum=expr $1 + $2
echoo $sum #这里故意写错
# bash -v testbash.sh Script to show debug of shellsum=expr $1 + $2
expr: syntax error: missing argument after ‘+’#语法错误 语法哪错了？ 运行时没有给参数
echoo $sum #这里故意写错
testbash.sh: line 4: echoo: command not found #未找到命令
# sed -i 's/echoo/echo/' testbash.sh #修改正确后
# bash -x testbash.sh 6 8查看详细执行过程。 注：这个脚本是真正执行一遍，不是预执行
++ expr 6 + 8
sum=14
echo 14
14-x 是调试用的，加了这个，就会把脚本中的每条命令的执行情况打印出来
总结：
23.1 expect 实现无交互登录
23.2 正则表达式
23.3 sed 流编辑器
23.4 cut 命令
23.5 实战-bash 脚本语法检查和查看详细的执行过程
文档来源：51CTO技术博客https://blog.51cto.com/yonhhui/3208889
页:
[1]