基本正则表达式和文本处理工具之grep、egrep和fgrep
Grep(global search regular expression and print out the line全局搜索正则表达式并把行打印出来),是一种强大的文本搜索工具,egrep和fgrep的命令跟grep只有很少的差别,linux使用的是GNU版本的grep,功能非常强大,可以通过-G,-E,-F命令选项来使用egrep和fgrep的功能,grep的工作方式为在一个或多个文件中搜索字符串模板,如果模板包括空格则必须被引用,模板后的所有字符串被看做文件名,搜索的结果被送到屏幕,不影响元文件内容,grep搜索成功返回值为0,搜索不成功返回值为1,如果搜做的文件不存在则返回值为2,因此grep可以用于脚本来进行一些自动化的文本处理工作。
Grep常用参数:
-i:忽略大小写
-v:取反,即得到的结果与设置的要求是相反的
-n:输出结果时候显示行号
常用的基本在正则表达式:
^ 行首
$ 行末
[] 匹配指定的字符
[^] 匹配指定以外的字符
\< 单词首
\> 单词尾
\(a,\)..\n 分组并引用
^$ 空白行
[0-9],[[:digit:]] 任意数字
[a-z],[[:lower:]] 任意小写字母
[A-Z],[[:upper:]] 任意大写字母
[[:alpha:]] 所有的大小写字母,全行匹配
[[:alnum:]] 所有的大小写字母和数字
[[:space:]] 所有的空白字符
[[:punct:]] 所有的标点符号
* 匹配其前面的字符0次或任意次
| 或,比如a|b
.* 匹配任意长度的任意字符
\? 匹配之前的字符0次或一次
\{1\} 精确匹配多少次
\{1,\} 最少匹配多少次
\{0,m\} 最多匹配第三次
\{n,m\} 匹配n到m次
gt 大于
lt 小于
ge 大于等于
le 小于等于
ne 不等于
eq 等于
$0 脚本本身
$1 脚本第一个参数
$*,$@ 引用的所有参数
$# 位置参数的格式,多少行
分组和引用:字符分组以它们的左括号的出现顺序来排序,例如在表达式((1)(2(3))),有四个分组,第0组永远表示表达式本:
1、((1)(2(3)))
2、(1)
3、(2(3))
4、(3)
一、字符匹配:
1、. 用于匹配任意的单个字符,必须要有这个字符,固定.的位置匹配结果
[root@localhost ~]# grep 'ro.t' /etc/passwd
root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin
2、[] 匹配里面的任意单个字符,匹配全行
[root@localhost ~]# grep [wp] /etc/fstab
# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
UUID=16f1df10-ed2b-488b-9086-a48c60ab9ebe swap swap defaults 0 0
tmpfs /dev/shm tmpfs defaults 0 0
devpts /dev/pts devpts gid=5,mode=620 0 0
proc /proc proc defaults 0 0
/dev/cdrom /var/ftp/pub/ iso9660 defaults,ro,loop 0 0
3、[0-9],[[:digit:]]表示匹配从0-9其中的任意一个数字,全行匹配
[root@localhost ~]# grep [[:digit:]] 1.txt 1
64
676
4、[a-z],[[:lower:]] 匹配a-z任意一个小写字母,整行匹配
[root@localhost ~]# grep [ae-z] 1.txt #匹配字母a和e到z,把b和c去除
hI
hIlucy
asdxx
5、[A-Z],[[:upper:]] 匹配任意一个大写字母,全行匹配
[root@localhost ~]# grep [[:upper:]] 1.txt
HI
hIlucy
6、[[:alpha:]] 所有的大小写字母,全行匹配
[root@localhost ~]# grep [[:alpha:]] 1.txt
hi
asdxx
2w
7、[[:alnum:]] 所有的数字和大小写字母,全行匹配
[root@localhost ~]# grep [[:alnum:]] 1.txt
hi
HI
hIlucy
1
2fg
8、[[:space:]] 所以的空白字符,全行匹配
[root@localhost ~]# grep [[:space:]] 1.txt
asdxx
]
1 2
asd
9、[[:punct:]] 匹配所以的标点符号,全行匹配
[root@localhost ~]# grep [[:punct:]] 1.txt
,,
]
[][
1.2
二:次数匹配,用来匹配字符出现的字数
1、*匹配*前面的那一个字符没有出现或者出现任意次,本例代表2没出现或出现多次,即1开头,1后面可以跟2,也可以不跟2,即使2后面还有字符,只有匹配到第一个1就算匹配到,而显示出来,所以其匹配到要么两个相同字符,要么没有
[root@localhost ~]# grep '12*' 1.txt
1
1223
111
w1
i12
1.2
2、.*匹配从.开始包含.在内的0或任意次数,本例为以12为开头,后面跟任意字符任意次数,即指定12必须匹配,与*最大的不同是.*往后匹配字符,后面有没有字符都匹配,而*则先往前匹配一位字符,其前面的一位字符如能匹配就出现两个同样字符,如果不能匹配就把前面字符取消,相比较之下*匹配的范围更大
[root@localhost ~]# grep '12*1' 1.txt
12221
111
3、\? 匹配前面的字符0次或一次,本例匹配12后面的2,有或者有一次即可,与*最大的区别是\?同一个字符最多连续出现两次,而*可以连续出现无数次
[root@localhost ~]# grep '12\?1' 1.txt
111
4、\{m\};匹配其前面的字符m次,需完成匹配次数
[root@localhost ~]# grep --color=auto '12\{3\}' 1.txt
12221
12222221
5、\{m,\}:匹配前面的字符至少m次
6、\{m,n}:匹配前面的字符m-n次,如本例匹配前面的2的次数为2次、3次、4次
7、\{0,m\}\ 匹配前面的字符至多m次,即包含最对次以内的0次以上的所有次数
8、匹配以R1r开头,32结尾,中间间隔任意两个字符串的组合结果
三:位置锚定,即指定要匹配的字符串在行中的具体位置,比如在一行的首部、中间、或者最后的位置
1、^指定匹配的字符串位置在行首
2、$指定匹配的字符串位置在行尾
3、^$ 指定匹配的字符串为空白行,后面的wc –l为统计行数,即共有96个空白行
4、\< 指定匹配的字符串的词首
5、\>指定匹配的字符串的词尾
即指定词首又指定词尾,等于把一个单词固定了
6、\(ab\)*xy\1 分组和引用,\1为引用的从左边开始的第几个括号里面所匹配到内容