Bash、Shell编程
     分类:Shell     有: 0 条评论

Bash、Shell编程

     分类:Shell     有: 0 条评论

Linux Shell文本处理工具

https://mp.weixin.qq.com/s/JNTm9i7gHWFBbPsd_pXUVA


基础命令

注意,编写的脚本如果在Windows系统中编辑过,可能会引入了win的换行符,一定要转换未Unix的换行符,不转换的话脚本执行会出现异常
mark

grep、egrep

grep命令用于打印输出文本中匹配的模式串,它使用正则表达式作为模式匹配的条件。grep支持三种正则表达式引擎,分别用三个参数指定:

用法:https://www.cnblogs.com/python-gm/p/6940756.html

参数说明
-EPOSIX扩展正则表达式,ERE
-GPOSIX基本正则表达式,BRE
-PPerl正则表达式,PCRE

普通参数:

参数说明
-b将二进制文件作为文本来进行匹配
-c统计以模式匹配的数目
-i忽略大小写
-n显示匹配文本所在行的行号
-v反选,输出不匹配行的内容
-r递归匹配查找
-A nn为正整数,表示after的意思,除了列出匹配行之外,还列出后面的n行
-B nn为正整数,表示before的意思,除了列出匹配行之外,还列出前面的n行
--color=auto将输出中的匹配项设置为自动颜色显示

注:在大多数发行版中是默认设置了grep的颜色的,你可以通过参数指定或修改GREP_COLOR环境变量。

使用基本正则表达式,BRE

位置:

grep 'mail' /etc/group    #过滤出所有含mail字符串的行
grep '^mail' /etc/group   #过滤出以mail开头的行

echo 'geek|good' | grep '[^o]'    # 排除字符
#注意:当^放到[中括号内]为排除字符,否则表示行首。

数量:

# \n是换行符
# 将匹配以'z'开头以'o'结尾的所有字符串
echo 'zero\nzo\nzoo' | grep 'z.*o'

# 将匹配以'z'开头以'o'结尾,中间包含一个任意字符的字符串
echo 'zero\nzo\nzoo' | grep 'z.o'

# 将匹配以'z'开头,以任意多个'o'结尾的字符串
echo 'zero\nzo\nzoo' | grep 'zo*'

选择:

# grep默认是区分大小写的,这里将匹配所有的小写字母
echo '1234\nabcd' | grep '[a-z]'

# 将匹配所有的数字
echo '1234\nabcd' | grep '[0-9]'

# 将匹配所有的数字
echo '1234\nabcd' | grep '[[:digit:]]'

# 将匹配所有的小写字母
echo '1234\nabcd' | grep '[[:lower:]]'

# 将匹配所有的大写字母
echo '1234\nabcd' | grep '[[:upper:]]'

# 将匹配所有的字母和数字,包括0-9,a-z,A-Z
echo '1234\nabcd' | grep '[[:alnum:]]'

# 将匹配所有的字母
echo '1234\nabcd' | grep '[[:alpha:]]'
特殊符号说明
[:alnum:]代表英文大小写字节及数字,亦即 0-9, A-Z, a-z
[:alpha:]代表任何英文大小写字节,亦即 A-Z, a-z
[:blank:]代表空白键与 [Tab] 按键两者
[:cntrl:]代表键盘上面的控制按键,亦即包括 CR, LF, Tab, Del.. 等等
[:digit:]代表数字而已,亦即 0-9
[:graph:]除了空白字节 (空白键与 [Tab] 按键) 外的其他所有按键
[:lower:]代表小写字节,亦即 a-z
[:print:]代表任何可以被列印出来的字节
[:punct:]代表标点符号 (punctuation symbol),亦即:" ' ? ! ; : # $...
[:upper:]代表大写字节,亦即 A-Z
[:space:]任何会产生空白的字节,包括空白键, [Tab], CR 等等
[:xdigit:]代表 16 进位的数字类型,因此包括: 0-9, A-F, a-f 的数字与字节

注意:之所以要使用特殊符号,是因为上面的[a-z]不是在所有情况下都管用,这还与主机当前的语系有关,即设置在LANG环境变量的值,zh_CN.UTF-8的话[a-z],即为所有小写字母,其它语系可能是大小写交替的如,"a A b B...z Z",[a-z]中就可能包含大写字母。所以在使用[a-z]时请确保当前语系的影响,使用[:lower:]则不会有这个问题。


使用扩展正则表达式,ERE

要通过grep使用扩展正则表达式需要加上-E参数,或使用egrep。

数量:

# 只匹配"zo"
echo 'zero\nzo\nzoo' | grep -E 'zo{1}'
# 匹配以"zo"开头的所有单词
echo 'zero\nzo\nzoo' | grep -E 'zo{1,}'

注意:推荐掌握{n,m}即可,+,?,*,这几个不太直观,且容易弄混淆。


选择:

# 匹配"www.baidu.com"和"www.google.com"
echo 'www.leolan.top\nwww.baidu.com\nwww.google.com' | grep -E 'www\.(baidu|google)\.com'
# 或者匹配不包含"baidu"的内容
echo 'www.leolan.top\nwww.baidu.com\nwww.google.com' | grep -Ev 'www\.baidu\.com'

注意:因为.号有特殊含义,所以需要转义。

正则表达式和grep命令的内容就介绍这么多,下面两个更强大的工具sed和awk,因为这两个工具的强大,无法包含全部内容,只做基本介绍。


sed

批量替换字符串:https://blog.csdn.net/hunter___/article/details/81872305

sed 流编辑器;在 man 手册里面的全名为"sed - stream editor for filtering and transforming text ",意即,用于过滤和转换文本的流编辑器

在 Linux/UNIX 的世界里敢称为编辑器的工具,大都非等闲之辈,比如前面的"vi/vim(编辑器之神)","emacs(神的编辑器)","gedit"这些个编辑器。sed与上述的最大不同之处在于它是一个非交互式的编辑器。

sed 命令基本格式

sed [参数]... [执行命令] [输入文件]...
# 形如:
sed -i '1s/sad/happy/' test # 表示将test文件中第一行的"sad"替换为"happy"
参数说明
-n安静模式,只打印受影响的行,默认打印输入数据的全部内容
-e用于在脚本中添加多个执行命令一次执行,在命令行中执行多个命令通常不需要加该参数
-ffilename 指定执行filename文件中的命令
-r使用扩展正则表达式,默认为标准正则表达式
-i将直接修改输入文件内容,而不是打印到标准输出设备

sed执行命令格式

[n1][,n2]command
[n1][~step]command
# 其中一些命令可以在后面加上作用范围,形如:
sed -i 's/sad/happy/g' test # g表示全局范围
sed -i 's/sad/happy/4' test # 4表示指定行中的第四个匹配字符串

其中n1,n2表示输入内容的行号,它们之间为,逗号则表示从n1到n2行,如果为~波浪号则表示从n1开始以step为步进的所有行;command为执行动作,下面为一些常用动作指令:

命令说明
s行内替换
c整行替换
a插入到指定行的后面
i插入到指定行的前面
p打印指定行,通常与-n参数配合使用
d删除指定行

sed操作举例

cp /etc/passwd ~

# 打印2-5行
nl passwd | sed -n '2,5p'
# 打印奇数行
nl passwd | sed -n '1~2p'

行内替换

# 将输入文本中"shiyanlou" 全局替换为"hehe",并只打印替换的那一行,注意这里不能省略最后的"p"命令
sed -n 's/shiyanlou/hehe/gp' passwd

注意: 行内替换可以结合正则表达式使用。

行间替换

nl passwd | grep "leolan"
# 删除第21行
sed -n '21c\www.leolan.top' passwd

参考链接:

在sed中引用变量:
http://www.cnblogs.com/itxdm/p/something_of_shellscirpt.html
http://blog.chinaunix.net/uid-24904099-id-298600.html


awk

AWK是一种优良的文本处理工具,Linux及Unix环境中现有的功能最强大的数据处理引擎之一.其名称得自于它的创始人Alfred Aho(阿尔佛雷德·艾侯)、Peter Jay Weinberger(彼得·温伯格)和Brian Wilson Kernighan(布莱恩·柯林汉)姓氏的首个字母.AWK程序设计语言,三位创建者已将它正式定义为“样式扫描和处理语言”。它允许您创建简短的程序,这些程序读取输入文件、为数据排序、处理数据、对输入执行计算以及生成报表,还有无数其他的功能。最简单地说,AWK是一种用于处理文本的编程语言工具。


基本格式

awk所有的操作都是基于pattern(模式)—action(动作)对来完成的,如下面的形式:

pattern {action}

你可以看到就如同很多编程语言一样,它将所有的动作操作用一对{}花括号包围起来。其中pattern通常是是表示用于匹配输入的文本的“关系式”或“正则表达式”,action则是表示匹配后将执行的动作。在一个完整awk操作中,这两者可以只有其中一个,如果没有pattern则默认匹配输入的全部文本,如果没有action则默认为打印匹配内容到屏幕。

awk处理文本的方式,是将文本分割成一些“字段”,然后再对这些字段进行处理,默认情况下,awk以空格作为一个字段的分割符,不过这不是固定了,你可以任意指定分隔符,下面将告诉你如何做到这一点。

awk [-F fs] [-v var=value] [-f prog-file | 'program text'] [file...]

其中-F参数用于预先指定前面提到的字段分隔符(还有其他指定字段的方式) ,-v用于预先为awk程序指定变量,-f参数用于指定awk命令要执行的程序文件,或者在不加-f参数的情况下直接将程序语句放在这里,最后为awk需要处理的文本输入,且可以同时输入多个文本文件。


awk操作

将文本内容打印到终端

touch test.txt && echo "I like linux" >> test.txt && echo "www.leolan.top" >> test.txt

# "quote>" 不用输入
awk '{
> print
> }' test.txt
# 或者写成一行
awk '{print}' test.txt

说明:在这个操作中省略了patter,所以awk会默认匹配输入文本的全部内容,然后在"{}"花括号中执行动作,即print打印所有匹配项,这里是全部文本内容


将test.txt的第一行的每个字段单独显示为一行

awk '{
> if(NR==1){
> print $1 "\n" $2 "\n" $3
> } else {
> print}
> }' test.txt

# 或者
awk '{
> if(NR==1){
> OFS="\n"
> print $1, $2, $3
> } else {
> print}
> }' test.txt

说明:这里使用了awk语言的分支选择语句if,它的使用和很多高级语言如C/C++语言基本一致,如果你有这些语言的基础,这里将很好理解。另一个你需要注意的是NR与OFS,这两个是awk内建的变量,NR表示当前读入的记录数,你可以简单的理解为当前处理的行数,OFS表示输出时的字段分隔符,默认为" "空格,用OFS将字段分隔符设置为n换行符,所以第一行原本以空格为字段分隔的内容就分别输出到单独一行了。
然后是$N**其中N为相应的字段号,这也是awk的内建变量,它**表示引用相应的字段**,因为第一行只有三个字段,所以只引用到了$3。除此之外另一个这里没有出现的$0,它表示引用当前记录(当前行)的全部内容**。


将test的第二行的以点为分段的字段换成以空格为分隔

awk -F'.' '{
> if(NR==2){
> print $1 "\t" $2 "\t" $3
> }}' test.txt

# 或者
awk '
> BEGIN{
> FS="."
> OFS="\t"  # 如果写为一行,两个动作语句之间应该以";"号分开  
> }{
> if(NR==2){
> print $1, $2, $3
> }}' test.txt

说明:这里的-F参数,它是用来预先指定待处理记录的字段分隔符。除了指定OFS还可以在print 语句中直接打印特殊符号如这里的t,print打印的非变量内容都需要用""一对引号包围起来。第二种方法中实现预先指定变量分隔符的另一种方式,即使用BEGIN,就这个表达式指示了,其后的动作将在所有动作之前执行,这里是FS赋值了新的"."点号代替默认的" "空格


awk常用的内置变量

变量名说明
FILENAME当前输入文件名,若有多个文件,则只表示第一个。如果输入是来自标准输入,则为空字符串
$0当前记录的内容
$NN表示字段号,最大值为NF变量的值
FS字段分隔符,由正则表达式表示,默认为" "空格
RS输入记录分隔符,默认为"n",即一行为一个记录
NF当前记录字段数
NR已经读入的记录数
FNR当前输入文件的记录数,请注意它与NR的区别
OFS输出字段分隔符,默认为" "空格
ORS输出记录分隔符,默认为"n"

参考资料:



正则表达式

正则表达式,又称正规表示式、正规表示法、正规表达式、规则表达式、常规表示法(英语:Regular Expression,在代码中常简写为 regex、regexp 或 RE),计算机科学的一个概念。正则表达式使用单个字符串来描述、匹配一系列符合某个句法规则的字符串。在很多文本编辑器里,正则表达式通常被用来检索、替换那些符合某个模式的文本。

基本语法

一个正则表达式通常被称为一个模式(pattern),为用来描述或者匹配一系列符合某个句法规则的字符串。

选择

|竖直分隔符表示选择,例如"boy|girl"可以匹配"boy"或者"girl"

数量限定

数量限定除了我们举例用的*,还有+加号,?问号,如果在一个模式中不加数量限定符则表示出现一次且仅出现一次:

范围和优先级

()圆括号:可以用来定义模式字符串的范围和优先级,这可以简单的理解为是否将括号内的模式串作为一个整体。例如,"gr(a|e)y"等价于"gray|grey",(这里体现了优先级,竖直分隔符用于选择a或者e而不是gra和ey),"(grand)?father"匹配father和grandfather(这里体验了范围,?将圆括号内容作为一个整体匹配)。

语法(少部分)

正则表达式有多种不同的风格,下面列举一些常用的作为 PCRE 子集的适用于perlpython编程语言及grepegrep的正则表达式匹配规则

PCRE(Perl Compatible Regular Expressions中文含义:perl语言兼容正则表达式)是一个用 C 语言编写的正则表达式函数库,由菲利普.海泽(Philip Hazel)编写。PCRE是一个轻量级的函数库,比Boost 之类的正则表达式库小得多。PCRE 十分易用,同时功能也很强大,性能超过了 POSIX 正则表达式库和一些经典的正则表达式库。

字符描述
\将下一个字符标记为一个特殊字符、或一个原义字符。例如,“n”匹配字符“n”。“n”匹配一个换行符。序列“\”匹配“”而“(”则匹配“(”。
^匹配输入字符串的开始位置。
$匹配输入字符串的结束位置。
{n}n是一个非负整数。匹配确定的n次。例如,“o{2}”不能匹配“Bob”中的“o”,但是能匹配“food”中的两个o。
{n,}n是一个非负整数。至少匹配n次。例如,“o{2,}”不能匹配“Bob”中的“o”,但能匹配“foooood”中的所有o。“o{1,}”等价于“o+”。“o{0,}”则等价于“o*”。
{n,m}m和n均为非负整数,其中n<=m。最少匹配n次且最多匹配m次。例如,“o{1,3}”将匹配“fooooood”中的前三个o。“o{0,1}”等价于“o?”。请注意在逗号和两个数之间不能有空格。
*匹配前面的子表达式零次或多次。例如,zo能匹配“z”、“zo”以及“zoo”。等价于{0,}。
+匹配前面的子表达式一次或多次。例如,“zo+”能匹配“zo”以及“zoo”,但不能匹配“z”。+等价于{1,}。
?匹配前面的子表达式零次或一次。例如,“do(es)?”可以匹配“do”或“does”中的“do”。?等价于{0,1}。
?当该字符紧跟在任何一个其他限制符(*,+,?,{n},{n,},{n,m})后面时,匹配模式是非贪婪的。非贪婪模式尽可能少的匹配所搜索的字符串,而默认的贪婪模式则尽可能多的匹配所搜索的字符串。例如,对于字符串“oooo”,“o+?”将匹配单个“o”,而“o+”将匹配所有“o”。
.匹配除“n”之外的任何单个字符。要匹配包括“n”在内的任何字符,请使用像“(.|n)”的模式。
(pattern)匹配pattern并获取这一匹配的子字符串。该子字符串用于向后引用。要匹配圆括号字符,请使用“(”或“)”。
x|y匹配x或y。例如,“z|food”能匹配“z”或“food”。“(z|f)ood”则匹配“zood”或“food”。
[xyz]字符集合(character class)。匹配所包含的任意一个字符。例如,“[abc]”可以匹配“plain”中的“a”。其中特殊字符仅有反斜线保持特殊含义,用于转义字符。其它特殊字符如星号、加号、各种括号等均作为普通字符。脱字符^如果出现在首位则表示负值字符集合;如果出现在字符串中间就仅作为普通字符。连字符 - 如果出现在字符串中间表示字符范围描述;如果如果出现在首位则仅作为普通字符。
1排除型(negate)字符集合。匹配未列出的任意字符。例如,“2”可以匹配“plain”中的“plin”。
[a-z]字符范围。匹配指定范围内的任意字符。例如,“[a-z]”可以匹配“a”到“z”范围内的任意小写字母字符。
3排除型的字符范围。匹配任何不在指定范围内的任意字符。例如,“3”可以匹配任何不在“a”到“z”范围内的任意字符。

参考WiKi:正则表达式


优先级

优先级为从上到下从左到右,依次降低:

运算符说明
\转义符
(), (?:), (?=), []括号和中括号
*、+、?、{n}、{n,}、{n,m}限定符
^、$、任何元字符定位点和序列
选择

Bash经典用法及其案例

https://mp.weixin.qq.com/s/MbZ16mXsbN1gTeQMbZWy1Q


高级

Bash中的特殊字符(上):https://www.shiyanlou.com/courses/5/labs/26/document
Bash中的特殊字符(下):https://www.shiyanlou.com/courses/5/labs/27/document
变量和参数:https://www.shiyanlou.com/courses/5/labs/29/document
引用和转义:https://www.shiyanlou.com/courses/5/labs/30/document
退出和退出状态码:https://www.shiyanlou.com/courses/5/labs/31/document
条件判断:https://www.shiyanlou.com/courses/5/labs/32/document
操作符:https://www.shiyanlou.com/courses/5/labs/33/document
变量重游:https://www.shiyanlou.com/courses/5/labs/35/document
循环与分支:https://www.shiyanlou.com/courses/5/labs/36/document


  1. xyz
  2. abc
  3. a-z
(●゚ω゚●)