欢迎光临
我的个人博客网站

linux三剑客之awk

目录

linux三剑客之awk

适用范围:awk主要是用来格式化文本。

1、awk的语法

语法格式:awk [参数] [处理规则] [操作对象]

2、参数

参数 作用
-F 指定文本分隔符(不写默认是以空格作为分隔符)

3、awk的生命周期

grep、sed和awk都是读一行处理一行,直至处理完成。 1、接收一行作为输入 2、把刚刚读入进来得到文本进行分解 3、使用处理规则处理文本 4、输入一行,赋值给$0,直至处理完成 5、把处理完成之后的所有的数据交给END{}来再次处理 

4、awk中的预定义变量

变量 作用
$0 代表当前行
$n 代表第n列
NF 代指当前行的总字段数
NR 代指行号
FS 指定文本内容分隔符,优先级要高于 -F,默认是空格
OFS 指定打印的分隔符,是自定义的分隔符,默认是空格
# NF(代指数字,每行被分割后的总字段数) [root@zonghan ~]# cat 8.txt asfsdgs   asdsad   asdasdsa sdfsdfas      sadasdsad  aSD  asd asd   asdsad  sad asdasd asdasdas   sadsadasd asdasd  asdsadssfgsad  sadsa [root@zonghan ~]# awk '{print NF}' 8.txt  3 2 2 3 1 2 3 0 [root@zonghan ~]# awk '{print $NF}' 8.txt   asdasdsa sadasdsad asd sad asdasd sadsadasd sadsa       # $NF就是变相于打印NF所代表的列,又因为NF是总字段数,所以是打印最后一列 # $0(代指代表当前行) [root@zonghan ~]# awk -F: '{print $0, "---"}' 8.txt  asfsdgs   asdsad   asdasdsa --- sdfsdfas      sadasdsad  --- aSD  asd --- asd   asdsad  sad --- asdasd --- asdasdas   sadsadasd --- asdasd  asdsadssfgsad  sadsa ---  ---    # 由此可以得出$0是代指的每一行的内容  # $n (代表第n列) [root@zonghan ~]# awk '{print $1}' 8.txt  asfsdgs sdfsdfas aSD asd asdasd asdasdas asdasd   # 打印的是第1列  [root@zonghan ~]# awk '{print $2}' 8.txt  asdsad sadasdsad asd asdsad           # 这里因为文本没第二列 所以为空 sadsadasd asdsadssfgsad  # 打印的是第2列 # NR(代指行号) [root@zonghan ~]# awk '{print NR}' 8.txt  1 2 3 4 5 6 7 8 # FS(指定文本内容分隔符,优先级要高于 -F,默认是空格) [root@zonghan ~]# cat /etc/passwd root:x:0:0:root:/root:/bin/bash bin:x:1:1:bin:/bin:/sbin/nologin daemon:x:2:2:daemon:/sbin:/sbin/nologin [root@zonghan ~]# awk -F: 'BEGIN{FS="x"}{print $NF}' /etc/passwd :0:0:root:/root:/bin/bash :1:1:bin:/bin:/sbin/nologin :2:2:daemon:/sbin:/sbin/nologin  # 这里可以看出是以x分割而不是以-F的:分割的,所以优先级高于-F # 0FS(指定打印的分隔符,自定义的分隔符,默认是空格) [root@zonghan ~]# awk -F: 'BEGIN{OFS=">>>"}{print $1, $NF}' /etc/passwd root>>>/bin/bash bin>>>/sbin/nologin daemon>>>/sbin/nologin 

5、awk处理规则的执行流程

# 至少1个,最多4个 按以下顺序 BEGIN{}  # 括号里面内容会在awk读取文件之前执行 //  # 正则表达式 {}  # 循环 END{} # 括号里面内容会在awk读取文件之后执行 

6、awk中的函数

函数名 作用
print 打印
printf 格式化打印
%s 字符串
%d 数字
左对齐
+ 右对齐
15 至少占用15字符
# 格式化打印 [root@zonghan ~]# awk -F: 'BEGIN{OFS=" | "}{printf "|%s|%s|n", $1, $NF}' /etc/passwd |root|/bin/bash| |bin|/sbin/nologin| |daemon|/sbin/nologin| [root@zonghan ~]# awk -F: 'BEGIN{OFS=" | "}{printf "|%-15s|%s|n", $1, $NF}' /etc/passwd |root           |/bin/bash| |bin            |/sbin/nologin| |daemon         |/sbin/nologin| [root@zonghan ~]# awk -F: 'BEGIN{OFS=" | "}{printf "|%-15s|%-15s|n", $1, $NF}' /etc/passwd |root           |/bin/bash      | |bin            |/sbin/nologin  | |daemon         |/sbin/nologin  | [root@zonghan ~]# awk -F: 'BEGIN{OFS=" | "}{printf "|%+15s|%+15s|n", $1, $NF}' /etc/passwd |           root|      /bin/bash| |            bin|  /sbin/nologin| |         daemon|  /sbin/nologin| [root@zonghan ~]# awk -F: 'BEGIN{OFS=" | "}{printf "|%+15s|%-15s|n", $1, $NF}' /etc/passwd |           root|/bin/bash      | |            bin|/sbin/nologin  | |         daemon|/sbin/nologin  | 

7、awk中的定位

1、正则表达式

# 打印出包含root的所有行 [root@zonghan ~]# awk -F: '/root/{print $0}' /etc/passwd root:x:0:0:root:/root:/bin/bash operator:x:11:0:operator:/root:/sbin/nologin # 打印以root开头的所有行 [root@zonghan ~]# awk -F: '/^root/{print $0}' /etc/passwd root:x:0:0:root:/root:/bin/bash 

2、比较表达式(作用的是文本内的内容)

符号 作用
> 筛选大于的数据
>= 筛选大于等于的数据
< 筛选小于的数据
<= 筛选小于等于的数据
~ 包含(和正则连用)
!~ 不包含(和正则连用)
# 打印第四列比第三列数值大的所有行信息 [root@zonghan ~]# awk -F: '$4>$3{print $0}' /etc/passwd adm:x:3:4:adm:/var/adm:/sbin/nologin lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin mail:x:8:12:mail:/var/spool/mail:/sbin/nologin games:x:12:100:games:/usr/games:/sbin/nologin ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin # 结尾包含bash的行 [root@zonghan ~]# awk -F: '$NF ~ /bash/{print $0}' /etc/passwd root:x:0:0:root:/root:/bin/bash haha:x:1000:1000::/home/haha:/bin/bash test1:x:1001:1000::/home/test1:/bin/bash # 结尾不包含bash的行 [root@zonghan ~]# awk -F: '$NF !~ /bash/{print $0}' /etc/passwd bin:x:1:1:bin:/bin:/sbin/nologin daemon:x:2:2:daemon:/sbin:/sbin/nologin adm:x:3:4:adm:/var/adm:/sbin/nologin lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin 

3、逻辑表达式

符号 作用
&& 逻辑与
| | 逻辑或
! 逻辑非
# 打印第3列和第4列既要相加大于2000又要相乘大于2000的所有行 [root@zonghan ~]# awk -F: '$3+$4>2000 && $3*$4>2000{print $0}' /etc/passwd test1:x:1001:1000::/home/test1:/bin/bash test2:x:1002:1000::/home/test2:/bin/bash data:x:2000:2000::/home/data:/bin/bash aaa:x:2001:2001::/home/aaa:/bin/bash bbb:x:2002:2001::/home/bbb:/bin/bash ddd:x:2003:1000::/home/ddd:/bin/bash eee:x:1999:1999::/home/eee:/bin/bash fff:x:1500:1500::/home/fff:/bin/bash # 打印第3列和第4列相加大于2000或者相乘大于2000的所有行 [root@zonghan ~]# awk -F: '$3+$4>2000 || $3*$4>2000{print $0}' /etc/passwd daemon:/dev/null:/sbin/nologin abrt:x:173:173::/etc/abrt:/sbin/nologin sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin postfix:x:89:89::/var/spool/postfix:/sbin/nologin haha:x:1000:1000::/home/haha:/bin/bash test1:x:1001:1000::/home/test1:/bin/bash test2:x:1002:1000::/home/test2:/bin/bash data:x:2000:2000::/home/data:/bin/bash aaa:x:2001:2001::/home/aaa:/bin/bash bbb:x:2002:2001::/home/bbb:/bin/bash ddd:x:2003:1000::/home/ddd:/bin/bash eee:x:1999:1999::/home/eee:/bin/bash fff:x:1500:1500::/home/fff:/bin/bash # 打印第3列和第4列相加不大于2000或者相乘不大于2000的所有行 [root@zonghan ~]# awk -F: '!($3+$4>2000 || $3*$4>2000){print $0}' /etc/passwd root:x:0:0:root:/root:/bin/bash bin:x:1:1:bin:/bin:/sbin/nologin daemon:x:2:2:daemon:/sbin:/sbin/nologin adm:x:3:4:adm:/var/adm:/sbin/nologin lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin sync:x:5:0:sync:/sbin:/bin/sync shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown halt:x:7:0:halt:/sbin:/sbin/halt mail:x:8:12:mail:/var/spool/mail:/sbin/nologin operator:x:11:0:operator:/root:/sbin/nologin games:x:12:100:games:/usr/games:/sbin/nologin ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin 

4、算术表达式

符号 作用
+
*
/
== 等于
%
# 打印第3列加第4列数值大于3000(属主+属组>3000)的行 [root@zonghan ~]# awk -F: '$3+$4>3000{print $0}' /etc/passwd data:x:2000:2000::/home/data:/bin/bash aaa:x:2001:2001::/home/aaa:/bin/bash bbb:x:2002:2001::/home/bbb:/bin/bash ddd:x:2003:1000::/home/ddd:/bin/bash eee:x:1999:1999::/home/eee:/bin/bash # 打印第3列乘第4列数值大于50(属主+属组>3000)的行 [root@zonghan ~]# awk -F: '$3*$4<50{print $0}' /etc/passwd root:x:0:0:root:/root:/bin/bash bin:x:1:1:bin:/bin:/sbin/nologin daemon:x:2:2:daemon:/sbin:/sbin/nologin adm:x:3:4:adm:/var/adm:/sbin/nologin lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin sync:x:5:0:sync:/sbin:/bin/sync # 打印所有奇数行 [root@zonghan ~]# awk -F: 'NR%2==1{print $0}' /etc/passwd root:x:0:0:root:/root:/bin/bash daemon:x:2:2:daemon:/sbin:/sbin/nologin lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown mail:x:8:12:mail:/var/spool/mail:/sbin/nologin games:x:12:100:games:/usr/games:/sbin/nologin nobody:x:99:99:Nobody:/:/sbin/nologin dbus:x:81:81:System message bus:/:/sbin/nologin 

5、条件表达式(作用的是文本外的内容)

符号 限制条件
== 相等
> 大于
>= 大于等于
< 小于
<= 小于等于
# 打印第3行的内容 [root@zonghan ~]# awk -F: 'NR==3{print $0}' /etc/passwd daemon:x:2:2:daemon:/sbin:/sbin/nologin # 打印前4行的的内容 [root@zonghan ~]# awk -F: 'NR<=4{print $0}' /etc/passwd root:x:0:0:root:/root:/bin/bash bin:x:1:1:bin:/bin:/sbin/nologin daemon:x:2:2:daemon:/sbin:/sbin/nologin adm:x:3:4:adm:/var/adm:/sbin/nologin 

6、范围表达式

符号 作用
逗号 , 什么行至什么行
# 打印出以root开头的行到以ftp开头的行 [root@zonghan ~]# awk -F: '/^root/,/^ftp/{print $0}' /etc/passwd root:x:0:0:root:/root:/bin/bash bin:x:1:1:bin:/bin:/sbin/nologin daemon:x:2:2:daemon:/sbin:/sbin/nologin mail:x:8:12:mail:/var/spool/mail:/sbin/nologin operator:x:11:0:operator:/root:/sbin/nologin games:x:12:100:games:/usr/games:/sbin/nologin ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin 

8、流程控制

特别注意:只存在循环{ }之中

符号 用法
if 判断
for 循环
while 循环

if用法

语法:

{ if ( ) { } }

{ if ( ) { } else { } }

{ if ( ) { } else if ( ) { } else { } }

# 判断第3行与第4行数值的大小,输出比较结果 [root@zonghan ~]# awk -F: '{if($3>$4){print "大于"} else {print "小于等于"}' /etc/passwd 小于等于 小于等于 小于等于 小于等于 小于等于 大于 大于 

for用法

语法:

{ for (i=初始值; 条件判断; 游标) { } }

# 每行打印3次 [root@zonghan ~]# awk -F: '{for(i=0;i<3;i++1){print $0}}' /etc/passwd root:x:0:0:root:/root:/bin/bash root:x:0:0:root:/root:/bin/bash root:x:0:0:root:/root:/bin/bash bin:x:1:1:bin:/bin:/sbin/nologin bin:x:1:1:bin:/bin:/sbin/nologin bin:x:1:1:bin:/bin:/sbin/nologin daemon:x:2:2:daemon:/sbin:/sbin/nologin daemon:x:2:2:daemon:/sbin:/sbin/nologin daemon:x:2:2:daemon:/sbin:/sbin/nologin ... 

while用法

语法 :

{ i=初始值 ; while(条件判断) { } }

# 每行打印3次 [root@zonghan ~]# awk -F: '{i=0;while(i<3){i++;print $0}}' /etc/passwd root:x:0:0:root:/root:/bin/bash root:x:0:0:root:/root:/bin/bash root:x:0:0:root:/root:/bin/bash bin:x:1:1:bin:/bin:/sbin/nologin bin:x:1:1:bin:/bin:/sbin/nologin bin:x:1:1:bin:/bin:/sbin/nologin daemon:x:2:2:daemon:/sbin:/sbin/nologin daemon:x:2:2:daemon:/sbin:/sbin/nologin daemon:x:2:2:daemon:/sbin:/sbin/nologin ... # 如果想打印i数字的变化,可以在print里加上i++ [root@zonghan ~]# awk -F: '{i=0;while(i<3){print $0, i++}}' /etc/passwd root:x:0:0:root:/root:/bin/bash 0 root:x:0:0:root:/root:/bin/bash 1 root:x:0:0:root:/root:/bin/bash 2 bin:x:1:1:bin:/bin:/sbin/nologin 0 bin:x:1:1:bin:/bin:/sbin/nologin 1 bin:x:1:1:bin:/bin:/sbin/nologin 2 daemon:x:2:2:daemon:/sbin:/sbin/nologin 0 daemon:x:2:2:daemon:/sbin:/sbin/nologin 1 daemon:x:2:2:daemon:/sbin:/sbin/nologin 2 ... 
赞(0) 打赏
未经允许不得转载:张拓的天空 » linux三剑客之awk
分享到: 更多 (0)

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

专业的IT技术经验分享 更专业 更方便

联系我们本站主机

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏