这些awk用法你会用几个

　　【一天一篇Linux运维文档】
　　关注我，持续学习Linux运维技能！
　　awk也是流式编辑器，针对文档中的行来操作，一行一行地执行。awk工具其实是很复杂的（有专门的书来介绍它的应用），对于初学者来说，只要能处理日常管理工作中的问题即可。鉴于此，阿铭仅介绍比较常见的awk应用，如果你感兴趣再去深入研究吧！
　　12.3.1　截取文档中的某个段
　　示例命令如下：  # head -n2 test.txt |awk -F ＂:＂ ＂{print $1}＂ root bin
　　本例中，-F选项的作用是指定分隔符。如果不加-F选项，则以空格或者tab为分隔符。print为打印的动作，用来打印某个字段。$1为第1个字段，$2为第2个字段，以此类推。但$0比较特殊，它表示整行：  # head -n2 test.txt |awk -F＂:＂ ＂{print $0}＂ root:x:0:0:root:/root:/bin/bash bin:x:1:1:bin:/bin:/sbin/nologin
　　注意awk的格式，-F后面紧跟单引号，单引号里面为分隔符。print的动作要用{}括起来，否则会报错。print还可以打印自定义的内容，但是自定义的内容要用双引号括起来，如下所示：  # head -n2 test.txt |awk -F ＂:＂ ＂{print $1＂#＂$2＂#＂$3＂#＂$4}＂ root#x#0#0 bin#x#1#1
　　12.3.2　匹配字符或者字符串
　　示例命令如下：  # awk ＂/oo/＂ test.txt root:x:0:0:root:/root:/bin/bash lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin mail:x:8:12:mail:/var/spool/mail:/sbin/nologin operator:x:11:0:operator:/root:/sbin/nologin postfix:x:89:89::/var/spool/postfix:/sbin/nologin setroubleshoot:x:992:990::/var/lib/setroubleshoot:/sbin/nologin
　　这跟sed的用法类似，能实现grep的功能，但没有颜色显示，肯定没有grep用起来方便。不过awk还有比sed更强大的匹配，如下所示：  # awk -F ＂:＂ ＂$1 ~/oo/＂ test.txt root:x:0:0:root:/root:/bin/bash setroubleshoot:x:992:990::/var/lib/setroubleshoot:/sbin/nologin
　　它可以让某个段去匹配，这里的~就是匹配的意思。awk还可以多次匹配，如下所示：  # awk -F ＂:＂ ＂/root/ {print $1,$3} /test/ {print $1,$3}＂ test.txt root 0 operator 11 test 1006
　　本例中awk匹配完root，再匹配test，它还可以只打印所匹配的段。
　　12.3.3　条件操作符
　　示例命令如下：  # awk -F ＂:＂ ＂$3==＂0＂＂ /etc/passwd root:x:0:0:root:/root:/bin/bash
　　awk中可以用逻辑符号进行判断，比如==就是等于，也可以理解为精确匹配。另外还有>、>=、<、<=、!=等。值得注意的是，在和数字比较时，若把比较的数字用双引号引起来，那么awk不会认为是数字，而会认为是字符，不加双引号则会认为是数字。  # awk -F ＂:＂ ＂$3>=＂500＂＂ /etc/passwd shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown halt:x:7:0:halt:/sbin:/sbin/halt mail:x:8:12:mail:/var/spool/mail:/sbin/nologin nobody:x:65534:65534:Kernel Overflow User:/:/sbin/nologin dbus:x:81:81:System message bus:/:/sbin/nologin systemd-coredump:x:999:997:systemd Core Dumper:/:/sbin/nologin tss:x:59:59:Account used by the trousers package to sandbox the tcsd daemon:/dev/null:/sbin/nologin polkitd:x:998:996:User for polkitd:/:/sbin/nologin geoclue:x:997:995:User for geoclue:/var/lib/geoclue:/sbin/nologin unbound:x:996:991:Unbound DNS resolver:/etc/unbound:/sbin/nologin gluster:x:995:990:GlusterFS daemons:/run/gluster:/sbin/nologin chrony:x:994:989::/var/lib/chrony:/sbin/nologin libstoragemgmt:x:993:987:daemon account for libstoragemgmt:/var/run/lsm:/sbin/nologin saslauth:x:992:76:Saslauthd user:/run/saslauthd:/sbin/nologin dnsmasq:x:986:986:Dnsmasq DHCP and DNS server:/var/lib/dnsmasq:/sbin/nologin radvd:x:75:75:radvd user:/:/sbin/nologin clevis:x:985:984:Clevis Decryption Framework unprivileged user:/var/cache/clevis:/sbin/nologin cockpit-ws:x:984:982:User for cockpit-ws:/:/sbin/nologin colord:x:983:981:User for colord:/var/lib/colord:/sbin/nologin sssd:x:982:980:User for sssd:/:/sbin/nologin setroubleshoot:x:981:979::/var/lib/setroubleshoot:/sbin/nologin pipewire:x:980:978:PipeWire System Daemon:/var/run/pipewire:/sbin/nologin gnome-initial-setup:x:979:977::/run/gnome-initial-setup/:/sbin/nologin insights:x:978:976:Red Hat Insights:/var/lib/insights:/sbin/nologin sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin avahi:x:70:70:Avahi mDNS/DNS-SD Stack:/var/run/avahi-daemon:/sbin/nologin tcpdump:x:72:72::/:/sbin/nologin
　　本例中，阿铭本想把uid大于等于500的行打印出来，但是结果并不理想。这是因为awk把所有的数字当作字符了，就跟上一章中提到的sort排序原理一样。但，不加双引号就得到了想要的结果：  # awk -F ＂:＂ ＂$3>=500＂ /etc/passwd nobody:x:65534:65534:Kernel Overflow User:/:/sbin/nologin systemd-coredump:x:999:997:systemd Core Dumper:/:/sbin/nologin polkitd:x:998:996:User for polkitd:/:/sbin/nologin geoclue:x:997:995:User for geoclue:/var/lib/geoclue:/sbin/nologin unbound:x:996:991:Unbound DNS resolver:/etc/unbound:/sbin/nologin gluster:x:995:990:GlusterFS daemons:/run/gluster:/sbin/nologin chrony:x:994:989::/var/lib/chrony:/sbin/nologin libstoragemgmt:x:993:987:daemon account for libstoragemgmt:/var/run/lsm:/sbin/nologin saslauth:x:992:76:Saslauthd user:/run/saslauthd:/sbin/nologin dnsmasq:x:986:986:Dnsmasq DHCP and DNS server:/var/lib/dnsmasq:/sbin/nologin clevis:x:985:984:Clevis Decryption Framework unprivileged user:/var/cache/clevis:/sbin/nologin cockpit-ws:x:984:982:User for cockpit-ws:/:/sbin/nologin colord:x:983:981:User for colord:/var/lib/colord:/sbin/nologin sssd:x:982:980:User for sssd:/:/sbin/nologin setroubleshoot:x:981:979::/var/lib/setroubleshoot:/sbin/nologin pipewire:x:980:978:PipeWire System Daemon:/var/run/pipewire:/sbin/nologin gnome-initial-setup:x:979:977::/run/gnome-initial-setup/:/sbin/nologin insights:x:978:976:Red Hat Insights:/var/lib/insights:/sbin/nologin aminglinux:x:1000:1000:aminglinux:/home/aminglinux:/bin/bash # awk -F ＂:＂ ＂$7!=＂/sbin/nologin＂＂ /etc/passwd root:x:0:0:root:/root:/bin/bash sync:x:5:0:sync:/sbin:/bin/sync shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown halt:x:7:0:halt:/sbin:/sbin/halt aminglinux:x:1000:1000:aminglinux:/home/aminglinux:/bin/bash
　　上例中，!=表示不匹配，它除了针对某一个段的字符进行逻辑比较外，还可以在两个段之间进行逻辑比较。如下所示：  # awk -F ＂:＂ ＂$3<$4＂ /etc/passwd adm:x:3:4:adm:/var/adm:/sbin/nologin lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin mail:x:8:12:mail:/var/spool/mail:/sbin/nologin games:x:12:100:games:/usr/games:/sbin/nologin ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
　　另外还可以使用&&和||，它们分别表示＂并且＂和＂或者＂。&&的用法如下：  # awk -F ＂:＂ ＂$3>＂5＂ && $3<＂7＂＂ /etc/passwd shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown nobody:x:65534:65534:Kernel Overflow User:/:/sbin/nologin tss:x:59:59:Account used by the trousers package to sandbox the tcsd daemon:/dev/null:/sbin/nologin
　　||的用法如下：  # awk -F ＂:＂ ＂$3>1000 || $7==＂/bin/bash＂＂ /etc/passwd root:x:0:0:root:/root:/bin/bash nobody:x:65534:65534:Kernel Overflow User:/:/sbin/nologin aminglinux:x:1000:1000:aminglinux:/home/aminglinux:/bin/bash
　　12.3.4　awk的内置变量
　　awk常用的变量有OFS、NF和NR，OFS和-F选项有类似的功能，也是用来定义分隔符的，但是它是在输出的时候定义，NF表示用分隔符分隔后一共有多少段，NR表示行号。
　　OFS的用法示例如下：  # head -5 /etc/passwd |awk -F ＂:＂ ＂{OFS=＂#＂} {print $1,$3,$4}＂ root#0#0 bin#1#1 daemon#2#2 adm#3#4 lp#4#7
　　还有更高级一些的用法：  # awk -F ＂:＂ ＂{OFS=＂#＂} {if ($3>=1000) {print $1,$2,$3,$4}}＂ /etc/passwd nobody#x#65534#65534 aminglinux#x#1000#1000
　　变量NF的具体用法如下：  # head -n3 /etc/passwd | awk -F ＂:＂ ＂{print NF}＂ 7 7 7 # head -n3 /etc/passwd | awk -F ＂:＂ ＂{print $NF}＂ /bin/bash /sbin/nologin /sbin/nologin
　　这里NF是多少段，$NF是最后一段的值。变量NR的具体用法如下：  # head -n3 /etc/passwd | awk -F ＂:＂ ＂{print NR}＂ 1 2 3
　　我们还可以使用NR作为判断条件，如下所示：  # awk ＂NR>40＂ /etc/passwd insights:x:978:976:Red Hat Insights:/var/lib/insights:/sbin/nologin sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin avahi:x:70:70:Avahi mDNS/DNS-SD Stack:/var/run/avahi-daemon:/sbin/nologin tcpdump:x:72:72::/:/sbin/nologin aminglinux:x:1000:1000:aminglinux:/home/aminglinux:/bin/bash
　　NR也可以配合段匹配一起使用，如下所示：  # awk -F ＂:＂ ＂NR<20 && $1 ~ /roo/＂ /etc/passwd root:x:0:0:root:/root:/bin/bash
　　12.3.5　awk中的数学运算
　　awk可以更改段值，示例命令如下：  # head -n 3 /etc/passwd |awk -F ＂:＂ ＂$1=＂root＂＂ root x 0 0 root /root /bin/bash root x 1 1 bin /bin /sbin/nologin root x 2 2 daemon /sbin /sbin/nologin
　　awk也可以对各个段的值进行数学运算，示例命令如下：  # head -n2 /etc/passwd root:x:0:0:root:/root:/bin/bash bin:x:1:1:bin:/bin:/sbin/nologin # head -n2 /etc/passwd |awk -F ＂:＂ ＂{$7=$3+$4}＂ # head -n2 /etc/passwd |awk -F ＂:＂ ＂{$7=$3+$4; print $0}＂ root x 0 0 root /root 0 bin x 1 1 bin /bin 2
　　awk还可以计算某个段的总和，示例命令如下：  # awk -F ＂:＂ ＂{(tot=tot+$3)}; END {print tot}＂ /etc/passwd 84699
　　这里的END是awk特有的语法，表示所有的行都已经执行。其实awk连同sed都可以写成一个脚本文件，而且有它们特有的语法。在awk中使用if判断、for循环都可以，只是阿铭认为在日常管理工作中，没有必要使用那么复杂的语句而已。如下所示：  # awk -F ＂:＂ ＂{if ($1==＂root＂) {print $0}}＂ /etc/passwd root:x:0:0:root:/root:/bin/bash
　　最后要提醒你一下，阿铭介绍的这些仅仅是正则表达式中最基本的内容， sed和awk并没有深入讲解，但足以满足日常工作所需。如果你碰到比较复杂的需求，实在搞不定了，可以来求助阿铭。