Linux入门系列awk命令详解

　　awk是一个强大的文本分析工具，与grep、sed相比，awk在对数据分析并生成报告时，显得有很大的优势。
　　awk有三个不同的版本：awk、nawk和gawk，在没有做特殊说时的时候默认的就是gawk，gawk是awk的GNU版本。使用方法awk [options]  ＂{pattern + action}＂ filenamepattern表示awk在数据中查找的内容;action是在找到匹配的内容时，需要执行的一系列命令;当有多个命令的时候，每个命令之间必须使用＂;＂分隔开;filename表示等待处理的文件;调用awk的三种方式命令行方式awk [-F field-separator] ＂command＂  filename
　　其中command是真正的awk命令，-F表示域的分隔符，是个可选项。Filename是等待处理的文件shell脚本方式
　　将所有的awk命令写入到一个文件，并使用该文件有X权限，然后awk命令解释器作为脚本的首行，也就是说可以把脚本最开始的#!/bin/bash 换成#!/bin/awk
　　最后直接执行这个脚本文件就行了。将所有的awk命令插入到一个单独的文件中，然后使用-f来调用awk –f awk-script-file filename
　　-f 指定要加载的awk脚本，是一个文件。Filename是等待处理的文件入门实例显示/etc/passwd文件中的用户名[root@apache ~]# awk -F ＂:＂ ＂{print $1}＂ /etc/passwd root bin daemon adm ……
　　awk的工作流程是这样的：读入一行后(最后面带有＂ ＂的)，就按-F指定的分隔符来将该行划分成N个区域，$0表示所有的区域，$1表示第一个域，$2表示第二个域，依此类推，$n表示第n个域。 显示/etc/passwd文件中的用户名与其shell，用户名和shell之间使用逗号来分割，并且在所有列的最前面加上Name和Shell，在最后一行打印＂----END----＂：[root@apache ~]# head -5 /etc/passwd | awk -F: ＂BEGIN{print ＂Name,Shell＂} {print $1＂,＂$7} END{print ＂----END----＂}＂ Name,Shell root,/bin/bash bin,/sbin/nologin daemon,/sbin/nologin adm,/sbin/nologin lp,/sbin/nologin ----END---- [root@apache ~]#
　　总结：awk先执行BEGIN内的命令，然后再读入文件中的行，接着就是按照指定的分隔符将该行分成N个区域，然后再来执行模式所对应的动作action。然后，再来读入第二行…再重复执行action，直到所有的行都处理完成。最后再执行END中的命令。 搜索/etc/passwd文件中含有＂root＂的所有行，并显示其shell[root@apache ~]# awk -F: ＂/root/{print $1,$7}＂ /etc/passwd root /bin/bash operator /sbin/nologin [root@apache ~]#
　　注意：＂//＂之间是支持正则表达式的，如果此处只有pattern,而没有action，那么awk默认会把匹配到的行打印出来。[root@apache ~]# awk ＂/root/＂ /etc/passwd root:x:0:0:root:/root:/bin/bash operator:x:11:0:operator:/root:/sbin/nologin [root@apache ~]#  [root@apache ~]# awk -F: ＂/^root/{print $1,$7}＂ /etc/passwd root /bin/bash [root@apache ~]#awk内置变量
　　ARGC
　　命令行中参数的个数
　　ARGV
　　命令行参数排列
　　ENVIRON
　　支持队列中系统环境变量的使用
　　FILENAME
　　Awk正在处理的文件名称
　　FNR
　　浏览文件的记录数
　　FS
　　设置域分隔符，等价于＂-F＂选项 Field Separator
　　NF
　　浏览记录(行)的域的个数;[number of field 当前行划分的字段总数]
　　NR
　　已读的记录(行)的数量[number of records 所有行，也就是如果有多个文件的话，这个是个总数]
　　FNR
　　如果只有一个文件作为输入，那么就是在这个文件中已经处理的行数；[file ]
　　OFS
　　输出域分隔符 (Output Field Separator)
　　ORS
　　输出记录分隔符(Output Row Separator)
　　RS
　　控制记录分隔符(Record Separator)显示awk处理的文件名、每行的行号、每行的列数、以及对应行的全部内容：(以/etc/passwd文件为例子)[root@apache ~]# awk -F: ＂{print ＂Filename:＂ FILENAME,＂LNO.＂ NR,＂CNO.＂ NF,＂Content:＂ $0}＂ /etc/passwd Filename:/etc/passwd LNO.1 CNO.7 Content:root:x:0:0:root:/root:/bin/bash Filename:/etc/passwd LNO.2 CNO.7 Content:bin:x:1:1:bin:/bin:/sbin/nologin Filename:/etc/passwd LNO.3 CNO.7 Content:daemon:x:2:2:daemon:/sbin:/sbin/nologin Filename:/etc/passwd LNO.4 CNO.7 Content:adm:x:3:4:adm:/var/adm:/sbin/nologin Filename:/etc/passwd LNO.5 CNO.7 Content:lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
　　awk中的print还可以使用C语言中的printf来替代。在输出格式比较复杂的时候使用printf函数会比print函数要更直观一些，如下：[root@apache ~]# awk -F: ＂{printf(＂%d ＂,NR)}＂ /etc/passwd
　　统计/etc/passwd下面的人数：[root@apache ~]# awk -F: ＂BEGIN{count=0;} {count++;} END{printf(＂Total user is %d ＂,count)}＂ /etc/passwd Total user is 36 [root@apache ~]#
　　还可以使用-v key=value来自定义变量。如下：[root@apache ~]# awk -v test=＂hello＂ ＂BEGIN{print test}＂ hello [root@apache ~]#条件语句：
　　awk中的条件语句是从C中借鉴过来的
　　语法：if (condition) {then-body} else {else-body}
　　例如使用awk来统计某个目录下的普通文件的大小，不包括子目录的，并过滤掉目录。[root@apache ~]# ll|awk ＂BEGIN{size=0;}{if($5 != 4096){size+=$5}}END{print ＂Total:＂ size/1024 ＂K＂}＂ Total:494.438K [root@apache ~]#循环语句：
　　循环语句也和C中的一样，支持while、do/while、for、continue、break等关键字。while (condition) {statement1;statement2}  do {statement} while()  for (i=0;i<=9;i++) {statement}  for (i in array) {statement}
　　break和continue常用于循环中；使用数组来显示/etc/passwd中的用户，格式为：User:root
　　在awk中，数组的下标可以是数字或字母。一般awk中的数组的作用是从记录中收集信息，用于计算总和、统计单词等。[root@apache ~]# awk -F: ＂BEGIN{k=0;}{name[k]=$1;k++}END{for(i=0;i y x >= y x == y x != y x ~ y 匹配，x能被正则表达式y匹配到，为真 x !~ y 不匹配， subscript in array 在指定的数组array中如果有subscript则为真逻辑关系：&& 与 || 或 ! 非三目表达式：selector?if-true-exp:if-false-exp
　　更多请参见awk官方文档[http://www.gnu.org/software/gawk/manual/gawk.html]