标签：awk

准备工作：

先简单了解grep，sed和awk功能　　

1） grep 显示匹配特定模式的内容

• grep -v ‘boy’ test.txt 过滤掉test.txt文件的boy，显示其余内容

• grep ‘boy’ test.txt 显示test.txt文件中，和boy匹配的内容

• -E 同时过滤多个”a|b”

• -i 不区分大小写

• –color=auto 设置颜色

2）sed 取各种内容，以行为单位取内容

• -n取消默认输出

• p=print

• d=delete　

3）awk 取列

• -F 指定分割符 如对“I am a student” 以空格为分割符，其将被分为4列，awk里有参数可以去任意列

• NF 表示当前行记录域或列的个数

• NR 显示当前记录号或行号

• $1第一列 $2第二列 $0整行 $NF 最后一列　　　　　　　　

案例一：如何过滤出em1的ip地址

[zhaohuizhen@localhost Test]$ ifconfig em1
em1: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500
inet 10.0.0.8 netmask 255.255.255.0 broadcast 10.0.0.254
inet6 fe80::b283:feff:fed9:6a9a prefixlen 64 scopeid 0x20<link>
ether b0:83:fe:d9:6a:9a txqueuelen 1000 (Ethernet)
RX packets 13908772 bytes 4072069839 (3.7 GiB)
RX errors 0 dropped 0 overruns 0 frame 0
TX packets 982482 bytes 86260856 (82.2 MiB)
TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0
device interrupt 40

步骤一

首先应该过滤出第二行inet 10.0.0.8 netmask 255.255.255.0 broadcast 10.0.0.254内容

方法一：grep命令

[zhaohuizhen@localhost Test]$ ifconfig em1 | grep 'inet '
　inet 10.0.0.8 netmask 255.255.255.0 broadcast 10.0.0.254

　　
方法二：用sed命令

[zhaohuizhen@localhost Test]$ ifconfig em1 | sed -n '2p'
　 inet 10.0.0.8 netmask 255.255.255.0 broadcast 10.0.0.254

方法三：用awk命令

[zhaohuizhen@localhost Test]$ ifconfig em1 | awk NR==2

　 inet 10.0.0.8 netmask 255.255.255.0 broadcast 10.0.0.254

　　
方法四：用head，tail命令

[zhaohuizhen@localhost Test]$ ifconfig em1 | head -2 | tail -1
　 inet 10.0.0.8 netmask 255.255.255.0 broadcast 10.0.0.254

步骤二

过滤出第二行后，在过滤出ip地址

方法一：用cut命令

[zhaohuizhen@localhost Test]$ ifconfig em1 | sed -n '2p' | cut -c 14-25
　  10.0.0.8

[zhaohuizhen@localhost Test]$ ifconfig em1 | grep 'inet ' | cut -d" " -f10
　　10.0.0.8

方法二：用awk命令

[zhaohuizhen@localhost Test]$ ifconfig em1 | grep 'inet ' | awk -F '[ ]+' '{print $3}'
　　10.0.0.8

用awk命令可以直接处理第二行，不用先将其过滤出来　　　　

[zhaohuizhen@localhost Test]$ ifconfig em1 | awk -F '[ ]+' 'NR==2 {print $3}' 
　　10.0.0.8

　　
方法三：用sed命令

[zhaohuizhen@localhost Test]$ ifconfig em1 | sed -n '/inet /p' | sed 's#^.*et ##g' | sed 's# net.*$##g'
　　10.0.0.8

此处用到了正则表达式（见http://www.cnblogs.com/ZGreMount/p/7656365.html），匹配的目标前面的字符串一般以^.开头，代表以任意字符开头，结尾写上要匹配的字符前面的几个字符，　　 　　如”^.addr “就匹配” inet addr “，而处理的目标后的内容则是开头写上要匹配字符后几个字符，加上以.$。如，“ Bcast:.$”就匹配“ Bcast:10.0.0.254 Mask:255.255.255.”

注：sed小括号分组功能

sed ‘s/********/……./标签’ #斜线可以被其它字符替换

前两条斜线中间部分内容********，可以使用正则表达式，后两条斜线中间内容…….不能使用正则表达式。

()是分组，在前面部分使用()括起来的内容，在后面部分可以使用1调用前面括号内内容。

如果有多个括号，那么依次是1，2，3，以此类推。

例如，直接取em1ip地址，不先过滤出第二行

[zhaohuizhen@localhost Test]$ ifconfig em1 | sed -n 's#^.*inet (.*) net.*$#1#gp'
　　10.0.0.8

　　　　
直接取出ip地址和子网掩码

[zhaohuizhen@localhost Test]$ ifconfig em1 | sed -n 's#^.*inet (.*) n.*k (.*) bro.*$#1 2#gp'
　　10.0.0.8 255.255.255.0

案例二：输出文件a对应权限664

[zhaohuizhen@localhost Test]$ ll a 
　  -rw-rw-r--. 1 zhaohuizhen zhaohuizhen 98 Oct 12 20:24 a

　　　　
方法一：用awk命令

[zhaohuizhen@localhost Test]$ ll a | awk '{print $1}'|tr rwx- 4210|awk -F "" '{print $2+$3+$4 $5+$6+$7 $8+$9+$10}'
　　664

　　　　
解析：

1）ll a 长格式显示文件a　　　　

[zhaohuizhen@localhost Test]$ ll a
　　-rw-rw-r--. 1 zhaohuizhen zhaohuizhen 98 Oct 12 20:24 a

　　　　　　
2）用awk命令，以空格为分隔符，取出第一列

[zhaohuizhen@localhost Test]$ ll a | awk '{print $1}'
　　-rw-rw-r--.

　　　　　　
3）用tr命令将rwx- 替换为4210

[zhaohuizhen@localhost Test]$ ll a | awk '{print $1}'|tr rwx- 4210
　　0420420400.

　　　　　　
4）用awk将上面的结果分割，然后相加得出结果

[zhaohuizhen@localhost Test]$ ll a | awk '{print $1}'|tr rwx- 4210|awk -F "" '{print $2+$3+$4 $5+$6+$7 $8+$9+$10}'
　　664

方法二：用stat命令

[zhaohuizhen@localhost Test]$ stat a
File: ‘a’
Size: 98 Blocks: 8 IO Block: 4096 regular file
Device: fd02h/64770d Inode: 203491 Links: 1
Access: (0664/-rw-rw-r--) Uid: ( 1002/zhaohuizhen) Gid: ( 1002/zhaohuizhen)
Context: unconfined_u:object_r:user_home_t:s0
Access: 2017-10-14 09:20:34.337529787 +0800
Modify: 2017-10-12 20:24:27.512609708 +0800
Change: 2017-10-12 20:24:27.536609708 +0800
Birth: -

　　　　
1）命令stat a结果包含文件a对应权限644，可以用前面的方法直接过滤出来

[zhaohuizhen@localhost Test]$ stat a | awk -F '[(/]' 'NR==4 {print $2}' 
　　0664

　　　　
2）stat命令包含需要结果，考虑stat命令是否有参数可以直接获得我们需要的结果

[zhaohuizhen@localhost Test]$ stat -c %a a
　　664

案例三：输出文件a内容，不带空行，文件a内容如下：

[zhaohuizhen@localhost Test]$ cat a
"hello,this is a test"
I am a studeng My QQ is 1534612574

computer

book

river
tree

man
computer

book
river
tree
man

　　
方法一：grep命令

[zhaohuizhen@localhost Test]$ grep -v '^$' a
"hello,this is a test"
I am a studeng My QQ is 1534612574
computer
book
river
tree
man
computer
book
river
tree
man

　　　　
注释：-v 即排除；^$,开头和结尾间没有任何东西，即空行

方法二：用sed命令

[zhaohuizhen@localhost Test]$ sed '/^$/d' a
"hello,this is a test"
I am a studeng My QQ is 1534612574
computer
book
river
tree
man
computer
book
river
tree
man

注释：^$代表空行，d即delete

方法三：用awk命令

[zhaohuizhen@localhost Test]$ awk /[^$]/ a
"hello,this is a test"
I am a studeng My QQ is 1534612574
computer
book
river
tree
man
computer
book
river
tree
man

　　　　
注释：^$代表空行，放在[]中代表非，即不匹配空行。

linux下的文本三剑客

grep

egrep,grep,fgrep 
文本查找的需要
grep：根据模式搜索文本，并将符合模式的文本行显示出来。
pattern：文本符和正则表达式的元字符组合而成的匹配条件

grep [option] "pattern" file 
grep root /etc/passwd

-i：忽略大小写 
--color：匹配的字符高亮显示  alias
alias  grep='grep --color'
-v:反向查找 
-o：只显示被模式匹配的字符串（不显示行）

globbing

*：任意长度的任意字符
？：任意单个字符
[]:任意一个字符
[^]:其中任意一个非

正则表达式：Regular ExPression,REGEXP

元字符：
.:匹配任意单个字符
[]:匹配指定范围内的任意字符
[^]:匹配指定范围内的任意单个字符
[:digit:][:lower:][:upper:] []

字符匹配次数：
*：表示匹配前面的字符任意次（0-inf）
   a*b 
   a.*b
.*:表示任意长度的，任意字符
工作在贪婪模式 
?:匹配其前面的字符一个或0次。
    部分匹配 
  a?b 
{m,n}:匹配其前的字符至少m，至多n次。
   {1,}
  {0,3}
  a{1,3}
  a.{1,3}

位置锚定：

^:锚定行首，此字符后面的任意内容必须出现在行首。
grep "^root" /etc/passwd 

$:锚定行尾，此字符前面的任意内容必须出现在行尾。

grep "bash$" /etc/passwd 
^$:空白行 
grep '^$' /etc/passwd

数字:

[0-9]:

grep "[[:space:]][[:digit:]]$" 

r555t 

锚定单词：

<或b:其后面的任意字符必须出现在行首
>或b:其前面的任意字符必须出现在行尾。

This is root.
The user is mroot
rooter is dogs name.
chroot is a command.
grep "root>" test.txt 
grep "<root" test.txt 
grep "<root>" test.txt  

分组：

()
(ab)* :ab一个整体 

  后向引用

He love his lover.
She like her liker.
He  love his liker.
She like her lover.

grep 'l..e*l..e*' text.txt 
grep "l..e.*1" text.txt
grep "(l..e)" 

1:调用第一个左括号以及与之对应的右括号之间的内容。
2:
3:

/etc/inittab 
grep '([0-90]).*1$'  /etc/inittab 

REGEXP：regular Expresssion

pattern:文本的过滤条件

正则表达式：
basic REGEXP : 基本正则表达式
Extent REGEXP ：扩展正则表达式

基本正则表达式

.
[]
[^]

次数匹配：
*:
?:0或1次
{m,n}:至少m次，至多n次

.*:

锚定：
^:
$:
<,b: 
>,b:

()
1,2....

grep：使用基本的正则表达式定义的模式来过滤文本的命令：

-i：忽略大小写 
-v 
-o 
--color 

-E 支持扩展的正则表达式 
-A  # ：显示匹配行及以后多少行也显示 
  after 
-B：显示匹配行以及前面的n行
   before 
-C:显示匹配行以及前后的n行
   contest 
grep -A 2 ""  file 


扩展正则表达式：
   贪婪模式

字符匹配：
.
[]
[^]

次数匹配：
*：
?:
+:匹配其前面的字符至少一次
{m,n}

位置锚定：
^
$
<
>

分组：
():分组
1,2,3.....

或者：
a|b  or 

C|cat: 
(C|c)at: 

grep --color -E '^[[:space:]]+' /boot/grub/grub.conf 

grep -E = egrep 

egrep --color '<([1-9]|[1-9][0-9]|1[0-9][0-9]|2[0-5][0-9]|25[0-5])>' 

(<([0-9]|[1-9][0-9]|1[0-9][0-9]|2[0-5][0-9]|25[0-5])>.){3}'<([1-9]|[1-9][0-9]|1[0-9][0-9]|2[0-5][0-9]|25[0-5])>.'

IPV4：
5类：
A B C D E 
A:1-127 
B:128-191 
C: 192--223 

<[1-9]|[1-9][0-9]|1[0-9]{2}|2[01][0-9]|22[0-30]>

sed(流编辑器)

sed基本用法：

sed:stream Editor 
行编辑器 
   文本编辑器 
   逐行处理文本 

全屏编辑器：vim 

内存空间：模式空间 
sed 模式空间 
匹配模式空间后，进行操作，将结果输出。仅对模式空间中的数据进行处理，而后，处理结束，将模式空间打印至屏幕；

默认sed不编辑原文件，仅对模式空间中的数据进行处理。

sed [option] [sed-scripts]

option：

-n：静默模式 
-i:直接修改原文件
-e scripts -e script:可以同时执行多个脚本。
-f /path/to/sed_scripts  命令和脚本保存在文件里调用。
  sed -f /path/to/scripts  file 
-r：表示使用扩展的正则表达式。
   只是进行操作，不显示默认模式空间的数据。

comamnd:

address:指定处理的行范围

sed 'addressCommand' file ... 
对符合地址范围进行操作。
Address: 
1.startline,endline 
 比如1,100
   $:最后一行
2./RegExp/ 
  /^root/
3./pattern1/,/pattern2/ 
  第一次被pattern匹配到的行开始，至第一次pattern2匹配到的行结束，这中间的所有行。
4.LineNumber 
   指定行 
5.startline，+N 
 从startline开始，向后的N行。

Command：
 d:删除符合条件的行。
     sed '3,$d' /etc/fstab
     sed '/oot/d' /etc/fstab 
注意：模式匹配，要使用 // 
    sed '1d' file 
p:显示符合条件的行 
 sed '/^//d' /etc/fstab 
 sed '/^//p' /etc/fstab 
   会显示两次
    先显示P匹配，再显示所有模式空间的数据。
a string:在指定的行后面追加新行，内容为"string"
sed '/^//a # hello world' /etc/fstab 
添加两行：
sed '/^//a #hello world n #hi' /etc/fstab 

i sting:在指定行的前面添加新行，内容为string。

r file:将指定的文件的内容添加在指定行后面。
  sed '2r /etc/issue'   /etc/fstab 
  sed '$r /etc/issue' /etc/fstab 

w file:将地址指定的范围的内容另存至另一文件中。
 sed '/oot/w /tmp/oot.txt' /etc/fstab 

s/pattern/string/：查找并替换 
     sed  's/oot/OOT/'  /etc/fstab 
sed 's/^//#/' /etc/fstab 
sed 's///#/'/etc/fstab 仅替换每一行第一次被模式匹配的串。
  加修饰符 
   g：全局替换 
   i：忽略大小写 
 sed 's///#/g'/etc/fstab

 s///:s###
 s@@@

sed 's#+##' 

后向引用

l..e:like----->liker 
     love----->lover 

sed 's#l..e#&r#' file
&:表示模式匹配的引用 

sed 's#l..e#1r#' file 

like---->Like
love---->Love 
sed 's#l(..e)#L1#g' file 


history |sed 's#[[:space:]]##g'
history | sed 's#^[[:space:]]##g'

sed ''dirname

例子????

 1.删除/etc/grub.conf文件中行首的空白符；
 sed  's/^[[:space:]]+//g' /etc/grub.conf 
 2.替换/etc/inittab文件中"id:3:initdefault:"一行中的3
 sed 's#id:3:init#id:5:initd#'
 sed 's@(id:)[0-9](:initdefault:)@152@g' /etc/inittab 
 3.删除/etc/inittab文件中的空白行。
  sed '/^$/d' /etc/inittab
4.删除/etc/inittab文件中开头的#号
sed 's/^#//'  
5.删除莫文件中开头的#号以及空白行。
sed 's/^[[:space:]]+//g' 
6.删除某文件中以空白字符后面跟#类的行中开头的空白字符以及#
sed -r 's/^[[:space:]]+#//g' 
7.取出一个文件路径的目录名称
echo '/etc/rc.d'|sed -r 's@^(/.*/)[^/]+/?@1@g'

awk（报告生成器）

grep ：文本过滤器
sed:流编辑器 


grep option pattern file 
sed addresscommmand file 
sed 'comand/pattern/' file 

awk（报告生成器）

根据定义好的格式，显示出来。
nawk 
gawk
gnu awk 

awk option 'script' file file2 
awk [option] 'pattern {action}' file file2 

print 
printf 自定义显示格式


awk一次抽取一行，然后对每一行进行切割分片，每一片可以使用变量进行引用。
$0:表示引用一整行
$1:第一个切片
$2:第二个切片 

awk '{print $1}' text.txt 
awk '{print $1,$2}' text.txt

选项：

-F  指定分隔符
awk -F ''

awk 'BEGIN{OPS="#"}{print $1,$2}' test.txt
BEGIN{OPS=""} 输出分隔符

输出特定字符
awk '{print $1,"hello",$2,$3,$4,$5}' file 

awk 'BEGIN{print "line onenline twonline tree"}'

print的格式：
print item1，item2...

awk -F: 输入分隔符 
OFS="#"   输出分隔符

awk变量

awk内置变量
FS: filed separator,读取文本时，所用字段分隔符
RS:recordsepartor，输入文本信息所使用的换行符。
OFS:OUT filed separator 
ORS:Output ROw separator 

awk -F:
OFS="#"
FS=":"

awk内置变量之数据变量

NR: the number of input record ,awk命令所处理的记录，如果有多个文件，这个数据是所有处理的行数。
FNR：当前文件所处理的行是本文件第多少行。
NF：当前所处理的行有多少个字段。


awk '{print NF}' file 
awk '{print $NF}' file 
awk '{print NR}' file 

-v 定义变量

awk -v test="hello awk" '{print test}' 
awk -v test="hell awk" 'BEGIN{print test}'


awk  'BEGIN{test='hello awk',print test}'

printf 格式化显示

printf  format,item1，item2...

awk 'BEGIN{printf %c,}'
注意：printf不换行  

%d 
%e 
%f 
%g 

修饰符
-：左对齐 
%nd：显示宽度 
awk '{printf %-10s%-10sn,$1,$2}' file

awk的操作符

算术操作符

字符串操作符

布尔表达式

x < y 
x <= y 
x > y 
x != y 
x ~ y 匹配 
x !~ y 

表达式间的逻辑关系符

&& 
||

条件表达式

select?if-true-exp:if-false-exp 
a>b?a=1:b=2 

awk模式

1.正则表达式 /pattern/
2.表达式 
3.REGEXP 指定匹配范围 
4.BEGIN/END 
5Empty  


awk -F : '/^r/ {print $1}' /etc/passwd 
awk -F ： '$3>=500{printf $1,$3}' /etc/passwd 
awk -F: '$3+1>=500{print $1,$3}' /etc/passwd

awk -F: '$7~"bash$"{print $1,$7}' /etc/passwd 
进行匹配测试
awk -F: '$7!~"bash$"{print $1,$7}' /etc/passwd 

awk -F: '/^r/,/^m/{print $1,$7}' /etc/passwd 

awk -F: '$3==0,$7~"bash"{print $1,$3,$7}' /etc/passwd 

awk -F '{printf "%-10s%-10s%-20sn",$1,$2,$3}' /etc/passwd 

BEGIN ,END 

awk -F: '$3==0,$7~"nologin"BEGIN{print "Username       ID    shell"}{printf "%-10s%-10s%-20sn"$1,$3,$7} END{print "ending"}' /etc/passwd 

action

1.ExPression 
2.control statements 
3.compound statements 
4.INput statment 
5 output statements 

控制语句

if-else

if(condition) {then-body} else {[else-body]}
eg:
awk -F:

while

while (condition){statement1;statement2;...}
循环每一字段 
length([string])

awk -F: '{i=1; while (1<=NF) if {(length($i)>4) {print $i}; i++}}'

df -hP |awk '{if($4 >=) Print $0}'


do while 
do{statement1,statement2,...} while(condition)

for 
for( ; ; ){statement1;statement2....}

awk -F: '{for(i=1:i<=NF;i++){if(length($i)>=4){print $i}}}'  /etc/passwd 

case 
switch (exprssion) {case value or /regexp/:statement1,statement2,...default:statement,....}

break和continue 
contine是遍历字段的 

next 
提前结束对本行文本的处理，并接着处理下一行，

数组

数组下表是从1开始的
awk[mon]=1 
awk[tus]=2 


for (var in arrary){statement,....}

awk -F: '{shell[$NF]++}END {for(A in shell) {print A,shell[A]}}' /etc/passwd 

nestat -tan 

netstat -tan |awk '/^tcp/{STATE[$NF]++}END{for (S in STATE){print S,STATE[S]}}'

awk '{count[$1]++}END{for ip in count}{printf "%-20s:%dn",ip,count[ip]}}'  access_log