awk内置函数sub gensub gsub match等介绍

环境:
[root@MySQL ~]# cat /etc/issue
CentOS release 6.5 (Final)
Kernel r on an m
[root@MySQL ~]# awk –version
GNU Awk 3.1.7

1.asort和asorti

格式:

asort(s [, d])
asorti(s [, d]) 

功能及返回值:
asort:对数组进行排序,如果省略参数d,则修改数组s,如果提供参数d,则将数组s拷贝到d中然后进行排序,数组s不会被修改,排序后数组的下标从1开始;最终返回数组中元素个数

[root@MySQL ~]# awk 'BEGIN{a[0]="a";a[1]="c";a[2]="b";print "before sorting:";for(i in a){print i,a[i]};asort(a);print "after sorting:";for(i in a){print i,a[i]}}'

before sorting:
0 a
1 c
2 b
after sorting:
1 a
2 b
3 c

[root@mysql ~]# awk 'BEGIN{a[0]="a";a[1]="c";a[2]="b";print "before sorting:";for(i in a){print i,a[i]};asort(a,d);print "after sorting:";for(i in a){print i,a[i]};print ;for(i in d){print i,d[i]}}'

before sorting:
0 a
1 c
2 b
after sorting:
0 a
1 c
2 b

1 a
2 b
3 c

2.sub、gensub和gsub函数

格式:

sub(r, s [, t])
gsub(r, s [, t])
gensub(r, s, h [, t])

功能及返回值:
sub:对于t中匹配r的字串,将第一个匹配的子串替换为s,如果t省略,则t为$0;返回值为替换的字符串个数
gsub:对于t中匹配r的字串,将匹配的所有子串替换为s,如果t省略,则t为$0;返回值为替换的字符串个数
gensub:对于t中匹配r的字串,如果h是以”g”或”G”开头的字符串,则将匹配的所有子串替换为s,如果h是数字n,则将第n处匹配进行替换;如果参数t省略,则t为$0
sub及gsub案例

[root@MySQL ~]# awk 'BEGIN{r="or|ll";s="wj";t="hello,world!hello,awk";print sub(r,s,t),t}'

1 hewjo,world!hello,awk

[root@MySQL ~]# awk 'BEGIN{r="or|ll";s="wj";t="hello,world!hello,awk";print gsub(r,s,t),t}'

3 hewjo,wwjld!hewjo,awk

[root@MySQL ~]# echo "hello,world;hello,awk"|awk '{r="or|ll";s="wj";print sub(r,s),$0}'

1 hewjo,world;hello,awk

[root@MySQL ~]# echo "hello,world;hello,awk"|awk '{r="or|ll";s="wj";print gsub(r,s),$0}'

3 hewjo,wwjld;hewjo,awk

注:正则表达式另外一种写法

[root@MySQL ~]# echo "hello,world;hello,awk"|awk '{s="wj";print gsub(/or|ll/,s),$0}'

3 hewjo,wwjld;hewjo,awk

注:sub和gsub函数功能相同,前者指替换匹配的第一个字符串,而后者进行全局替换
gensub案例
省略参数t

[root@MySQL ~]# echo "hello,world!hello,awk!hello Linux!"|awk 'BEGIN{s="ww";r="ll"}{print gensub(r,s,"g")}'

hewwo,world!hewwo,awk!hewwo linux!

参数h以g或G开头

[root@MySQL ~]# awk 'BEGIN{s="ww";t="hello,world!hello,awk!hello linux!";r="ll";print gensub(r,s,"g",t)}'

hewwo,world!hewwo,awk!hewwo linux!

[root@MySQL ~]# awk 'BEGIN{s="ww";t="hello,world!hello,awk!hello linux!";r="ll";print gensub(r,s,"g1",t)}'

hewwo,world!hewwo,awk!hewwo linux!

[root@MySQL ~]# awk 'BEGIN{s="ww";t="hello,world!hello,awk!hello linux!";r="ll";print gensub(r,s,"G1",t)}'

hewwo,world!hewwo,awk!hewwo linux!

[root@MySQL ~]# awk 'BEGIN{s="ww";t="hello,world!hello,awk!hello linux!";r="ll";print gensub(r,s,"g1",t)}'

hewwo,world!hewwo,awk!hewwo linux!

[root@MySQL ~]# awk 'BEGIN{s="ww";t="hello,world!hello,awk!hello linux!";r="ll";print gensub(r,s,"G1",t)}'

hewwo,world!hewwo,awk!hewwo linux!

如果参数h不是数字也不以g或G开头,则替换第一处

[root@MySQL ~]# awk 'BEGIN{s="ww";t="hello,world!hello,awk!hello linux!";r="ll";print gensub(r,s,"a",t)}' 

hewwo,world!hello,awk!hello linux!

参数h是数字

[root@MySQL ~]# awk 'BEGIN{s="ww";t="hello,world!hello,awk!hello linux!";r="ll";print gensub(r,s,"1",t)}'

hewwo,world!hello,awk!hello linux!

[root@MySQL ~]# awk 'BEGIN{s="ww";t="hello,world!hello,awk!hello linux!";r="ll";print gensub(r,s,"3",t)}'

hello,world!hello,awk!hewwo linux!

[root@MySQL ~]# awk 'BEGIN{s="ww";t="hello,world!hello,awk!hello linux!";r="ll";print gensub(r,s,3,t)}'

hello,world!hello,awk!hewwo linux!

[root@MySQL ~]# awk 'BEGIN{s="ww";t="hello,world!hello,awk!hello linux!";r="ll";print gensub(r,s,0,t)}'

awk: warning: gensub: third argument of 0 treated as 1
hewwo,world!hello,awk!hello linux!

3..index函数

格式:

index(s, t)

功能及返回值:
返回字符串t在字符串s中的索引,如果字符串t在字符串s中不存在,则返回0(这表明字符串的索引是从1开始的)

[root@MySQL ~]# awk 'BEGIN{s="hello,world";t="llo";print index(s,t)}'

3

[root@MySQL ~]# awk 'BEGIN{s="hello,world";t="lloo";print index(s,t)}'

0

[root@MySQL ~]# awk 'BEGIN{s="hello,world";t="hello,world!";print index(s,t)}'

0

[root@MySQL ~]# awk 'BEGIN{s="hello,world";t="";print index(s,t)}'

1

注意:当字符串t为空时,返回的索引为1

4.length函数

格式:

length([s])

功能及返回值:
返回字符串s的长度,如果参数s省略,则返回$0的长度;从3.1.5版本开始,作为非标准扩展,如果参数为数组,则返回数组元素个数。

[root@MySQL ~]# awk 'BEGIN{s="hello,world";t="";print index(s,t)}'

1

[root@MySQL ~]# awk 'BEGIN{s="";print length(s)}'

0

[root@MySQL ~]# awk 'BEGIN{s=123;print length(s)}'

3

[root@MySQL ~]# awk 'BEGIN{s="hello world";print length(s)}'

11

[root@MySQL ~]# awk 'BEGIN{print length()}'

0

[root@MySQL ~]# echo "123 345" | awk '{print length()}'

7

5.match函数

格式:

match(s, r [, a])

功能及返回值:
当正则表达式r匹配字符串s中的某一部分时,返回匹配部分的索引,如果匹配不上,返回0,同时设置内置变量RSTART和RLENGTH;如果提供没有省略参数数组a,数组中的第1-n个元素为字符串s匹配正则表达式r中的带括号的子表达式的部分,数组a的第0个元素为字符串s匹配正则表达式r的完整匹配,数组的下标a[n, “start”]和a[n, “length”]分别表示匹配字符串的第一个字符的索引及匹配的字符串的长度。
可能描述地不是很清楚,下面通过例子来讲解
案例一:省略参数数组a

[root@MySQL ~]# awk 'BEGIN{s="hello,world!";r="ll";print match(s,r)}'

匹配ll,索引为3,返回值为3

3

[root@MySQL ~]# awk 'BEGIN{s="hello,world!";r="wj";print match(s,r)}'

匹配wj,没有匹配上,返回值为0
0

案例二:提供参数数组a(正则表达式中没有带括号的子表达式)

[root@MySQL ~]# awk 'BEGIN{s="hello,world!";r="ll";print match(s,r,a);print ;for(i in a){print "subscript:"i"t""valus:"a[i]}}'

3 #返回s中匹配ll的索引,为3

subscript:0 start valus:3 #数组a[0,”start”],值为s中匹配ll的索引,即3
subscript:0 length valus:2 #数组a[0,”length”],值为匹配的字符串的长度,即ll的长度,为2
subscript:0 valus:ll #数组a[0],值为匹配的字符串,即ll

另外一种写法,将正则表达式放在//中,和上面是同样的效果

[root@MySQL ~]# awk 'BEGIN{s="hello,world!";print match(s,/ll/,a);print ;for(i in a){print "subscript:"i"t""valus:"a[i]}}'

3

subscript:0start valus:3
subscript:0length valus:2
subscript:0 valus:ll

案例三:提供参数数组a(正则表达式中有带括号的子表达式)

[root@MySQL ~]# awk 'BEGIN{s="hello,world!";r="(ll).*(or.*d)";print match(s,r,a);print length(a);print ;for(i in a){print "subscript:"i"t""valus:"a[i]}}'

3 #匹配的字符串索引位置
9 #数组a中的元素个数

subscript:0start valus:3
subscript:0length valus:9
subscript:1start valus:3
subscript:2start valus:8
subscript:0 valus:llo,world
subscript:1 valus:ll
subscript:2 valus:orld
subscript:2length valus:4
subscript:1length valus:2

#上面输出数组a的元素顺序有点乱,整理下,如下:

subscript:0 valus:llo,world
subscript:0 start valus:3
subscript:0 length valus:9
subscript:1 valus:ll
subscript:1 start valus:3
subscript:1 length valus:2
subscript:2 valus:orld
subscript:2 start valus:8
subscript:2 length valus:4

当正则表达式中有带括号的子表达式时,数组a中的第0个元素为正则表达式的完整表达式,数组第1-n个元素为正则表达式中子表达式的内容

(ll).(or.d)

对于字符串“hello,world!”来说,

正则表达式(ll).(or.d)的的完整匹配为“llo,world”,所以a[0]的值为“llo,world”,a[0,”start”]为“llo,world”中的起始字符“l”在“hello,world!”中的索引,即3;a[0,”length”]为“llo,world”的长度,即9。

正则表达式(ll).(or.d)中的子表达式分别为(ll)和(or.*d),匹配“hello,world!”时,分别匹配”ll”和“orld”,所以a[1]和a[2]的值分别为”ll”和“orld”,a[n, “start”]和a[n, “length”](n=2,3)分别存储对应的索引和长度

注:
RSTART:match()函数匹配的第一个字符的索引;如果没有匹配,则为0
RLENGTH:match()函数匹配的字符串的长度;如果没有匹配,则为-1
RSTART The index of the first character matched by match(); 0 if no match. (Thisimplies that character indices start at one.)
RLENGTH The length of the string matched by match(); -1 if no match.

6.split函数

格式:

split(s, a [, r])

功能及返回值:将字符串s用正则表达式r作为分隔符进行分割,将分割的多个字段(域)存储到数组a中;如果r省略,用awk内置的FS变量对字符串s进行分割,将将分割的多个字段(域)存储到数组a中。返回分割的字段数也即数组中元素个数。

[root@MySQL ~]# awk 'BEGIN{s="hello,world;hello,awk";r=",";print split(s,a,r);for(i in a){print i,a[i]}}'

3
1 hello
2 world;hello
3 awk

[root@MySQL ~]# awk 'BEGIN{s="hello,world;hello,awk";r="hello";print split(s,a,r);for(i in a){print i,a[i]}}'

3
1
2 ,world;
3 ,awk

[root@MySQL ~]# head -n 1 /etc/passwd|awk 'BEGIN{s="hello,world;hello"}{print split(s,a);for(i in a){print i,a[i]}}'

1
1 hello,world;hello

[root@MySQL ~]# head -n 1 /etc/passwd|awk 'BEGIN{FS=";";s="hello,world;hello"}{print split(s,a);for(i in a){print i,a[i]}}'

2
1 hello,world
2 hello

注:FS变量的赋值也可以放在pattern+action外面

[root@MySQL ~]# head -n 1 /etc/passwd|awk -v FS=";" 'BEGIN{s="hello,world;hello"}{print split(s,a);for(i in a){print i,a[i]}}'

2
1 hello,world
2 hello

7.sprintf函数

对于该函数,后续会单独写一篇文章介绍

8.strtonum函数

格式:

strtonum(str)

功能及返回值:将字符串类型转化为数字类型,如果str以0开头则被转化为8进制,如果str以0x或0X开头则被转换为16进制

[root@MySQL ~]# awk 'BEGIN{s="123";print strtonum(s)}'
123
[root@MySQL ~]# awk 'BEGIN{s="0123";print strtonum(s)}'
83
[root@MySQL ~]# awk 'BEGIN{s="0x123";print strtonum(s)}'
291
[root@MySQL ~]# awk 'BEGIN{s="0X123";print strtonum(s)}'
291
[root@MySQL ~]# awk 'BEGIN{s="a123";print strtonum(s)}'
0
[root@MySQL ~]# awk 'BEGIN{s="12a3";print strtonum(s)}'
12
[root@MySQL ~]# awk 'BEGIN{s="123a";print strtonum(s)}'
123
[root@MySQL ~]# awk 'BEGIN{s="123.456";print strtonum(s)}'
123.456
[root@MySQL ~]# awk 'BEGIN{s="";print strtonum(s)}'
0

9.substr函数

格式:

substr(s, i [, n])

功能及返回值:
substr:返回字符串s中从索引i开始的最大长度为n字符串,如果n省略,则返回从索引i到字符串s末尾的字符串

[root@MySQL ~]# awk 'BEGIN{s="hello,world";print substr(s,2)}'
ello,world
[root@MySQL ~]# awk 'BEGIN{s="hello,world";print substr(s,2,5)}'
ello,
[root@MySQL ~]# awk 'BEGIN{s="hello,world";print substr(s,0)}'
hello,world
[root@MySQL ~]# awk 'BEGIN{s="hello,world";print substr(s,-2)}'
hello,world
[root@MySQL ~]# awk 'BEGIN{s="hello,world";print substr(s,3,-2)}'

[root@MySQL ~]# 

10.tolower和toupper函数

格式:

tolower(str)
toupper(str)

功能及返回值:
tolower:将字符转化为小写字母,非字母则不变
toupper:将字符转换为大写字母,非字母则不变

[root@MySQL ~]# awk 'BEGIN{s="HellO";print tolower(s)}'
hello
[root@MySQL ~]# awk 'BEGIN{s="^He;llO$";print tolower(s)}'
^he;llo$
[root@MySQL ~]# awk 'BEGIN{s="HellO";print toupper(s)}'
HELLO
[root@MySQL ~]# awk 'BEGIN{s="^He;llO$";print toupper(s)}'
^HE;LLO$

使用apt-mirror搭建ubuntu本地仓库

APT本地源的搭建(可用于局域网apt-get源搭建或者本地源)
本文档介绍使用apt-mirror软件搭建apt本地源
需求:内网开发环境由于其特定原因不能上外网,所以需要本地环境下的内网源来方便开发人员下载安装软件
建议:单独使用一块磁盘来存放源文件或者单独一个目录下,避免混淆

服务端配置

1、安装apt-mirror

apt-get install apt-mirror

2、修改apt-mirror配置文件

vim /etc/apt/mirror.list

参考以下配置文件:
清空原有的配置文件,直接使用以下配置文件即可


############# config ################## # 以下注释的内容都是默认配置,如果需要自定义,取消注释修改即可 set base_path /var/spool/apt-mirror # # 镜像文件下载地址 # set mirror_path $base_path/mirror # 临时索引下载文件目录,也就是存放软件仓库的dists目录下的文件(默认即可) # set skel_path $base_path/skel # 配置日志(默认即可) # set var_path $base_path/var # clean脚本位置 # set cleanscript $var_path/clean.sh # 架构配置,i386/amd64,默认的话会下载跟本机相同的架构的源 set defaultarch amd64 # set postmirror_script $var_path/postmirror.sh # set run_postmirror 0 # 下载线程数 set nthreads 20 set _tilde 0 # ############# end config ############## # Ali yun(这里没有添加deb-src的源) deb http://mirrors.aliyun.com/ubuntu/ trusty main restricted universe multiverse deb http://mirrors.aliyun.com/ubuntu/ trusty-security main restricted universe multiverse deb http://mirrors.aliyun.com/ubuntu/ trusty-updates main restricted universe multiverse deb http://mirrors.aliyun.com/ubuntu/ trusty-proposed main restricted universe multiverse deb http://mirrors.aliyun.com/ubuntu/ trusty-backports main restricted universe multiverse clean http://mirrors.aliyun.com/ubuntu

3、开始同步

执行

apt-miiror

然后等待很长时间(该镜像差不多100G左右,具体时间看网络环境),同步的镜像文件目录为/var/spool/apt-mirror/mirror/mirrors.aliyun.com/ubuntu/,当然如果增加了其他的源,在/var/spool/apt-mirror/mirror目录下还有其他的地址为名的目录。

4、安装apache2

apt-get install apache2

由于Apache2的默认网页文件目录位于/var/www/html,因此,可以做个软链接(这样我们就可以直接访问了,无需将其直接导入该目录)

ln -s /var/spool/apt-mirror/mirror/mirrors.aliyun.com/ubuntu /var/www/html/ubuntu

然后就可以通过如下地址访问了
http://[host]:[port]/ubuntu #ip和port是自己本机的,其中端口默认为80
在测试时可能遇到打不开的情况,查看下iptables规则是否限制或者selinux的问题(这点相信大家在学习lanmp的时候都已经了解过了)

客户端配置:

1、编辑/etc/apt/source.list,加入以下内容

# Local Source      #ip和port是自己本机的,其中端口默认为80
deb [arch=amd64] http://[host]:[port]/ubuntu/ trusty main restricted universe multiverse
deb [arch=amd64] http://[host]:[port]/ubuntu/ trusty-security main restricted universe multiverse
deb [arch=amd64] http://[host]:[port]/ubuntu/ trusty-updates main restricted universe multiverse  
deb [arch=amd64] http://[host]:[port]/ubuntu/ trusty-proposed main restricted universe multiverse
deb [arch=amd64] http://[host]:[port]/ubuntu/ trusty-backports main restricted universe multiverse

2、更新apt-get源

apt-update    #这步很重要

Ubuntu apt-cache列出版本列表并apt-get安装指定版本

一、通过apt-get安装指定版本

apt-get install <<package name>>=<<version>>

二、查询指定软件有多少个版本

说明:在Linux用这个查询并不能完全的把所有版本都列举出来,因为每个版本都与系统版本和CPU架构有关,比如一个软件支持Ubuntu系统的16.04的CPU架构为amd64的版本只有1.0和1.2,其余都不支持,所以列举时就只有两款。

列举版本列表:

0、通过网站搜索:

https://packages.ubuntu.com/

1、

apt-cache madison <<package name>>

将列出所有来源的版本。如下输出所示:

apt-cache madison vim
vim | 2:7.3.547-1 | http://debian.mirrors.tds.net/debian/ unstable/main amd64 Packages
vim | 2:7.3.429-2 | http://debian.mirrors.tds.net/debian/ testing/main amd64 Packages
vim | 2:7.3.429-2 | http://http.us.debian.org/debian/ testing/main amd64 Packages
vim | 2:7.3.429-2 | http://debian.mirrors.tds.net/debian/ testing/main Sources
vim | 2:7.3.547-1 | http://debian.mirrors.tds.net/debian/ unstable/main Sources
madison是一个apt-cache子命令,可以通过man apt-cache查询更多用法。

2、

apt-cache policy <<package name>>

将列出所有来源的版本。信息会比上面详细一点,如下输出所示:

apt-cache policy gdb
gdb:
  Installed: 7.7.1-0ubuntu5~14.04.2
  Candidate: 7.7.1-0ubuntu5~14.04.2
  Version table:
 *** 7.7.1-0ubuntu5~14.04.2 0
        500 http://fr.archive.ubuntu.com/ubuntu/ trusty-updates/main amd64 Packages
        100 /var/lib/dpkg/status
     7.7-0ubuntu3 0
        500 http://fr.archive.ubuntu.com/ubuntu/ trusty/main amd64 Packages
        500 http://archive.ubuntu.com/ubuntu/ trusty/main amd64 Packages

policy是一个apt-cache子命令,可以通过man apt-cache查询更多用法。

3、

apt-cache showpkg <<package name>>

4、

apt-get install -s <<package-name>>

说明:这个命令只是模拟安装时会安装哪些软件列表,但不会例举出每个软件有多少个版本

5、

aptitude versions <<package name>>

6、

apt-show-versions -a <<package name>>

说明:列举出所有版本,且能查看是否已经安装。还可以通过apt-show-versions -u <>来查询是否有升级版本。

7、

whohas -d Debian,Ubuntu <<package name>> | tr -s ' ' 't' | cut -f 1-3 | column -t

8、

rmadison -u debian,ubuntu,bpo <<package name>> | cut -d "|" -f 1-3

单个详情:

1、

apt-cache show <<package name>>

说明:查询指定包的详情,不管是否已经安装。

2、

dpkg -l <<package name>>

说明:效果和上面基本一致,但是结果是列表详情展示,会提示是否已经删除了之后还有依赖包没有删除等。

3、

dpkg -s <<package name>>

说明:必须是安装的包才能显示详情。

4、

dpkg-query -s <<package name>>

说明:同上,效果一致。

使用技巧:

1、可以在查询后面带上一些参数来实现筛选

apt-cache show package | grep Version
apt-show-versions | more

设置Apache 301跳转到https和www

一般我会较多的使用WORDPRESS程序,其在安装的时候我们如果直接用WWW打开,或者在后台设置WWW域名则默认会强制301指向WWW站点域名。而这里有使用ZBLOG或者TYPECHO等其他博客程序则不会默认301跳转。理论上从用户体验,还是从搜索引擎,最好是统一要么WWW,要么不带WWW格式的网址。

所以,我准备在Apache中用301跳转强制WWW格式,这里我是用的Apache虚拟主机环境所以直接在根目录的.htaccess文件设置就可以。

第一、强制WWW跳转

RewriteEngine on
RewriteCond %{HTTP_HOST} ^cnbanwagong.com [NC]
RewriteRule ^(.*)$ http://www.cnbanwagong.com/$1 [L,R=301,NC]

添加到伪静态文件中,立即生效。

第二、强制HTTPS格式

因为HTTPS加密格式网址也在陆续的流行和必须,所以我也在考虑和调整添加HTTPS格式的网址,毕竟免费SSL证书也比较多,添加也不复杂,刚才测试后还是可以的,唯独也需要将HTTPS强制跳转,因为HTTP和HTTPS也最好唯一。

RewriteEngine On
RewriteCond %{SERVER_PORT} 80
RewriteRule ^(.*)$ https://www.cnbanwagong.com/$1 [R,L]

同样的,可以在.htaccess文件中添加强制HTTPS跳转。

第三、补充301跳转

RewriteEngine On
RewriteCond %{HTTP_HOST} !^cnbanwagong.com$ [NC]
RewriteRule ^(.*)$ https://cnbanwagong.com/$1 [L,R=301]
RewriteCond %{SERVER_PORT} 80
RewriteRule ^(.*)$ https://cnbanwagong.com/$1 [L,R=301]

如果我们有朋友喜欢用不带WWW的格式,所以我们也可以强制不带WWW跳转和HTTPS强制不带WWW。

Linux crontab设置定时重启Apache服务

通过 crontab 命令,我们可以在固定的间隔时间执行指定的系统指令或 shell script脚本。时间间隔的单位可以是分钟、小时、日、月、周及以上的任意组合。这个命令非常适合周期性的日志分析或数据备份等工作。

1.首先在 $HOME/.profile 中设置 crontab 使用的编辑器:

EDITOR=vi; export EDITOR

2.新建一个 crontab 文件, 比如 root 用户的话就叫做 rootcron, 写入以下内容 :
每天 4 点重启 httpd

00 4 * * * /usr/sbin/service httpd restart

这里遇到的问题就是, 在 centos 下直接用 serivce 无效, /usr/sbin/service 才生效.

3.直接 crontab 加上上面新建的文件 rootcron 即可提交 crontab 任务:

crontab rootcron

查看 crontab 任务:

crontab -l