awk 获取指定列的内容进行判断输出

现在有一些日志,要获取倒数第二行的内容,并且判断其值是否为 0,如果为0则输出对应的行。

[root@centos ~]# awk -F ',' '{if($7==0) print $0}' test.txt
上海, 上海, 中国移动, 0.000000 0.000000, 2017-10-10 16:45:14, http://upod-dl.fm/m4a/57c555ed7cb8912ec41015b0_5820095_24.m4a?sign=376ed5bda7ca56c990aed71e107498c0&t=59dd3192, 0, 404

或者

awk -F ',' '{ if($(NF-1)==0) print $0}' test.txt

其中 NF 表示最后一行,NF-1 表示倒数第二行。

awk使用

awk操作两个文件

  • NR,表示awk开始执行程序后所读取的数据行数.

  • FNR,与NR功用类似,不同的是awk每打开一个新文件,FNR便从0重新累计.

下面看两个例子:

1、对于单个文件NR 和FNR 的 输出结果一样的 :

awk ‘{print NR,$0}’ file1

1 a b c d 2 a b d c 3 a c b d
awk ‘{print FNR,$0}’ file1

1 a b c d 2 a b d c 3 a c b d

2、但是对于多个文件 :

awk ‘{print NR,$0}’ file1 file2

1 a b c d 2 a b d c 3 a c b d 4 aa bb cc dd 5 aa bb dd cc 6 aa cc bb dd
awk ‘{print FNR,$0}’ file1 file2

1 a b c d 2 a b d c 3 a c b d 1 aa bb cc dd 2 aa bb dd cc 3 aa cc bb dd

在看一个例子关于NR和FNR的典型应用:

现在有两个文件格式如下:

cat account

张三|000001 李四|000002
cat cdr

000001|10 000001|20 000002|30 000002|15

想要得到的结果是将用户名,帐号和金额在同一行打印出来,如下:

张三  000001   10

张三  000001   20

李四  000002   30

李四  000002   15

执行如下代码

awk -F | ‘NR==FNR{a[$2]=$0;next}{print a[$1]”   “$2}’ account cdr

注释:

由NR=FNR为真时,判断当前读入的是第一个文件account,然后使用{a[$2]=$0;next}循环将account文件的每行记录都存入数组a,并使用$2第2个字段作为下标引用.

未分类

强大的grep,sed和awk–用案例来讲解

准备工作:

先简单了解grep,sed和awk功能  

1) grep 显示匹配特定模式的内容

  • grep -v ‘boy’ test.txt 过滤掉test.txt文件的boy,显示其余内容

  • grep ‘boy’ test.txt 显示test.txt文件中,和boy匹配的内容

  • -E 同时过滤多个”a|b”

  • -i 不区分大小写

  • –color=auto 设置颜色

2)sed 取各种内容,以行为单位取内容

  • -n取消默认输出

  • p=print

  • d=delete 

3)awk 取列

  • -F 指定分割符 如对“I am a student” 以空格为分割符,其将被分为4列,awk里有参数可以去任意列

  • NF 表示当前行记录域或列的个数

  • NR 显示当前记录号或行号

  • $1第一列 $2第二列 $0整行 $NF 最后一列        

案例一:如何过滤出em1的ip地址

[zhaohuizhen@localhost Test]$ ifconfig em1
em1: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500
inet 10.0.0.8 netmask 255.255.255.0 broadcast 10.0.0.254
inet6 fe80::b283:feff:fed9:6a9a prefixlen 64 scopeid 0x20<link>
ether b0:83:fe:d9:6a:9a txqueuelen 1000 (Ethernet)
RX packets 13908772 bytes 4072069839 (3.7 GiB)
RX errors 0 dropped 0 overruns 0 frame 0
TX packets 982482 bytes 86260856 (82.2 MiB)
TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0
device interrupt 40

步骤一

首先应该过滤出第二行inet 10.0.0.8 netmask 255.255.255.0 broadcast 10.0.0.254内容

方法一:grep命令

[zhaohuizhen@localhost Test]$ ifconfig em1 | grep 'inet '
 inet 10.0.0.8 netmask 255.255.255.0 broadcast 10.0.0.254

  
方法二:用sed命令

[zhaohuizhen@localhost Test]$ ifconfig em1 | sed -n '2p'
  inet 10.0.0.8 netmask 255.255.255.0 broadcast 10.0.0.254

方法三:用awk命令

[zhaohuizhen@localhost Test]$ ifconfig em1 | awk NR==2

  inet 10.0.0.8 netmask 255.255.255.0 broadcast 10.0.0.254

  
方法四:用head,tail命令

[zhaohuizhen@localhost Test]$ ifconfig em1 | head -2 | tail -1
  inet 10.0.0.8 netmask 255.255.255.0 broadcast 10.0.0.254

步骤二

过滤出第二行后,在过滤出ip地址

方法一:用cut命令

[zhaohuizhen@localhost Test]$ ifconfig em1 | sed -n '2p' | cut -c 14-25
   10.0.0.8

[zhaohuizhen@localhost Test]$ ifconfig em1 | grep 'inet ' | cut -d" " -f10
  10.0.0.8

方法二:用awk命令

[zhaohuizhen@localhost Test]$ ifconfig em1 | grep 'inet ' | awk -F '[ ]+' '{print $3}'
  10.0.0.8

用awk命令可以直接处理第二行,不用先将其过滤出来    

[zhaohuizhen@localhost Test]$ ifconfig em1 | awk -F '[ ]+' 'NR==2 {print $3}' 
  10.0.0.8

  
方法三:用sed命令

[zhaohuizhen@localhost Test]$ ifconfig em1 | sed -n '/inet /p' | sed 's#^.*et ##g' | sed 's# net.*$##g'
  10.0.0.8

此处用到了正则表达式(见http://www.cnblogs.com/ZGreMount/p/7656365.html),匹配的目标前面的字符串一般以^.开头,代表以任意字符开头,结尾写上要匹配的字符前面的几个字符,     如”^.addr “就匹配” inet addr “,而处理的目标后的内容则是开头写上要匹配字符后几个字符,加上以.$。如,“ Bcast:.$”就匹配“ Bcast:10.0.0.254 Mask:255.255.255.”

注:sed小括号分组功能

sed ‘s/********/……./标签’ #斜线可以被其它字符替换

前两条斜线中间部分内容********,可以使用正则表达式,后两条斜线中间内容…….不能使用正则表达式。

()是分组,在前面部分使用()括起来的内容,在后面部分可以使用1调用前面括号内内容。

如果有多个括号,那么依次是1,2,3,以此类推。

例如,直接取em1ip地址,不先过滤出第二行

[zhaohuizhen@localhost Test]$ ifconfig em1 | sed -n 's#^.*inet (.*) net.*$#1#gp'
  10.0.0.8

    
直接取出ip地址和子网掩码

[zhaohuizhen@localhost Test]$ ifconfig em1 | sed -n 's#^.*inet (.*) n.*k (.*) bro.*$#1 2#gp'
  10.0.0.8 255.255.255.0

案例二:输出文件a对应权限664

[zhaohuizhen@localhost Test]$ ll a 
   -rw-rw-r--. 1 zhaohuizhen zhaohuizhen 98 Oct 12 20:24 a

    
方法一:用awk命令

[zhaohuizhen@localhost Test]$ ll a | awk '{print $1}'|tr rwx- 4210|awk -F "" '{print $2+$3+$4 $5+$6+$7 $8+$9+$10}'
  664

    
解析:

1)ll a 长格式显示文件a    

[zhaohuizhen@localhost Test]$ ll a
  -rw-rw-r--. 1 zhaohuizhen zhaohuizhen 98 Oct 12 20:24 a

      
2)用awk命令,以空格为分隔符,取出第一列

[zhaohuizhen@localhost Test]$ ll a | awk '{print $1}'
  -rw-rw-r--.

      
3)用tr命令将rwx- 替换为4210

[zhaohuizhen@localhost Test]$ ll a | awk '{print $1}'|tr rwx- 4210
  0420420400.

      
4)用awk将上面的结果分割,然后相加得出结果

[zhaohuizhen@localhost Test]$ ll a | awk '{print $1}'|tr rwx- 4210|awk -F "" '{print $2+$3+$4 $5+$6+$7 $8+$9+$10}'
  664

方法二:用stat命令

[zhaohuizhen@localhost Test]$ stat a
File: ‘a’
Size: 98 Blocks: 8 IO Block: 4096 regular file
Device: fd02h/64770d Inode: 203491 Links: 1
Access: (0664/-rw-rw-r--) Uid: ( 1002/zhaohuizhen) Gid: ( 1002/zhaohuizhen)
Context: unconfined_u:object_r:user_home_t:s0
Access: 2017-10-14 09:20:34.337529787 +0800
Modify: 2017-10-12 20:24:27.512609708 +0800
Change: 2017-10-12 20:24:27.536609708 +0800
Birth: -

    
1)命令stat a结果包含文件a对应权限644,可以用前面的方法直接过滤出来

[zhaohuizhen@localhost Test]$ stat a | awk -F '[(/]' 'NR==4 {print $2}' 
  0664

    
2)stat命令包含需要结果,考虑stat命令是否有参数可以直接获得我们需要的结果

[zhaohuizhen@localhost Test]$ stat -c %a a
  664

案例三:输出文件a内容,不带空行,文件a内容如下:

[zhaohuizhen@localhost Test]$ cat a
"hello,this is a test"
I am a studeng My QQ is 1534612574

computer

book

river
tree

man
computer

book
river
tree
man

  
方法一:grep命令

[zhaohuizhen@localhost Test]$ grep -v '^$' a
"hello,this is a test"
I am a studeng My QQ is 1534612574
computer
book
river
tree
man
computer
book
river
tree
man

    
注释:-v 即排除;^$,开头和结尾间没有任何东西,即空行

方法二:用sed命令

[zhaohuizhen@localhost Test]$ sed '/^$/d' a
"hello,this is a test"
I am a studeng My QQ is 1534612574
computer
book
river
tree
man
computer
book
river
tree
man

注释:^$代表空行,d即delete

方法三:用awk命令

[zhaohuizhen@localhost Test]$ awk /[^$]/ a
"hello,this is a test"
I am a studeng My QQ is 1534612574
computer
book
river
tree
man
computer
book
river
tree
man

    
注释:^$代表空行,放在[]中代表非,即不匹配空行。

ubuntu LTS 16.04 编译安装配置Apache

操作系统:ubuntu LTS 16.04
apache版本:2.4.27

一、PRE准备工作

Apache编译安装指南 (http://httpd.apache.org/docs/2.4/install.html) 中给出了编译安装的详细过程,以下是注意事项:

1、安装C编译器

安装C语言编译器gcc-5

sudo apt-get install gcc-5

将gcc符号链接到gcc-5,使gcc命令等同于gcc-5

sudo ln -s /usr/bin/gcc-5 /usr/bin/gcc

2、安装C++编译器

安装C语言编译器g++-5

sudo apt-get install g++-5

将g++符号链接到g++-5,使gcc命令等同于g++-5

sudo ln -s /usr/bin/g++-5 /usr/bin/g++

3、安装make

–fix-missing是修复选项

sudo apt-get install make --fix-missing

4、安装依赖包

sudo apt-get install libexpat1-dev

二、编译安装详细过程

将下载的源码文件都放在/usr/local/src目录下

切换到/usr/local/src目录

cd /usr/local/src

1、安装APR

下载安装APR-1.6.2

去APR官网 (http://apr.apache.org/) 下载对应版本的tar.gz源码压缩包,放到/usr/local/src目录下,并解压

# 解压命令
sudo tar zxvpf apr-1.6.2.tar.gz

进到apr-1.6.2源码目录下

cd apr-1.6.2

编译安装

# 设置输出目录
./configure --prefix=/usr/local/apache2/apr-1.6.2

# 根据自己电脑核数×2来设定并行编译参数,提高编译速度
make -j1 

sudo make install

下载安装APR-util-1.6.0

去APR官网 (http://apr.apache.org/) 下载对应版本的tar.gz源码压缩包,放到/usr/local/src目录下,并解压

# 解压命令
sudo tar jxvpf apr-util-1.6.0.tar.bz2

进到apr-1.6.2源码目录下

cd apr-util-1.6.0

编译安装,注意apr路径参数要与之前apr安装路径参数相同

./configure --prefix=/usr/local/apache2/apr-util-1.6.0 --with-apr=/usr/local/apache2/apr-1.6.2

make -j1

make install

下载安装PCRE

去PCRE官网 (https://sourceforge.net/projects/pcre/files/pcre/) 下载pcre-8.41源码压缩包,放到/usr/local/src`目录下,并解压

# 解压命令
sudo tar zxvpf pcre-8.41.tar.gz

进到pcre-8.41源码目录下

cd pcre-8.41

编译安装

./configure --prefix=/usr/local/pcre-8.41

make -j1

make install

下载安装apache2.4.27

去Apache官网 (http://httpd.apache.org/download.cgi#apache24) 下载apache2.4.27源码压缩包,放到/usr/local/src目录下,并解压

# 解压命令
sudo tar zxvpf httpd-2.4.27.tar.gz

进到httpd-2.4.27.tar.gz目录下

cd httpd-2.4.27

编译安装

sudo ./configure --prefix=/usr/local/apache2 --with-apr=/usr/local/apache2/apr-1.6.2 --with-apr-util=/usr/local/apache2/apr-util-1.6.0/ --with-pcre=/usr/local/pcre-8.41 --with-expat=builtin --enable-so --enable-rewrite --enable-ssl

sudo make -j1

sudo make install
  • –prefix : 目标路径

  • –with: 依赖的库文件的路径

  • enable-ssl : 支持SSL加密

  • enable-so : 支持动态加载模块

添加启动脚本apache2到service

sudo cp /usr/local/apache2/bin/apachectl /etc/init.d/apache2

添加apache2到环境变量

# 输出启动脚本至 /home/phdchorus/apache2.sh
sudo echo 'export PATH=$PATH:/usr/local/apache2/bin' > /home/phdchorus/apache2.sh

cd /home/phdchorus

# 修改启动脚本的读写权限
sudo chmod a+x apache2.sh

# 拷贝脚本至目录
sudo cp apache2.sh /etc/profile.d

# 更新脚本状态
source /etc/profile.d/apache2.sh

添加apache2到开机启动项

sudo vim /etc/rc.local

将/etc/profile.d/httpd.sh添加到exit 0之前

/etc/profile.d/apache2.sh

exit 0

启动apache2

sudo service apache2 start

三、Apache配置

转到apache目录下,可以看到以下目录结构

phdchorus@phdchorus:/usr/local/apache2$ ls
bin  conf  error  htdocs  logs  modules
  • bin是apache启动目录

  • conf是apache配置文件目录

  • htdocs是默认的DocumentRoot

  • logs是默认的日志目录

  • modules是apache的扩展链接(PHP扩展、SSL扩展…)所在的目录

转到conf目录下,可以看到以下目录结构

phdchorus@phdchorus:/usr/local/apache2/conf$ ls
extra  httpd.conf  magic  mime.types  original
  • httpd.conf是apache的主配置文件

  • extra中存放了httpd.conf之外的配置文件

安装配置Apache中记录了通过apt-get安装Apache后,对apache的各种配置。apt-get安装apache后,apache配置按照种类分散到多个目录文件下面,主配置文件import这些配置文件,从而实现了配置模块化的效果。而编译安装的apache将几乎所有的配置都放到了主配置文件中,是非常不利于维护的。接下来我们先配置Apache,再按照模块化配置的思路,重构apache的主配置文件。

1、配置Apache

基本配置

因为装机时,我们的计划是将网络服务资源放在/var下,所以要修改DocumentRoot及DocumentRoot对应的Directory项

找到DocumentRoot "/usr/local/apache2/htdocs"
修改为DocumentRoot "/var/www/html" --该目录为自己创建的目录

找到:<Directory "/usr/local/apache2/htdocs"> 
修改为:<Directory "/var/www/html">

配置Apache解析PHP

在主配置文件中写入

LoadModule php7_module modules/libphp7.so

AddType application/x-httpd-php .php
AddType application/x-httpd-php-source .phps

修复安全漏洞

在主配置文件中写入

TraceEnable off
ServerSignature off

Linux(Ubuntu16.04)apt-get install安装Nginx + PHP7+Mysql5.7

切换到root帐号,安装软件包源: apt-get install software-properties-common

1、安装PHP7.1

add-apt-repository ppa:ondrej/php

apt-get update

apt-get install php7.1-cli php7.1-fpm php7.1-common php7.1-curl  php7.1-xml php7.1-gd php7.1-mysql php7.1-mbstring php7.1-bcmath php7.1-dev php7.1-zip

相关服务命令:

service php7.1-fpm start/stop/restart

2、安装Nginx

add-apt-repository ppa:ondrej/nginx

apt-get update

apt-get install nginx-full

配置站点php-fpm

vim /etc/nginx/sites-available/default
fastcgi_pass  unix:/run/php/php7.1-fpm.sock;

相关服务命令:

service nginx start/stop/restart

3、安装Mysql5.7

add-apt-repository ppa:ondrej/mysql

apt-get update

apt-get install mysql-server-5.7

配置远程链接

创建远程链接帐号

mysql -u root -h localhost -p

mysql> GRANT ALL PRIVILEGES ON *.* TO 'remote_root'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION;

mysql> FLUSH PRIVILEGES;

修改cnf配置

vim  /etc/mysql/mysql.conf.d/mysqld.cnf
将bind-address    = 127.0.0.1

设置成bind-address    = 0.0.0.0(设备地址)

重启mysql

service mysql restart

ubuntu 使用apt-get install 升级安装php5.6

php5.6版本比之前任何一个PHP版本速度上都要快一些,所以,宝讯决定把服务器上的PHP升级到5.6版本,以此来提升服务器的性能。

$ sudo apt-get install python-software-properties
$ sudo add-apt-repository ppa:ondrej/php
$ sudo apt-get update
$ sudo apt-get -y install php5.6 php5.6-mcrypt php5.6-mbstring php5.6-curl php5.6-cli php5.6-mysql php5.6-gd php5.6-intl php5.6-xsl php5.6-zip

如果第一行命令报错,先执行下面的命令

$ sudo apt-get install software-properties-common python-software-properties 

安装成功后,需要将/etc/apache2/mods-available/php5.load中的php加载路径修改为:

LoadModule php5_module /usr/lib/apache2/modules/libphp5.6.so

编辑/etc/php/5.6/apache2/php.ini配置文件,看需要php什么扩展,就把前面的;后删除。

最后,重启apache使之生效!

UBUNTU 解决非正常关闭APT-GET的锁

在ubuntu的命令行窗口中使用apt-get命令安装程序, 命令未执行完的情况下关闭窗口或使用Ctrl+C来结束命令。 当我们再次使用apt-get命令安装程序的时候, 报错信息如下:

E: 无法获得锁 /var/lib/dpkg/lock - open (11: 资源暂时不可用)
E: 无法锁定管理目录(/var/lib/dpkg/),是否有其他进程正占用它?

我们执行如下命令, 删除锁定的文件

$ sudo rm -rf /var/cache/apt/archives/lock
$ sudo rm -rf /var/lib/dpkg/lock

此时, 我们再次执行命令apt-get install, 获得如下报错信息:

E: dpkg 被中断,您必须手工运行 sudo dpkg --configure -a 解决此问题。

我们执行脚本 sudo dpkg –configure -a, 获得新的报错信息:

debconf: DbDriver "config": /var/cache/debconf/config.dat is locked by another process: 资源暂时不可用

我们执行rm命令将该文件也删除:

$ sudo rm -rf /var/cache/debconf/config.dat

再次运行apt-get install命令, 一切恢复正常。

Apache 获取真实ip的配置的实现方法

Apache 获取真实ip的配置的实现方法

最近因为用了web应用防火墙产品(阿里云的),所以获取不到用户的真实ip。

经过多方搜集尝试,方案如下:

apache2.4提供了自带的remoteip模块可以实现获取真实ip。

我的环境是:ubunt16.04 Apache2.4.18

cd /etc/apache2.mods-available

新建配置文件

vim remoteip.conf

输入:

RemoteIPHeader X-Forwarded-For

RemoteIPProxiesHeader X-Forwarded-By

保存

启用:

a2enmod remoteip

重启apache即可生效。

详细分析apache httpd反向代理的用法

代理方式有两种:正向代理和反向代理。

正向代理是为客户端转发请求,各客户端将请求交给正向代理服务器,正向代理服务器再负责转发给服务端,响应时服务端先响应给正向代理服务器,正向代理服务器再转发给对应的客户端。也就是说,正向代理是为局域网内客户端做代理,它扮演的角色类似于NAT。

反向代理是为服务端转发请求,客户端将请求发送至反向代理服务器,反向代理服务器再将请求转发给真正的服务器以处理请求,响应时后端真正的服务器将处理结果发送给反向代理,再由反向代理构建响应并响应给客户端。

一、正向代理

httpd通过ProxyRequests指令配置正向代理的功能。例如:

ProxyRequests On
ProxyVia On

<Proxy "*">
  Require host internal.example.com
</Proxy>

其中< Proxy >容器表示的是只有internal.example.com下的主机可以通过该正向代理去访问任意URL的请求内容。ProxyVia指令表示在响应首部中添加一个Via字段。

二、反向代理

为了成为一个”基本的”web server,提供静态和动态内容给最终用户,httpd(以及其他大多数web server)可以扮演反向代理服务器的角色,也就是众所周知的”网关”服务器。

在这种场景下,Httpd自身不生成产出数据,而是从后端服务器中获取数据,这些后端服务器器一般不会和外界网络通信。当httpd从客户端接收到请求,请求被代理到后端服务器组中的其中一个服务器上,该后端服务器处理请求,生成内容并返回内容给httpd server,最后由httpd server生成实际的HTTP响应给客户端。

有无数应该使用反向代理的理由,最常见的是安全、高可用、负载均衡、集中授权/认证。反向代理的布置和架构中,后端服务器(真正处理请求的服务器)和外界完全绝缘并由此受到保护,对于外界客户端来说,当他们需要关心服务器对象是谁时,它们得到的结果总是反向代理服务器,而非后端服务器。

一个典型的实现如下:

未分类

2.1 简单的反向代理配置

ProxyPass指令用于映射请求到后端服务器。最简单的代理示例是对所有请求”/”都映射到一个后端服务器上:

ProxyPass "/"  "http://www.example.com/"
ProxyPassMatch "^/((?i).*.php)$" "fcgi://127.0.0.1:9000/var/www/a.com/$1"

为了地址重定向时也能正确使用反向代理,应该使用ProxyPassReverse指令。

ProxyPass "/"  "http://www.example.com/"
ProxyPassReverse "/"  "http://www.example.com/"

或者只为特定的URI进行代理,例如下面的配置,只有/images开头的路径才会代理转发,其他的所有请求都在本地处理。

ProxyPass "/images"  "http://www.example.com/"
ProxyPassReverse "/images"  "http://www.example.com/"

假如本地服务器地址为http://www1.example.com,当请求http://www1.example.com/images/a.gif时,将代理为http://www.example.com/a.gif。

2.2 负载均衡:后端成员

上面的配置中没有添加后端服务器节点,无法享受反向代理的优点。因此,有必要添加后端节点。添加的方法是使用< proxy >容器将后端节点定义成一个负载均衡组,各节点是该组中成员,然后代理目标指向组名即可。

例如:

<Proxy balancer://myset>
    BalancerMember http://www2.example.com:8080
    BalancerMember http://www3.example.com:8080
    ProxySet lbmethod=bytraffic
</Proxy>

ProxyPass "/images/"  "balancer://myset/"
ProxyPassReverse "/images/"  "balancer://myset/"

balancer://myset告诉httpd,它创建了一个负载均衡节点集合,名称为myset,此集合中有两个后端成员。在上面的配置中,任意/images的请求都会代理至2个成员中的一个。ProxySet指令指定myset均衡组使用的均衡算法为bytraffic,即基于I/O流量字节数权重的算法。ProxySet指令设置的是Proxy容器的公共属性。

httpd有3种复杂均衡算法:

  • byrequests:默认。基于请求数量计算权重。
  • bytraffic:基于I/O流量大小计算权重。
  • bybusyness:基于挂起的请求(排队暂未处理)数量计算权重。

对于上面的示例,还可以稍加修改,使其支持更多功能。例如添加权重比例,使得某后端节点被转发到的权重是另一节点的3倍,等待后端节点返回数据的超时时间为1秒。

<Proxy balancer://myset>
    BalancerMember http://www2.example.com:8080
    BalancerMember http://www3.example.com:8080 loadfactor=3 timeout=1
    ProxySet lbmethod=byrequests
</Proxy>

ProxyPass "/images"  "balancer://myset/"
ProxyPassReverse "/images"  "balancer://myset/"

2.3 故障转移

还可以再次调整实现故障转移,例如当所有负载节点都失败时,指定一个备份节点(standby node)。参考如下配置:

<Proxy balancer://myset>
    BalancerMember http://www2.example.com:8080
    BalancerMember http://www3.example.com:8080 loadfactor=3 timeout=1
    BalancerMember http://hstandby.example.com:8080 status=+H
    BalancerMember http://bkup1.example.com:8080 lbset=1
    BalancerMember http://bkup2.example.com:8080 lbset=1
    ProxySet lbmethod=byrequests
</Proxy>

ProxyPass "/images/"  "balancer://myset/"
ProxyPassReverse "/images/"  "balancer://myset/"

其中成员1、2、4、5是负载节点,成员3是备份节点。当所有负载节点都不健康时,将转发请求给备份节点,并由备份节点处理请求,httpd设置备份节点的方式很简单,只需将状态设置为”H”,表示hot-standby。还需注意的是负载节点4、5,它们额外的参数为lbset=1,不写时默认为0,这是负载均衡时的优先级设置,负载均衡时总是先转发给低数值的节点,也就是说或数值越小,优先级越高。所以上面的配置中,当节点1、2正常工作时,只在它们之间进行负载,此时节点4、5处于闲置状态。只有当节点1、2都失败时,才会在节点4、5之间进行负载。

2.4 提供负载状态显示页面

<Location "/bm">
    SetHandler balancer-manager
    Require host localhost
    Require ip 192.168.100
</Location>

然后在浏览器中输入http://server/bm即可,返回结果如图。

未分类

2.5 proxy相关指令

2.5.1 ProxyPass指令

该指令将远程服务器映射到本地主机上,但本地主机不是真实的服务器,而是远程主机的一个镜像。这个镜像通常称为反向代理服务器或网关。该指令不能用于< Directory >、< Files >容器中,且使用该指令时通常会关闭正向代理,即ProxyRequests=off。

语法:

ProxyPass [path] !|url [key=value [key=value ...]]

path参数为本地主机的URL路径,url参数为远程服务器的url一部分,不能包含查询参数。如果第一个参数path尾随了斜线,则url部分也必须尾随斜线,反之亦然。如果该指令封装在< Location >容器中,则第一个参数path可以省略,因为Location中已经指定了URL路径。如果第二个参数为”!”,则表示此path不使用反向代理功能。

例如:

<Location "/mirror/foo/">
    ProxyPass "http://backend.example.com/foo/"
</Location>

当访问http://server/mirror/foo/bar时,将转发到http://backend.example.com主机上,并请求该主机的/foo/bar文件。下面的配置指令与此等价。

ProxyPass "/mirror/foo/" "http://backend.example.com/foo/"

如果想让某个子目录不进行反向代理,而是在本地处理。可以设置第二个参数为”!”。例如,下面的配置中,/mirror/foo会被代理,但/mirror/foo/i则不会被代理。

ProxyPass "/mirror/foo/i" "!"
ProxyPass "/mirror/foo" "http://backend.example.com"

再需要说明的是连接池,httpd会为后端节点创建连接池,httpd会连接连接池中的各个节点。后端节点属性相同的共享一个连接池。后端节点的属性由key=value参数指定。以下是常见的一些属性设置,完整的属性见官方手册 (http://httpd.apache.org/docs/2.4/mod/mod_proxy.html#proxypass) 。

  • keepalive=Off|On:默认为Off。设置httpd和后端节点之间是否开启长连接,注意,这和web服务的长连接不一样,此处设置的是反向代理服务器和后端节点两者连接,当httpd将请求转发给连接池中的一个节点,并等待返回数据,当数据返回完成后,连接立即关闭,如果开启了长连接,连接暂时不关闭,只有等待均衡算法下次轮到该节点时才会再使用该连接。通常只有在httpd和后端节点间使用了防火墙时才设置为On。

  • lbset=N:默认为0。设置后端节点的优先级。数值N越低的,优先级越高。httpd总是会先尝试优先级高的,只有优先级高的节点不可用时,才一会尝试优先级低的。

  • ping=N:默认为0。设置健康状况检查时间间隔。该ping只能检查是否能ping同对方,也就是检测是否能与对方通信。更多的健康状况检查应该使用mod_proxy_hcheck模块。

  • retry=N:默认为60秒。当检测到后端某节点错误状态(error status)时,将在每N秒后才转发一次请求给该节点。设置为0表示正常转发请求,不用任何等待时间。该属性通常设置用来维护服务器下线然后再上线的情况。

  • status=VALUE:将节点手动置为何种状态。包括以下几种状态,各状态可使用”+”(默认)来赋予属性,使用”-“来取消属性。例如”+H”,”S-E”。

    • D: 该节点被禁用,不再接受任何请求。

    • S: 该节点处于管理维护的目的被停止。

    • I: 将该节点设置为无视错误(ignore-errors)模式,此模式下httpd将认为该节点可用,总会转发请求给该节点。

    • H: 该节点处于hot-standby模式,该节点只有在其他所有后端节点都失效时才启用。因此,该节点为备份节点。

    • E: 将该节点设置为错误状态(error-state)。

    • N: 将该节点设置为drain模式,该模式只接受已预定粘滞会话的请求sticky session,其他所有请求都会被忽略。

  • timeout=ProxyTimeout:设置httpd等待后端节点返回数据的超时时间。

如果使用了”balancer://”,例如前面的balancer://myset,将创建一个虚拟的连接池。虚拟连接池中的各节点可共享部分属性,也可以为每个节点设置上面所说的属性。共享属性使用ProxySet指令设置,常见的包括下面几种:

  • lbmethod=METHOD:设置负载均衡算法。有三种:byrequests(默认)按照请求数量计算均衡节点;bytraffic按照io流量计算均衡节点;bybusyness按照繁忙程度计算计算均衡节点。

  • nofailover=On|Off:默认为off。session不可用时是否转移到其他具有相同session的节点上。如果后端节点不支持session复制,应将此项设置为on。

  • stickysession:设置session粘滞的名称,如JSESSIONID、PHPSESSIONID。

例如:

<Proxy balancer://myset>
    BalancerMember http://www2.example.com:8080
    BalancerMember http://www3.example.com:8080 loadfactor=3 timeout=1
    BalancerMember http://hstandby.example.com:8080 status=+H
    BalancerMember http://bkup1.example.com:8080 lbset=1
    BalancerMember http://bkup2.example.com:8080 lbset=1
    ProxySet lbmethod=byrequests
</Proxy>

ProxyRequests off
ProxyPass "/images/"  "balancer://myset/"
ProxyPassReverse "/images/"  "balancer://myset/"

2.5.2 ProxyPassMatch指令

正则匹配模式的ProxyPass。例如:

ProxyPassMatch "^/(.*.gif)$" "http://backend.example.com/$1"
ProxyPassMatch "^/((?i).*.php)$" "fcgi://127.0.0.1:9000/var/www/a.com/$1"

唯一需要注意的是,在正则匹配之前,远程url参数必须是能够解析的URL地址。例如下面两条指令,第一条指令将失败,因为在正则解析前,url参数无法解析为正确的URL地址,这是一个bug,可以通过修改正则表达式的分组部分将”/”分离出去,正如下面的第二个指令。

ProxyPassMatch "^(/.*.gif)$" "http://backend.example.com:8000$1"
ProxyPassMatch "^/(.*.gif)$" "http://backend.example.com:8000/$1"

2.5.3 ProxySet指令

设置Proxy后端节点的属性。通常用来设置共享属性,但也可以设置某一个节点的属性。

例如:

<Proxy "balancer://hotcluster">
    BalancerMember "http://www2.example.com:8080" loadfactor=1
    BalancerMember "http://www3.example.com:8080" loadfactor=2
    ProxySet lbmethod=bytraffic
</Proxy>
<Proxy "http://backend">
    ProxySet keepalive=On
</Proxy>
ProxySet "balancer://foo" lbmethod=bytraffic timeout=15

2.5.4 < Proxy >容器

< Proxy >容器用于封装一组proxy相关指令,这些指令主要用于设置访问权限、负载均衡成员组以及它们的属性。

例如,下面的设置了只有yournetwork.example.com下的主机才能通过该(正向或反向代理)服务器访问任意请求的内容(使用了*进行通配)。

<Proxy "*">
  Require host yournetwork.example.com
</Proxy>
<Proxy "balancer://hotcluster">
    BalancerMember "http://www2.example.com:8080" loadfactor=1
    BalancerMember "http://www3.example.com:8080" loadfactor=2
    ProxySet lbmethod=bytraffic
</Proxy>

2.5.5 ProxyStatus指令

ProxyStatus {on|off|full}决定是否开启server-status中关于proxy的状态信息,默认为off,full是on的同义词。

例如:

ProxyStatus on
<Location "/server-status">
        SetHandler server-status
        Require all granted
</Location>

以下是关于proxy相关的状态示例:

     ----------------------------------------------------------------------

                 Proxy LoadBalancer Status for balancer://myset

   SSes Timeout Method     
   -    0       byrequests 

   Sch  Host           Stat         Route Redir F Set Acc Wr Rd 
   http 192.168.100.14 Init Ok                  1 0   0   0  0  
   http 192.168.100.15 Init Ok                  3 0   0   0  0  
   http 192.168.100.54 Init Stby Ok             1 0   0   0  0  
   http 192.168.100.16 Init Ok                  1 1   0   0  0  
   http 192.168.100.21 Init Ok                  3 1   0   0  0  

     ----------------------------------------------------------------------

   SSes    Sticky session name         
   Timeout Balancer Timeout            
   Sch     Connection scheme           
   Host    Backend Hostname            
   Stat    Worker status               
   Route   Session Route               
   Redir   Session Route Redirection   
   F       Load Balancer Factor        
   Acc     Number of uses              
   Wr      Number of bytes transferred 
   Rd      Number of bytes read

2.5.6 ProxyVia指令

是否在响应首部中添加”Via:”字段。可以设置为On/Off等。例如如设置为On时:

[root@xuexi ~]# curl -I http://192.168.100.17/index.html
HTTP/1.1 200 OK
Date: Sun, 01 Oct 2017 18:10:17 GMT
Server: Apache/2.4.27 (Unix)
Last-Modified: Sun, 01 Oct 2017 14:10:48 GMT
ETag: "29-55a7cd31f2329"
Accept-Ranges: bytes
Content-Length: 41
Content-Type: text/html; charset=UTF-8
Via: 1.1 customer.sharktech.net

2.6 ProxyPass指令的排序和共享问题

ProxyPass指令有个需要注意的问题,在匹配生效时,最先被匹配到的指令立即生效,后面的都将失效。但如果ProxyPass指令放在< Location >容器中时,由于容器中只能放置一个ProxyPass指令(因为path参数一样),此时匹配越精确的越优先。

例如下面的指令,如果将两个ProxyPass指令位置调换,则/mirror/foo/i也仍会被代理。

ProxyPass "/mirror/foo/i" "!"
ProxyPass "/mirror/foo" "http://backend.example.com"

可以将它们分别定义到< Location >容器中,这样就无需考虑位置顺序,而是考虑匹配的精确程度,因为Location容器自身有加载顺序优先级。例如,下面的配置是可行的。

<Location "/mirror/foo/">
    ProxyPass "http://backend.example.com/"
</Location>
<Location "/mirror/foo/i">
    ProxyPass "!"
</Location>

还需考虑一个共享的问题。下面两个指令中的url参数各有长短,且第一个url是第二个url的子串。这时第二个ProxyPass的属性部分总是会使用第一个指令的属性。因此/examples/bar的请求被转发到backend.example.com/examples/bar时,它的属性timeout=60而非10。这样的属性共享可以减少创建连接池,相对来说更有效一些。

ProxyPass "/apps" "http://backend.example.com/" timeout=60
ProxyPass "/examples" "http://backend.example.com/examples" timeout=10

三、健康状况检查模块

ProxyPass指令自带了ping属性,可用于简单判断后端节点是否健康,只要Ping能通信就认为是健康的。但显然,对于Http服务来说,健康的指标并不能简单地通过它来判断。例如,检测某个页面是否正常、是否允许某方法等。因此,httpd提供了一个专门的健康状况检查模块mod_proxy_hcheck用于个性化订制检查指标。

检查指标也即检查方法有以下几种,由hcmethod指定:

  • TCP:检查是否能与后端节点建立TCP套接字,这就是问对方”你还活着吗”。

  • OPTIONS:发送一个HTTP OPTIONS请求给后端节点。

  • HEAD:发送一个HTTP HEAD请求给后端节点。

  • GET:发送一个HTTP GET请求给后端节点。

该健康状况检查模块认为,只要HTTP方法的检查指标返回2xx或3xx状态码都认为是健康的。

指定了检查方法后,还需订制检查的细节,例如检查的时间间隔。包括以下几项:

  • hcinterval:默认为30秒。发送检查的时间间隔,单位为秒。

  • hcuri:健康检查时,追加在URL后的URI。通常用于GET检查方法。

  • hcpasses:默认为1。表示只有检查了N次后都是通过的,才认为该节点是健康的可再次启用。

  • hcfails:默认为1。表示只有检查了N次后都是失败的,才认为该节点已经不健康,于是禁止使用该节点。

例如,以下是几个健康检查的配置示例:

<Proxy balancer://foo>
  BalancerMember http://www.example.com/  hcmethod=GET hcuri=/status.php
  BalancerMember http://www1.example.com/ hcmethod=TCP hcinterval=5 hcpasses=2 hcfails=3
  BalancerMember http://www2.example.com/
</Proxy>

ProxyPass "/" "balancer://foo"
ProxyPassReverse "/" "balancer://foo"

使用Jenkins进行持续构建与发布应用到Kubernetes集群中

我们基于Jenkins的CI/CD流程如下所示。

未分类

流程说明

应用构建和发布流程说明。

  1. 用户向Gitlab提交代码,代码中必须包含Dockerfile;

  2. 将代码提交到远程仓库;

  3. 用户在发布应用时需要填写git仓库地址和分支、服务类型、服务名称、资源数量、实例个数等,确定后触发Jenkins自动构建;

  4. Jenkins的CI流水线自动编译代码并打包成docker镜像推送到Harbor镜像仓库;

  5. Jenkins的CI流水线中包括了自定义脚本,根据我们已准备好的kubernetes的YAML模板,将其中的变量替换成用户输入的选项;

  6. 生成应用的kubernetes YAML配置文件;

  7. 更新Ingress的配置,根据新部署的应用的名称,在ingress的配置文件中增加一条路由信息

  8. 更新PowerDNS,向其中插入一条DNS记录,IP地址是边缘节点的IP地址。关于边缘节点,请查看kubernetes-handbook中的【最佳实践——边缘节点配置】章节;

  9. Jenkins调用kubernetes的API,部署应用到kubernetes集群中。