nginx – 第35页 – Linux系统运维日志

openresty(nginx lua)统计域名状态码、平均响应时间和流量

背景

之前我们统计域名状态码、平均响应时间和流量的方法是：在每台机器添加一个定时脚本，来获取每个域名最近一分钟的访问日志到临时文件。然后zabbix再对这个一分钟日志临时文件作相关统计。一直运行良好，最近发现某台服务器突然负载增高。使用iotop查看发现获取最近一分钟日志的脚本占用的IO特别高。停止这个定时任务之后恢复正常。于是就打算使用nginx lua来替换目前的方法。新的方法具有统计时占用资源少，实时的特点。

方法介绍

使用nginx lua统计网站相关数据的方法为（我们以统计devops.webres.wang 404状态码为例）：
记录过程：

1、定义了一个共享词典access，获取当前时间戳，获取当前域名，如devops.webres.wang;
2、我们定义用来存储状态码的词典key为，devops.webres.wang-404-当前时间戳;
3、自增1 key(devops.webres.wang-404-当前时间戳)的值;
4、循环2,3步。

查询过程：
提供一个接口，来累加key为devops.webres.wang-404-(前60秒时间戳-当前时间戳)的值，返回结果。

方法实现

nginx.conf设置

http {
[…]
lua_shared_dict access 10m;
log_by_lua_file conf/log_acesss.lua;
server {
[…]
location /domain_status {
default_type text/plain;
content_by_lua_file "conf/domain_status.lua";
}
[…]
}
[…]
}

log_access.lua

local access = ngx.shared.access
local host = ngx.var.host
local status = ngx.var.status
local body_bytes_sent = ngx.var.body_bytes_sent
local request_time = ngx.var.request_time
local timestamp = os.date("%s")
local expire_time = 70
local status_key = table.concat({host,"-",status,"-",timestamp})
local flow_key = table.concat({host,"-flow-",timestamp})
local req_time_key = table.concat({host,"-reqt-",timestamp})
local total_req_key = table.concat({host,"-total_req-",timestamp})
— count total req
local total_req_sum = access:get(total_req_key) or 0
total_req_sum = total_req_sum + 1
access:set(total_req_key, total_req_sum, expire_time)
— count status
local status_sum = access:get(status_key) or 0
status_sum = status_sum + 1
access:set(status_key, status_sum, expire_time)
— count flow
local flow_sum = access:get(flow_key) or 0
flow_sum = flow_sum + body_bytes_sent
access:set(flow_key, flow_sum, expire_time)
— count request time
local req_sum = access:get(req_time_key) or 0
req_sum = req_sum + request_time
access:set(req_time_key, req_sum, expire_time)

domain_status.lua

local access = ngx.shared.access
local args = ngx.req.get_uri_args()
local count = args["count"]
local host = args["host"]
local status = args["status"]
local one_minute_ago = tonumber(os.date("%s")) – 60
local now = tonumber(os.date("%s"))
local status_total = 0
local flow_total = 0
local reqt_total = 0
local req_total = 0
if not host then
ngx.print("host arg not found.")
ngx.exit(ngx.HTTP_OK)
end
if count == "status" and not status then
ngx.print("status arg not found.")
ngx.exit(ngx.HTTP_OK)
end
if not (count == "status" or count == "flow" or count == "reqt") then
ngx.print("count arg invalid.")
ngx.exit(ngx.HTTP_OK)
end
for second_num=one_minute_ago,now do
local flow_key = table.concat({host,"-flow-",second_num})
local req_time_key = table.concat({host,"-reqt-",second_num})
local total_req_key = table.concat({host,"-total_req-",second_num})
if count == "status" then
local status_key = table.concat({host,"-",status,"-",second_num})
local status_sum = access:get(status_key) or 0
status_total = status_total + status_sum
elseif count == "flow" then
local flow_sum = access:get(flow_key) or 0
flow_total = flow_total + flow_sum
elseif count == "reqt" then
local req_sum = access:get(total_req_key) or 0
local req_time_sum = access:get(req_time_key) or 0
reqt_total = reqt_total + req_time_sum
req_total = req_total + req_sum
end
end
if count == "status" then
ngx.print(status_total)
elseif count == "flow" then
ngx.print(flow_total)
elseif count == "reqt" then
if req_total == 0 then
reqt_avg = 0
else
reqt_avg = reqt_total/req_total
end
ngx.print(reqt_avg)
end

使用说明

1、获取域名状态码
如请求devops.webres.wang一分钟内404状态码数量
请求接口http://$host/domain_status?count=status&host=devops.webres.wang&status=404
2、获取域名流量
请求接口http://$host/domain_status?count=flow&host=devops.webres.wang
3、获取域名一分钟内平均响应时间
请求接口http://$host/domain_status?count=reqt&host=devops.webres.wang

Nginx写IO占用高故障处理

故障现象

突然收到一台服务器负载过高告警,紧接着网站打开缓慢。

故障分析

1、登录服务器，使用top命令看到Cpu行的iowait达到了70%以上，所以断定是IO负载过高的原因;
2、接着使用iotop -o命令发现,Nginx的写IO特别大，并且在上一步的top命令看到Nginx的进程状态为D，表示Nginx在等待IO已经为僵死状态;
3、这时候是清楚知道是Nginx在对文件系统进行大量的写操作导致的系统负载过高了，但还是不能知道具体Nginx在写什么文件导致的负载压力,所以我们还需要继续追查下去;
4、我们找到其中一个nginx worker进程的pid，使用lsof -p pid列出来的文件发现除了一些系统库文件及日志文件，还有相当多的fastcgi_temp/xxx文件,有可能与这些文件有关联;
5、再次使用strace -p pid追踪,发现nginx进程对某个fd进行大量的写操作，与lsof命令列出来的文件刚好符合;
6、使用iostat 1输出的大量写io的分区也与fastcgi_temp所在分区相符合;
7、猜测可能是外部正在上传大量的大文件给php-fpm，于是通过EZHTTP的小工具来查看实时流量,发现入站流量其实不大。

分析结果

根据以上的故障分析，非常有可能是本机的某些程序通过http上传大量大文件。因为对程序逻辑不熟悉，也只是猜测。为了尽快恢复服务，决定实施以下解决方案。

解决方案

既然清楚知道了fastcgi_temp io压力大，目前也无法短时间从根本上解决问题，所以决定把fastcgi_temp指向/dev/shm,也就是映射到了内存,重启nginx之后服务恢复了正常。最终原因还需要开发配合解决。

Zabbix监控Memcached PHP-FPM Tomcat Nginx MySQL 网站日志

Zabbix作为监控软件非常的灵活，支持的数据类型非常丰富，比如数字(无正负),数字(浮点),日志，文字等。我们需要做的就是使用脚本来收集好数据，然后zabbix收集并画图，设置告警线。这里我们来学习使用Zabbix监控Memcached、PHP-FPM、Tomcat、Nginx、MySQL及网站日志。

Memcached监控

自定义键值

UserParameter=memcached.stat[*],/data/sh/memcached-status.sh "$1"

memcached-status.sh脚本内容为：

#!/bin/bash
item=$1
ip=127.0.0.1
port=11211
(echo "stats";sleep 0.5) | telnet $ip $port 2>/dev/null | grep "STAT $itemb" | awk ‘{print $3}’

导入模板

memcached zabbix模板下载

PHP-FPM监控

配置php-fpm状态页

打开php-fpm.conf配置文件，添加如下配置后重启php：

pm.status_path = /fpm_status

自定义键值

UserParameter=php-fpm[*],/data/sh/php-fpm-status.sh "$1"

php-fpm-status.sh脚本内容：

#!/bin/bash
##################################
# Zabbix monitoring script
#
# php-fpm:
# – anything available via FPM status page
#
##################################
# Contact:
# [email protected]
##################################
# ChangeLog:
# 20100922 VV initial creation
##################################
# Zabbix requested parameter
ZBX_REQ_DATA="$1"
# FPM defaults
URL="http://localhost/fpm_status"
WGET_BIN="/usr/bin/wget"
#
# Error handling:
# – need to be displayable in Zabbix (avoid NOT_SUPPORTED)
# – items need to be of type "float" (allow negative + float)
#
ERROR_NO_ACCESS_FILE="-0.9900"
ERROR_NO_ACCESS="-0.9901"
ERROR_WRONG_PARAM="-0.9902"
ERROR_DATA="-0.9903" # either can not connect / bad host / bad port
# save the FPM stats in a variable for future parsing
FPM_STATS=$($WGET_BIN -q $URL -O – 2> /dev/null)
# error during retrieve
if [ $? -ne 0 -o -z "$FPM_STATS" ]; then
echo $ERROR_DATA
exit 1
fi
#
# Extract data from FPM stats
#
RESULT=$(echo "$FPM_STATS" | sed -n -r "s/^$ZBX_REQ_DATA: +([0-9]+)/1/p")
if [ $? -ne 0 -o -z "$RESULT" ]; then
echo $ERROR_WRONG_PARAM
exit 1
fi
echo $RESULT
exit 0

导入模板

php-fpm zabbix模板下载

Tomcat监控

刚开始决定监控Tomcat时，使用的是JMX，不过这货设置太复杂了，而且对防火墙要求还挺高，需要开放几个端口。只好使用Tomcat自带的状态页来监控了。

自定义键值

UserParameter=tomcat.status[*],/data/sh/tomcat-status.py $1

因为需要解析到xml，所以还是决定用python实现比较方便。
/data/sh/tomcat-status.py脚本内容：

#!/usr/bin/python
import urllib2
import xml.dom.minidom
import sys
url = ‘http://127.0.0.1:8080/manager/status?XML=true’
username = ‘username’
password = ‘password’
passman = urllib2.HTTPPasswordMgrWithDefaultRealm()
passman.add_password(None, url, username, password)
authhandler = urllib2.HTTPBasicAuthHandler(passman)
opener = urllib2.build_opener(authhandler)
urllib2.install_opener(opener)
pagehandle = urllib2.urlopen(url)
xmlData = pagehandle.read()
doc = xml.dom.minidom.parseString(xmlData)
item = sys.argv[1]
if item == "memory.free":
print doc.getElementsByTagName("memory")[0].getAttribute("free")
elif item == "memory.total":
print doc.getElementsByTagName("memory")[0].getAttribute("total")
elif item == "memory.max":
print doc.getElementsByTagName("memory")[0].getAttribute("max")
elif item == "threadInfo.maxThreads":
print doc.getElementsByTagName("threadInfo")[0].getAttribute("maxThreads")
elif item == "threadInfo.currentThreadCount":
print doc.getElementsByTagName("threadInfo")[0].getAttribute("currentThreadCount")
elif item == "threadInfo.currentThreadsBusy":
print doc.getElementsByTagName("threadInfo")[0].getAttribute("currentThreadsBusy")
elif item == "requestInfo.maxTime":
print doc.getElementsByTagName("requestInfo")[0].getAttribute("maxTime")
elif item == "requestInfo.processingTime":
print doc.getElementsByTagName("requestInfo")[0].getAttribute("processingTime")
elif item == "requestInfo.requestCount":
print doc.getElementsByTagName("requestInfo")[0].getAttribute("requestCount")
elif item == "requestInfo.errorCount":
print doc.getElementsByTagName("requestInfo")[0].getAttribute("errorCount")
elif item == "requestInfo.bytesReceived":
print doc.getElementsByTagName("requestInfo")[0].getAttribute("bytesReceived")
elif item == "requestInfo.bytesSent":
print doc.getElementsByTagName("requestInfo")[0].getAttribute("bytesSent")
else:
print "unsupport item."

这个脚本是监控Tomcat7的，Tomcat6没有试过，应该区别在状态页的url以及管理页面的用户密码设置上。以上脚本可运行需要在tomcat-users.xml里添加用户，至少权限为manager-status。

导入模板

tomcat zabbix模板下载

Nginx监控

配置Nginx状态页

在nginx配置文件server{}中加入：

location /nginx_status {
stub_status on;
access_log off;
}

自定义键值

UserParameter=nginx[*],/data/sh/nginx-status.sh "$1"

nginx-status.sh脚本内容：

#!/bin/bash
##################################
# Zabbix monitoring script
#
# nginx:
# – anything available via nginx stub-status module
#
##################################
# Contact:
# [email protected]
##################################
# ChangeLog:
# 20100922 VV initial creation
##################################
# Zabbix requested parameter
ZBX_REQ_DATA="$1"
ZBX_REQ_DATA_URL="$2"
# Nginx defaults
URL="http://127.0.0.1/nginx_status"
WGET_BIN="/usr/bin/wget"
#
# Error handling:
# – need to be displayable in Zabbix (avoid NOT_SUPPORTED)
# – items need to be of type "float" (allow negative + float)
#
ERROR_NO_ACCESS_FILE="-0.9900"
ERROR_NO_ACCESS="-0.9901"
ERROR_WRONG_PARAM="-0.9902"
ERROR_DATA="-0.9903" # either can not connect / bad host / bad port
# save the nginx stats in a variable for future parsing
NGINX_STATS=$($WGET_BIN -q $URL -O – 2> /dev/null)
# error during retrieve
if [ $? -ne 0 -o -z "$NGINX_STATS" ]; then
echo $ERROR_DATA
exit 1
fi
#
# Extract data from nginx stats
#
case $ZBX_REQ_DATA in
active_connections) echo "$NGINX_STATS" | head -1 | cut -f3 -d’ ‘;;
accepted_connections) echo "$NGINX_STATS" | grep -Ev ‘[a-zA-Z]’ | cut -f2 -d’ ‘;;
handled_connections) echo "$NGINX_STATS" | grep -Ev ‘[a-zA-Z]’ | cut -f3 -d’ ‘;;
handled_requests) echo "$NGINX_STATS" | grep -Ev ‘[a-zA-Z]’ | cut -f4 -d’ ‘;;
reading) echo "$NGINX_STATS" | tail -1 | cut -f2 -d’ ‘;;
writing) echo "$NGINX_STATS" | tail -1 | cut -f4 -d’ ‘;;
waiting) echo "$NGINX_STATS" | tail -1 | cut -f6 -d’ ‘;;
*) echo $ERROR_WRONG_PARAM; exit 1;;
esac
exit 0

导入模板

nginx zabbix模板下载

MySQL监控

MySQL的监控，zabbix是默认支持的，已经有现成的模板，现成的键值，我们需要做的只是在/var/lib/zabbix里新建一个.my.cnf文件，内容如下：

[client]
host=127.0.0.1
port=1036
user=root
password=root

网站日志监控

配置日志格式

我们假设你用的web服务器是Nginx，我们添加一个日志格式，如下：

log_format withHost ‘$remote_addrt$remote_usert$time_localt$hostt$requestt’
‘$statust$body_bytes_sentt$http_referert’
‘$http_user_agent’;

我们使用tab作分隔符，为了方便awk识别列的内容，以防出错。
然后再设置全局的日志，其它server就不需要设置日志了：

access_log /data/home/logs/nginx/$host.log withHost;

定时获取一分钟日志

设置一个定时任务：

* * * * * /data/sh/get_nginx_access.sh

脚本内容为：

#!/bin/bash
logDir=/data/home/logs/nginx/
logNames=`ls ${logDir}/*.*.log |awk -F"/" ‘{print $NF}’`
for $logName in $logNames;
do
#设置变量
split_log="/tmp/split_$logName"
access_log="${logDir}/$logName"
status_log="/tmp/$logName"
#取出最近一分钟日志
tac $access_log | awk ‘
BEGIN{
FS="t"
OFS="t"
cmd="date -d "1 minute ago" +%H%M%S"
cmd|getline oneMinuteAgo
}
{
$3 = substr($3,13,8)
gsub(":","",$3)
if ($3>=oneMinuteAgo){
print
} else {
exit;
}
}’ > $split_log
#统计状态码个数
awk -F’t’ ‘{
status[$4" "$6]++
}
END{
for (i in status)
{
print i,status[i]
}
}
‘ $split_log > $status_log
done

这个定时任务是每分钟执行，因为我们监控的频率是每分钟。添加这个任务是为了取得最近一分钟各域名的日志，以及统计各域名的所有状态码个数，方便zabbix来获取所需的数据。

自定义键值

UserParameter=nginx.detect,/data/sh/nginx-detect.sh
UserParameter=nginx.access[*],awk -v sum=0 -v domain=$1 -v code=$2 ‘{if($$1 == domain && $$2 == code ){sum+=$$3} }END{print sum}’ /tmp/$1.log
UserParameter=nginx.log[*],awk -F’t’ -v domain=$1 -v code=$2 -v number=$3 -v sum=0 -v line="" ‘{if ($$4 == domain && $$6 == code ){sum++;line=line$$5"n" }}END{if (sum > number) print line}’ /tmp/split_$1.log | sort | uniq -c | sort -nr | head -10 | sed -e ‘s/^/<p>/’ -e ‘s/$/</p>/’

nginx-detect.sh脚本内容为：

#!/bin/bash
function json_head {
printf "{"
printf ""data":["
}
function json_end {
printf "]"
printf "}"
}
function check_first_element {
if [[ $FIRST_ELEMENT -ne 1 ]]; then
printf ","
fi
FIRST_ELEMENT=0
}
FIRST_ELEMENT=1
json_head
logNames=`ls /data/home/logs/nginx/*.*.log |awk -F"/" ‘{print $NF}’`
for logName in $logNames;
do
while read domain code count;do
check_first_element
printf "{"
printf ""{#DOMAIN}":"$domain","{#CODE}":"$code""
printf "}"
done < /tmp/$logName
done
json_end

这里我们定义了三个键值，nginx.detect是为了发现所有域名及其所有状态码，nginx.access[*]是为了统计指定域名的状态码的数量，nginx.log[*]是为了测试指定域名的状态码超过指定值时输出排在前十的url。我们监控nginx访问日志用到了zabbix的自动发现功能，当我们增加域名时，不需要修改脚本，zabbix会帮助我们自动发现新增的域名并作监控。

配置探索规则

添加一个探索规则，用来发现域名及状态码，如图：

配置监控项原型

监控所有的域名及状态码：

域名状态码404超过200次监控：

域名状态码500超过50次监控：

配置触发器

404状态码超过200告警：

500状态码超过50告警:

nginx反向代理缓存配置

这里给出示例，并详解。

http {
[…]
[…]
proxy_cache_path /data/nginx/cache/one levels=1:2 keys_zone=one:10m max_size=10g;
proxy_cache_key "$host$request_uri";
server {
server_name devops.webres.wang webres.wang;
root /home/devops.webres.wang/web;
index index.php index.html index.htm;
location / {
proxy_pass http://127.0.0.1:8080;
proxy_set_header Host "devops.webres.wang";
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
#开启反向代理缓存，并使用zone name为one的缓存。
proxy_cache one;
#设置状态码为200 302过期时间为10分钟
proxy_cache_valid 200 302 10m;
#设置状态码404的过期时间为1分钟
proxy_cache_valid 404 1m;
}
#清除缓存
location ~ /purge(/.*) {
#允许的IP
allow 127.0.0.1;
deny all;
proxy_cache_purge one $host$1$is_args$args;
}
}
}

反向代理的缓存主要涉及以下几个命令：
proxy_cache_path proxy_cache_key proxy_cache proxy_cache_valid。

proxy_cache_path
这个是设置缓存的目录，语法如下：
proxy_cache_path path [ levels = levels ] keys_zone = name : size [ inactive = time ] [ max_size = size ] [ loader_files = number ] [ loader_sleep = time ] [ loader_threshold = time ]
可放置的上下文：
http
参数解释：
[ levels = levels ]：
设置缓存目录层数，如levels=1:2，表示创建两层目录缓存，最多创建三层。第一层目录名取proxy_cache_key md5的最后一个字符，第二层目录名取倒数2-3字符，如：
proxy_cache_key md5为b7f54b2df7773722d382f4809d65029c，则：
levels=1:2为/data/nginx/cache/c/29/b7f54b2df7773722d382f4809d65029c
levels=1:2:3为/data/nginx/cache/c/29/650/b7f54b2df7773722d382f4809d65029c

keys_zone = name : size：
定义缓存区域名称及大小，缓存名称用于proxy_cache指令设置缓存放置在哪，如proxy_cache one，则把缓存放在zone名称为one的缓存区，即proxy_cache_path指定的具体位置。

proxy_cache_key
这个指令是设置以什么参数md5得到缓存的文件名，默认为$scheme$proxy_host$request_uri，即以协议、主机名、请求uri(包含参数)作md5得出缓存的文件名。
proxy_cache_key与下面的清缓存功能(purge cache)有很大关系。
可放置在上下文,http server location

proxy_cache
反向代理缓存设置指令，语法proxy_cache zone | off,默认为off。上下文：http server location。
可以放到指定location，这样匹配此location的url才被缓存。

proxy_cache_valid
设置指定状态码的缓存时间，语法proxy_cache_valid [ code …] time。

另外，清缓存需要安装插件ngx_cache_purge,安装方法如下：

cd /tmp
wget http://labs.frickle.com/files/ngx_cache_purge-2.1.tar.gz
tar xzf ngx_cache_purge-2.1.tar.gz
cd /tmp
wget http://nginx.org/download/nginx-1.4.2.tar.gz
tar xzf nginx-1.4.2.tar.gz
cd nginx-1.4.2
./configure –prefix=/usr/local/nginx –add-module=/tmp/ngx_cache_purge-2.1
make && make install

参考：
http://wiki.nginx.org/HttpProxyModule
http://labs.frickle.com/nginx_ngx_cache_purge/

joomla1.5 nginx url重写规则

if ( !-e $request_filename ) {
rewrite (/|.php|.html|.htm|.feed|.pdf|.raw|/[^.]*)$ /index.php last;
break;
}
#bellow are anti-attack joomla setting
if ( $args ~ "mosConfig_[a-zA-Z_]{1,21}(=|%3d)" ) {
set $args "";
rewrite ^.*$ http://$host/index.php last;
return 403;
}
if ( $args ~ "base64_encode.*(.*)" ) {
set $args "";
rewrite ^.*$ http://$host/index.php last;
return 403;
}
if ( $args ~ "(<|%3C).*script.*(>|%3E)" ) {
set $args "";
rewrite ^.*$ http://$host/index.php last;
return 403;
}
if ( $args ~ "GLOBALS(=|[|%[0-9A-Z]{0,2})" ) {
set $args "";
rewrite ^.*$ http://$host/index.php last;
return 403;
}
if ( $args ~ "_REQUEST(=|[|%[0-9A-Z]{0,2})" ) {
set $args "";
rewrite ^.*$ http://$host/index.php last;
return 403;
}