如何在Centos 7上用Logrotate管理日志文件

何为Logrotate?

Logrotate是一个实用的日志管理工具,旨在简化对系统上生成大量的日志文件进行管理。 Logrotate允许自动旋转压缩,删除和邮寄日志文件,从而节省宝贵的磁盘空间。 Logrotate可以设置为每天、每周、每月或当日志文件达到一定的大小时处理日志文件。还可以完全控制日志的自动化管理方式,而不需要人工干预。Logrotate支持Linux系统上的所有日志文件,包括但不限于Apache、Nginx、Tomcat、ELK、zabbix等应用。

1. 安装logrotate

系统默认已经安装,某些Linux发行版可能并未安装,那么请执行以下命令安装:

Centos:

$ yum install logrotate -y

Ubuntu:

$ apt-get install logrotate -y

通过yum默认安装的文件存储位置说明

/etc/cron.daily            # logrotate脚本文件存放位置
/etc/logrotate.conf        # 主配置文件
/usr/sbin/logrotate        # 二进制程序文件
/etc/logrotate.d/          # 特定服务日志存储目录(自己设定的配置文件)
/var/lib/logrotate.status  # 状态文件

2. 查看logrotate主文件默认配置情况

$ cat /etc/logrotate.conf

# see "man logrotate" for details
# rotate log files weekly
weekly                  # 每周转存一次

# keep 4 weeks worth of backlogs
rotate 4                    # 保留四个日志备份文件

# create new (empty) log files after rotating old ones
create                      # rotate后,创建一个新的空文件

# use date as a suffix of the rotated file
dateext                     # 轮转的文件名字带有日期信息

# uncomment this if you want your log files compressed
#compress

# RPM packages drop log rotation information into this directory
include /etc/logrotate.d    # 此目录下的配置文件优先生效

# no packages own wtmp and btmp -- we'll rotate them here
/var/log/wtmp {             # 指定/var/log/wtmp日志文件;
    monthly                 # 每月轮转一次,优先于全局设定的每周轮转一次;
    minsize 1M              # 日志文件大于1M才会去轮转;
    create 0664 root utmp   # 新日志文件的权限,属主,属组;
    rotate 1                # 保留一个日志备份,优先于全局设置的四个;
}
/var/log/btmp {             # 指定/var/log/btmp日志文件;
    missingok               # 如果日志丢失,不报错;
    monthly
    create 0600 root utmp
    rotate 1
}

# system-specific logs may be also be configured here.
# 系统特定的日志也可以在主文件中配置。

3. logrotate日志切割

在定义日志文件时可以使用通配符,但不建议使用,因为它会包括已切换过的日志,如必须使用,请在号后加上已知的文件扩展名, 例如:.log。

Nginx日志:

在/etc/logrotate.d/目录下创建Nginx服务日志配置文件

$ vim /etc/logrotate.d/nginx

/usr/local/nginx/logs/*.log {
create 644 www root
daily
dateext
rotate 3
minsize 10K
copytruncate
nocompress
missingok
notifempty
noolddir
postrotate
/bin/kill -USR1 `cat /usr/local/nginx/logs/nginx.pid`
endscript
}

php日志:

/usr/local/php/var/log/*.log {
missingok
notifempty
sharedscripts
delaycompress
create 0664 www www
postrotate
/bin/kill -SIGUSR1 `cat /usr/local/php/var/run/php-fpm.pid 2>/dev/null` 2>/dev/null || true
endscript
}

注:你也可以手动生成一个20M内容的日志文件进行测试,例如:

$ head -c 20M < /dev/urandom > /var/log/renwole-log

配置完成后,可以通过如下命令来手动执行查看效果:

$ logrotate -f /etc/logrotate.d/nginx

另外还可以使用如下命令查看logrotate运行状态:

$ cat /var/lib/logrotate/logrotate.status

由于Logrotate是基于cron定时运行的,所以logrotate脚本默认在 /etc/cron.daily/ 目录下,文件名是logrotate。你可以设置 /etc/anacrontab 来控制Logrotate何时运行。

4. 查看anacrontab默认配置

$ cat /etc/anacrontab

# /etc/anacrontab: configuration file for anacron

# See anacron(8) and anacrontab(5) for details.

SHELL=/bin/sh
PATH=/sbin:/bin:/usr/sbin:/usr/bin
MAILTO=root
# the maximal random delay added to the base delay of the jobs
RANDOM_DELAY=45
# the jobs will be started during the following hours only
START_HOURS_RANGE=3-22

#period in days   delay in minutes   job-identifier   command
1       5       cron.daily              nice run-parts /etc/cron.daily
7       25      cron.weekly             nice run-parts /etc/cron.weekly
@monthly 45     cron.monthly            nice run-parts /etc/cron.monthly

5. 关于logrotate常用配置参数注解

daily,weekly,monthly  # 转储周期分别是每天/每周/每月;
minsize 15M           # 日志体积大于此值时轮换(例如:100K,4M);
dateext               # 轮询的文件名字带有日期信息;
missingok             # 如果日志文件丢失,不要显示错误;
rotate 5              # 轮转存储中包含多少备份日志文件,0为无备份,以数字为准;
compress              # 通过gzip压缩转储以后的日志,以*.gz结尾;
nocompress            # 不需要压缩时,用这个参数;
delaycompress         # 延迟压缩,和compress一起使用时压缩所有日志,除当前和下一个最近的;
nodelaycompress       # 覆盖delaycompress选项,转储同时压缩;
copytruncate          # 用于还在打开中的日志文件,把当前日志备份并截断;
nocopytruncate        # 备份日志文件但是不截断;
create 644 www root   # 转储文件,使用指定的文件模式创建新的日志文件;
nocreate              # 不建立新的日志文件;
errors [email protected] # 专储时的错误信息发送到指定的Email地址;
ifempty               # 即使是空文件也转储,这个是logrotate的缺省选项;
notifempty            # 如果日志文件为空,则不转储;
mail [email protected]   # 把转储的日志文件发送到指定的E-mail地;
nomail                # 转储时不发送日志文件;
olddir /tmp           # 转储后的日志文件放入指定目录,必须和当前日志文件在同一个文件系统;
noolddir              # 转储后的日志文件和当前日志文件放在同一个目录下;
prerotate/endscript   # 在转储以前需要执行的命令可以放入这个对,这两个关键字必须单独成行;
postrotate/endscript  # 在转储以后需要执行的命令可以放入这个对,这两个关键字必须单独成行;
tabooext              # 不转储指定扩展名的文件,缺省扩展名:cfsaved,.disabled,.dpkg-dist等;
sharedscripts         # 共享脚本,让postrotate/endscript包含脚本只执行一次即可;
dateformat            # 配合dateext使用可以为切割后的日志加上YYYYMMDD格式的日期;

以上参数都可以在全局主配置文件中定义,或指定为某个日志文件进行配置,注意:使用时参数之间不要冲突。

virsh命令添加kvm虚拟机共享磁盘

在使用kvm虚拟机的时候,有时候部署一些应用如Oracle RAC、corosync等高可用的时候,往往会用到共享硬盘。比如本人在部署corosync+mysql高可用的时候就遇到了一些小问题(像我们这种折腾达人,肯定不会用nfs做共享存储),因此记录一下。

环境

宿主机当然是linux,否则也用不到kvm
没有图形界面,否则直接virt-manager也很快。。

操作过程

新建一块虚拟盘

root@qujun:~# qemu-img -f raw shared.img 10G

要用raw格式,理论上来说应该qcow2也可以

编写xml文件

root@qujun:~# vim share-disk.xml
    <disk type='file' device='disk'> 
        //由于我们用的文件,disk的type是file,device字段则指我们想让这个盘在虚拟机中映射为什么设备。
      <driver name='qemu' type='raw' cache='none'/>
            // 驱动是指明我们底层是哪种虚拟化,同时指定磁盘为raw格式、cache为none
      <source file='shared.img'/>
            // 磁盘的映射源,有file、block、network、volume等值
      <target dev='vdb' bus='virtio'/>
            // 映射给虚拟机的盘符、使用的驱动,
      <shareable/>
            // 标记此硬盘将于多个虚拟机间共享。
    </disk>

<span style="color:red"> 上面比较重要的是cache要标记为none、有shareable标记,在最开始的时候我用的qcow2硬盘,并用writeback的cache导致一堆问题。
</span>

准备完之后,使用virsh命令挂载就可以了。

root@qujun:~# virsh attach-device --config Guest1 share-disk.xml

<span style="color:red"> 由于virtio是热添加驱动,这时候如果你系统支持硬盘热添加,就可以在系统中fdisk -l看到一块vdb的新硬盘啦,我们就可以像真实环境一样来部署高可用系统了~ </span>

如何清理Docker占用的磁盘空间?

摘要:用了Docker,好处挺多的,但是有一个不大不小的问题,它会一不小心占用太多磁盘,这就意味着我们必须及时清理。

未分类

作为一个有信仰的技术公司,我们Fundebug的后台采用了酷炫的全Docker化架构,所有服务,包括数据库都运行在Docker里面。这样做当然不是为了炫技,看得清楚的好处还是不少的:

  • 所有服务器的配置都非常简单,只安装了Docker,这样新增服务器的时候要简单很多。

  • 可以非常方便地在服务器之间移动各种服务,下载Docker镜像就可以运行,不需要手动配置运行环境。

  • 开发/测试环境与生产环境严格一致,不用担心由于环境问题导致部署失败。

至少,上线这一年多来,Docker一直非常稳定,没有出什么问题。但是,它有一个不大不小的问题,会比较消耗磁盘空间。

如果Docker一不小心把磁盘空间全占满了,你的服务也就算玩完了,因此所有Docker用户都需要对此保持警惕。当然,大家也不要紧张,这个问题还是挺好解决的。

1. docker system命令

在谁用光了磁盘?Docker System命令详解中,我们详细介绍了docker system命令,它可以用于管理磁盘空间。

docker system df命令,类似于Linux上的df命令,用于查看Docker的磁盘使用情况:

docker system df
TYPE                TOTAL               ACTIVE              SIZE                RECLAIMABLE
Images              147                 36                  7.204GB             3.887GB (53%)
Containers          37                  10                  104.8MB             102.6MB (97%)
Local Volumes       3                   3                   1.421GB             0B (0%)
Build Cache                                                 0B                  0B

可知,Docker镜像占用了7.2GB磁盘,Docker容器占用了104.8MB磁盘,Docker数据卷占用了1.4GB磁盘。

docker system prune命令可以用于清理磁盘,删除关闭的容器、无用的数据卷和网络,以及dangling镜像(即无tag的镜像)。docker system prune -a命令清理得更加彻底,可以将没有容器使用Docker镜像都删掉。注意,这两个命令会把你暂时关闭的容器,以及暂时没有用到的Docker镜像都删掉了…所以使用之前一定要想清楚吶。

执行docker system prune -a命令之后,Docker占用的磁盘空间减少了很多:

docker system df
TYPE                TOTAL               ACTIVE              SIZE                RECLAIMABLE
Images              10                  10                  2.271GB             630.7MB (27%)
Containers          10                  10                  2.211MB             0B (0%)
Local Volumes       3                   3                   1.421GB             0B (0%)
Build Cache                                                 0B                  0B

2. 手动清理Docker镜像/容器/数据卷

对于旧版的Docker(版本1.13之前),是没有docker system命令的,因此需要进行手动清理。这里给出几个常用的命
删除所有关闭的容器

docker ps -a | grep Exit | cut -d ' ' -f 1 | xargs docker rm

删除所有dangling镜像(即无tag的镜像):

docker rmi $(docker images | grep "^<none>" | awk "{print $3}")

删除所有dangling数据卷(即无用的volume):

docker volume rm $(docker volume ls -qf dangling=true)

Fundebug提供实时、专业的错误监控服务,为您的线上代码保驾护航,欢迎大家免费使用!

3. 限制容器的日志大小

有一次,当我使用1与2提到的方法清理磁盘之后,发现并没有什么作用,于是,我进行了一系列分析。

在Ubuntu上,Docker的所有相关文件,包括镜像、容器等都保存在/var/lib/docker/目录中:

du -hs /var/lib/docker/
97G /var/lib/docker/

Docker竟然使用了将近100GB磁盘,这也是够了。使用du命令继续查看,可以定位到真正占用这么多磁盘的目录:

92G /var/lib/docker/containers/a376aa694b22ee497f6fc9f7d15d943de91c853284f8f105ff5ad6c7ddae7a53

由docker ps可知,nginx容器的ID恰好为a376aa694b22,与上面的目录/var/lib/docker/containers/a376aa694b22的前缀一致:

docker ps
CONTAINER ID        IMAGE                                       COMMAND                  CREATED             STATUS              PORTS               NAMES
a376aa694b22        192.168.59.224:5000/nginx:1.12.1            "nginx -g 'daemon off"   9 weeks ago         Up 10 minutes                           nginx

因此,nginx容器竟然占用了92GB的磁盘。进一步分析可知,真正占用磁盘空间的是nginx的日志文件。那么这就不难理解了。我们Fundebug每天的数据请求为百万级别,那么日志数据自然非常大。

使用truncate命令,可以将nginx容器的日志文件“清零”:

truncate -s 0 /var/lib/docker/containers/a376aa694b22ee497f6fc9f7d15d943de91c853284f8f105ff5ad6c7ddae7a53/*-json.log

当然,这个命令只是临时有作用,日志文件迟早又会涨回来。要从根本上解决问题,需要限制nginx容器的日志文件大小。这个可以通过配置日志的max-size来实现,下面是nginx容器的docker-compose配置文件:

nginx:
  image: nginx:1.12.1
  restart: always
  logging:
    driver: "json-file"
    options:
      max-size: "5g"

重启nginx容器之后,其日志文件的大小就被限制在5GB,再也不用担心了~

4. 重启Docker

还有一次,当我清理了镜像、容器以及数据卷之后,发现磁盘空间并没有减少。根据Docker disk usage提到过的建议,我重启了Docker,发现磁盘使用率从83%降到了19%。根据高手指点,这应该是与内核3.13相关的BUG,导致Docker无法清理一些无用目录:

it’s quite likely that for some reason when those container shutdown, docker couldn’t remove the directory because the shm device was busy. This tends to happen often on 3.13 kernel. You may want to update it to the 4.4 version supported on trusty 14.04.5 LTS.

The reason it disappeared after a restart, is that daemon probably tried and succeeded to clean up left over data from stopped containers.

我查看了一下内核版本,发现真的是3.13:

uname -r
3.13.0-86-generic

如果你的内核版本也是3.13,而且清理磁盘没能成功,不妨重启一下Docker。当然,这个晚上操作比较靠谱。

Centos7 Cacti自动安装脚本

Cacti是一套基于PHP,MySQL,SNMP及RRDTool开发的网络流量监测图形分析工具。界面友好,它提供了非常强大的数据和用户管理功能,可以指定每一个用户能查看树状结构、host以及任何一张图,还可以与LDAP结合进行用户验证,同时也能自己增加模板,功能非常强大完善。

—–BY:百度百科。

未分类

Cacti官方网站是:https://www.cacti.net/,官网提供多个版本的下载,不过最新版本都没有的最新插件的支持,而有些插件对我来说在运维过程中是必须的,所以我还是喜欢1.0之前的版本,所以制作此脚本使用的Cacti版本是0.8.8a。

关于脚本的一些说明:

全自动安装cacti0.8.8a

  1. 此脚本用于centos7系列全自动安装cacti0.8.8a,centos6系列系统不适用。

  2. 使用此脚本系统需全新系统,由于个人能力有限,脚本未检测您服务器是否已经安装apache及mysql、mariadb等,如果已经安装,此脚本安装完可能会有问题,cacti或许不能运行。

  3. 脚本会自动安装mariadb数据库并设置密码为Admin888。新建cacti用户名以及同名库,默认密码为Botonet123,如果您是正式场景使用,请修改数据库密码以及cacti的数据库配置文件。

  4. 初始登陆用户名和密码为admin

脚本使用/安装方法:

方法1.复制以下脚本在服务器上保存为install.sh,给于执行权限后执行脚本即可。

#!/bin/bash
[ ! -e "/usr/bin/git" ] && yum install -y git
git clone https://github.com/qiguang0920/cacti0.8.8a.git && cd cacti0.8.8a && chmod +x cacti-centos7.sh && ./cacti-centos7.sh

  
方法2.脚本以及所需文件托管在github.com,需要的网友可以直接从github.com打包下载,解压后运行目录下的cacti-centos7.sh。

awk中使用shell变量

其实在awk里,是不能直接使用shell变量的
方法是:awk -v 选项让awk 里使用shell变量

TIME=60 
awk -v time="$TIME" 'BEGIN{FS="|"} {if ($7>time) print $2 }' 

这样要注意:在awk里,time不能加$符号。

网上说如下方法都可行:

一:”‘$var’”

这种写法大家无需改变用’括起awk程序的习惯,是老外常用的写法.如:

var="test" 
awk 'BEGIN{print "'$var'"}'

这种写法其实际是双括号变为单括号的常量,传递给了awk.

如果var中含空格,为了shell不把空格作为分格符,便应该如下使用:

var="this is a test" 
awk 'BEGIN{print "'"$var"'"}' 

二:’”$var”‘

这种写法与上一种类似.如果变量含空格,则变为’””$var””‘较为可靠.

三.把括起awk程序的”变为””,使用”$var”

如:

$var="this is a test" 
awk 'BEGIN{print "$var"}" 

这是因为在””里$是特殊字符,而在”里$是普通字符.

四:export 变量,使用ENVIRON[“var”]形式,

如:

$var="this is a test";export $var 
awk 'BEGIN{print ENVIRON["var"]}' 

五:当然也可以使用-v选项

如:

$var="this is a test" 
awk -v nvar="$var" '{print nvar}'

这样便把系统变量定义成了awk变量.

ubuntu 的apt-get -f install 命令

apt-get -f install = apt-get install -f ,是修复依赖关系(depends)的命令,就是假如你的系统上有某个package不满足依赖条件,这个命令就会自动修复,安装那个package依赖的package。

1、sudo命令:sudo命令用来以其他身份来执行命令,预设的身份为root,简单来说就是提升权限,因为apt-get install是要安装程序,这个需要管理员权限,因此借助于sudo命令提权。

2、apt-get命令:apt-get命令是Debian Linux发行版中的APT软件包管理工具。所有基于Debian的发行都使用这个包管理系统。deb包可以把一个应用的文件包在一起,大体就如同Windows上的安装文件。

3、install:是apt-get命令的参数,用于安装程序包。

4、-f参数为–fix-broken的简写形式,可以在man apt-get 中搜索-f参数查询到其帮助信息。

未分类

-f参数的主要作用是是修复依赖关系(depends),假如用户的系统上有某个package不满足依赖条件,这个命令就会自动修复,安装程序包所依赖的包。

apt-get upgrade更新时忽略指定包

当使用 apt-get 命令时,默认会将所有需要更新的包都下载更新,但是我的 docker-ce 指向的是官方的源,速度非常慢,而且我并没有更新它的需求,这个时候就需要在更新的时候将 docker-ce 排除掉。

apt-mark hold xxx

使用这个命令可以将指定的包的版本hold住,这样在更新的时候就会忽略掉这个包。

apt-mark unhold xxx

将 hold 替换为 unhold 就可以取消对这个包版本的锁定了。

统计apache等web日志文件里访问量前十的ip并排序

处理方法:

# cat access.log | awk  '{print $1}' | sort | uniq -c | sort -n -r | head -10

日志格式不同参数$1需要稍作修改。

一些常用的查询

当前WEB服务器中联接次数最多的ip地址

#netstat -ntu |awk '{print $5}' |sort | uniq -c| sort -nr

查看日志中访问次数最多的前10个IP

#cat access.log |cut -d ' ' -f 1 |sort |uniq -c | sort -nr | awk '{print $0 }' | head -n 10 |less

查看日志中出现100次以上的IP

# cat access.log |cut -d ' ' -f 1 |sort |uniq -c | awk '{if ($1 > 100) print $0}'|sort -nr |less

查看最近访问量最高的文件

# cat access.log |tail -10000|awk '{print $7}'|sort|uniq -c|sort -nr|less

查看日志中访问超过100次的页面

# cat access.log | cut -d ' ' -f 7 | sort |uniq -c | awk '{if ($1 > 100) print $0}' | less

统计某url,一天的访问次数

# cat access.log|grep '12/Aug/2009′|grep '/images/index/e1.gif'|wc|awk '{print $1}'

前五天的访问次数最多的网页

#cat access.log|awk '{print $7}'|uniq -c |sort -n -r|head -20

从日志里查看该ip在干嘛

#cat access.log | grep 218.66.36.119| awk '{print $1″t"$7}' | sort | uniq -c | sort -nr | less

列出传输时间超过 30 秒的文件

#cat access.log|awk '($NF > 30){print $7}' |sort -n|uniq -c|sort -nr|head -20

列出最最耗时的页面(超过60秒的)

#cat access.log |awk '($NF > 60 && $7~/.php/){print $7}' |sort -n|uniq -c|sort -nr|head -100

apache开启页面压缩

百度很多教程但是apache都报错了,所以记录一下对的,针对phpstudy

1. 开启这里两个模块

  LoadModule deflate_module modules/mod_deflate.so
  LoadModule headers_module modules/mod_headers.so

2.httpd.conf添加这段代码

  <IfModule deflate_module>  
    #必须的,就像一个开关一样,告诉apache对传输到浏览器的内容进行压缩   
    SetOutputFilter DEFLATE   

    #压缩级别,1-9,9为最高   
    DeflateCompressionLevel 3      

    #不进行压缩的文件   
    SetEnvIfNoCase Request_URI .(?:gif|jpe?g|png)$ no-gzip dont-vary #设置不对后缀gif,jpg,jpeg,png的图片文件进行压缩   
    SetEnvIfNoCase Request_URI .(?:exe|t?gz|zip|bz2|sit|rar)$ no-gzip dont-vary #同上,就是设置不对exe,tgz,gz。。。的文件进行压缩   
    SetEnvIfNoCase Request_URI .(?:pdf|mov|avi|mp3|mp4|rm)$ no-gzip dont-vary     

    #针对代理服务器的设置   
    <IfModule headers_moudle>  
    Header append vary User-Agent   
    </IfModule>  
  </IfModule>

如何在Centos上使用PageSpeed给Apache加速

前言

这个PageSpeed是Google官方给的一款适用于Web服务器的加速模块,

具体有没有效果,我不敢保证,反正我自己测试的时候,是看不出来的(逃

本文测试环境:Centos 7 , Oneinstack Apache+Tengine

安装过程

1、安装Google PageSpeed

安装之前:

Google PageSpeed会自动更新的,如果不想要自动更新,请先执行以下这句命令(不推荐自动更新):

touch /etc/default/mod-pagespeed

开始安装:

64位Centos/Fedora:

rpm -ivh https://dl-ssl.google.com/dl/linux/direct/mod-pagespeed-stable_current_x86_64.rpm --force --nodeps

32位Centos/Fedora:

rpm -ivh https://dl-ssl.google.com/dl/linux/direct/mod-pagespeed-stable_current_i386.rpm --force --nodeps

据测试,国内服务器也能直接下载(这个域名和服务器并没有被蔷)

2、复制安装的配置文件

由于Oneinstack安装的apache并不在默认目录,所以按照官方的操作是要没用的

首先得将默认的配置文件复制到apache配置文件目录下(以下为Oneinstack的示范):

cp /etc/httpd/conf.d/page* /usr/local/apache/conf/extra/

3、添加PageSpeed配置文件到Apache主配置文件中

编辑httpd.conf文件,并在最后添加:

Include conf/extra/pagespeed.conf
Include conf/extra/pagespeed_libraries.conf

或直接运行下面两行命令:

echo "Include conf/extra/pagespeed.conf" >> /usr/local/apache/conf/httpd.conf
echo "Include conf/extra/pagespeed_libraries.conf" >> /usr/local/apache/conf/httpd.conf

4、重启Apache服务器查看效果

service httpd restart
No related posts.