2017年9月 – 第12页 – Linux系统运维日志

在Linux上安装与配置GitLab

一、简介

GitLab是一个开源的版本管理系统，提供了类似于GitHub的源代码浏览，管理缺陷和注释等功能，你可以将代码免费托管到GitLab.com，而且不限项目数量和成员数；
最吸引人的一点是允许在自己的服务器上搭建GitLab CE(社区免费版)版本，方便内部团队协作开发和代码管理；
本文将介绍如何在Linux服务器上使用包管理器搭建GitLab CE版本，以及一些基本的配置；

二、资源

GitLab官网： https://about.gitlab.com/installation/
Gmail： https://about.gitlab.com/installation/

三、CentOS系统

1、更新软件源

配置国内的软件源，请详见 https://www.xiaocoder.com/2017/02/21/resource-1/ ；
需要配置CentOS Base源与epel源；

2、添加GitLab源

$ vim /etc/yum.repos.d/gitlab-ce.repo

[gitlab-ce]
name=Gitlab CE Repository
baseurl=https://mirrors.tuna.tsinghua.edu.cn/gitlab-ce/yum/el$releasever/
gpgcheck=0
enabled=1

$ yum makecache fast && yum update -y

3、安装邮件服务

$ yum install -y postfix
$ systemctl enable postfix
$ systemctl start postfix

4、安装GitLab

GitLab自带了Web服务器(Nginx)，若需要使用服务器已有的Nginx，需要额外的配置；

$ yum install -y gitlab-ce

未分类

四、Docker

1、更新软件源

配置国内的软件源，请详见《CentOS/Ubuntu的国内软件源》；

2、安装Docker服务

在服务器上安装Docker CE，安装指南请参考《在Linux上安装Docker》；

3、GitLab镜像

官网资源： https://docs.gitlab.com/ce/install/docker.html

五、配置GitLab

1、配置服务端口

external_url 'http://ip_address:new-port'

2、邮件服务

Gmail

请自行更改smtp_user_name与smtp_password；

gitlab_rails['smtp_enable'] = true
gitlab_rails['smtp_address'] = "smtp.gmail.com"
gitlab_rails['smtp_port'] = 587
gitlab_rails['smtp_user_name'] = "smtp user"
gitlab_rails['smtp_password'] = "smtp password"
gitlab_rails['smtp_domain'] = "smtp.gmail.com"
gitlab_rails['smtp_authentication'] = "login"
gitlab_rails['smtp_enable_starttls_auto'] = true
gitlab_rails['smtp_tls'] = false
gitlab_rails['smtp_openssl_verify_mode'] = 'peer'

QQ exmail(腾讯企业邮箱)

请自行更改smtp_user_name、smtp_password与gitlab_email_from；

gitlab_rails['smtp_enable'] = true 
gitlab_rails['smtp_address'] = "smtp.exmail.qq.com"
gitlab_rails['smtp_port'] = 465
gitlab_rails['smtp_user_name'] = "smtp user"
gitlab_rails['smtp_password'] = "smtp password"
gitlab_rails['smtp_domain'] = "smtp.exmail.qq.com"
gitlab_rails['smtp_authentication'] = "login"
gitlab_rails['smtp_enable_starttls_auto'] = true 
gitlab_rails['smtp_tls'] = true 
gitlab_rails['gitlab_email_from'] = 'smtp user'

Outlook

请自行更改smtp_user_name、smtp_password与gitlab_email_from；

gitlab_rails['smtp_enable'] = true
gitlab_rails['smtp_address'] = "smtp-mail.outlook.com"
gitlab_rails['smtp_port'] = 587
gitlab_rails['smtp_user_name'] = "smtp user"
gitlab_rails['smtp_password'] = "smtp password"
gitlab_rails['smtp_domain'] = "smtp-mail.outlook.com"
gitlab_rails['smtp_authentication'] = "login"
gitlab_rails['smtp_enable_starttls_auto'] = true
gitlab_rails['smtp_openssl_verify_mode'] = 'peer'
gitlab_rails['gitlab_email_from'] = 'smtp user'

其他邮件服务

其他邮件服务的设置，请参照官网： https://docs.gitlab.com/omnibus/settings/smtp.html ，此处就不再赘述了；

测试操作

$ gitlab-rails console

irb(main):001:0> Notify.test_email('[email protected]', 'Hello', 'Hello, World').deliver_now

3、重新生成配置

每一次修改配置文件，都要执行此操作；

$ gitlab-ctl reconfigure

六、界面使用

1、设置密码

首次访问，http://172.18.20.100，页面会提示设置管理员的密码；
管理员：root，密码：<自定义>；

未分类

2、关闭头像

点击Admin area(小扳手)，然后点击Settings，取消勾选Gravatar enabled；

未分类

3、禁用注册

点击Admin area(小扳手)，然后点击Settings，取消勾选Sign-up enabled；

未分类

4、自定义页面布局

点击个人的Settings，然后点击Preferrences，就可以自定义页面布局了；
建议配置：
- Syntax highlighting theme：Solarized Dark；
- New Navigation：New；
- Layout width：Fluid；

七、命令使用

1、启动服务

$ gitlab-ctl start

2、停止服务

$ gitlab-ctl stop

3、获取运行状态

$ gitlab-ctl status

4、获取帮助信息

$ gitlab-ctl --help

脚本:将不属于属于Linux默认用户找出来

导读：将不属于linux默认模板的用户找出来，虽然可以直接查看/etc/passwd文件，不过，如果用户多了不觉得繁琐吗？

最近在工作中，需要将生产服务器中所有不是默认的账户进行统计。额、用计划生育的话来说：”给所有的生产服务器进行一次账户普查”。如果说，使用cat /etc/passwd 固然也能很好的完成任务。但是，在一些复杂的系统当中，用户名千奇百怪。为了不遗漏，也为了偷懒。就小小的搞了一段shell脚本来完成这个工作。

使用过程中也出现了各种问题，例如：某个用户叫aadm，有个系统默认的用户交adm。悲剧的事情发生了，grep开始未做精确匹配(-w)，导致遗漏掉。在这里主要吐槽某些开发者，能不能别起一些相似度很高的名字来混淆视听。

未分类

貌似，这样还可以定时排查下，是否有莫名账户存在于你的系统中。提高系统安全。

脚本代码

#!/bin/bash

#作者：shengbao

#时间：20170330

#作用：将不属于系统默认的用户查找出来

#更新记录

#更新时间：20170331

#更新内容：grep 添加参数-w，精确匹配。

userlist=`cat <<eof

root

bin

daemon

adm

lp

sync

shutdown

halt

mail

uucp

operator

games

gopher

ftp

nobody

dbus

rpc

usbmuxd

oprofile

vcsa

rtkit

abrt

hsqldb

avahi-autoipd

saslauth

postfix

rpcuser

nfsnobody

haldaemon

gdm

ntp

apache

pulse

sshd

tcpdump

yunwei

eof`

cat /etc/passwd | awk -F ':' '{print $1}'|grep -Fvw "$userlist"

rm -rf $0

Linux设置环境变量的方法和区别

设置 Linux 环境变量可以通过 export 实现，也可以通过修改几个文件来实现，有必要弄清楚这两种方法以及这几个文件的区别。

通过文件设置 Linux 环境变量

首先是设置全局环境变量，对所有用户都会生效：

etc/profile: 此文件为系统的每个用户设置环境信息。当用户登录时，该文件被执行一次，并从 /etc/profile.d 目录的配置文件中搜集shell 的设置。一般用于设置所有用户使用的全局变量。
/etc/bashrc: 当 bash shell 被打开时，该文件被读取。也就是说，每次新打开一个终端 shell，该文件就会被读取。

接着是与上述两个文件对应，但只对单个用户生效：

~/.bash_profile 或 ~/.profile: 只对单个用户生效，当用户登录时该文件仅执行一次。用户可使用该文件添加自己使用的 shell 变量信息。另外在不同的LINUX操作系统下，这个文件可能是不同的，可能是 ~/.bash_profile， ~/.bash_login 或 ~/.profile 其中的一种或几种，如果存在几种的话，那么执行的顺序便是：~/.bash_profile、 ~/.bash_login、 ~/.profile。比如 Ubuntu 系统一般是 ~/.profile 文件。
~/.bashrc: 只对单个用户生效，当登录以及每次打开新的 shell 时，该文件被读取。

此外，修改 /etc/environment 这个文件也能实现环境变量的设置。/etc/environment 设置的也是全局变量，从文件本身的作用上来说， /etc/environment 设置的是整个系统的环境，而/etc/profile是设置所有用户的环境。有几点需注意：

系统先读取 etc/profile 再读取 /etc/environment（还是反过来？）
/etc/environment 中不能包含命令，即直接通过 VAR=”…” 的方式设置，不使用 export 。
使用 source /etc/environment 可以使变量设置在当前窗口立即生效，需注销/重启之后，才能对每个新终端窗口都生效。

修改 Linux 环境变量实例

以 Ubuntu 为例，修改 ~/.profile 文件：

vim ~/.profile

如果该文件存在，则在文件的最后看到如下代码，PATH 变量的值使用冒号(:)隔开的：

# set PATH so it includes user's private bin if it exists
if [ -d "$HOME/bin" ] ; then
PATH="$HOME/bin:$PATH"
fi

在最后加上代码 PATH=”$PATH:/usr/local/hadoop/bin”，注意等号(=)两边不要有空格，即：

# set PATH so it includes user's private bin if it exists
if [ -d "$HOME/bin" ] ; then
PATH="$HOME/bin:$PATH"
fi
PATH="$PATH:/usr/local/hadoop/bin"

因为这个文件是在用户登陆是才读取一次的，所以需要重启才会生效（修改 /etc/profile、/etc/environment 也是如此）。但可以使用命令 source ./.profile 使其立即生效。通过 echo $PATH 可以看到修改后的变量值：

source ./.profile
echo $PATH

通过 Shell 命令 export 修改 Linux 环境变量

另一种修改 Linux 环境变量的方式就是通过 Shell 命令 export，注意变量名不要有美元号 $，赋值语句中才需要有：

export PATH=$PATH:/usr/local/hadoop/bin

export 方式只对当前终端 Shell 有效
使用 export 设置的变量，只对当前终端 Shell 有效，也就是说如果新打开一个终端，那这个 export 设置的变量在新终端中使无法读取到的。适合设置一些临时变量。

根据变量所需，选择设置方式，例如 JAVA_HOME 这类变量，就适合将其设为为全局变量，可在 /etc/environment 中设置。

9个Linux系统常用监控命令

我们的系统一旦上线跑起来我们自然希望它一直相安无事，不要宕机，不要无响应，不要慢腾腾的。但是这不是打开机器电源然后放任不管就可以得到的。所以我们要监视系统的运行状况，发现问题及时处理。

对于系统和网络管理员来说每天监控和调试Linux系统的性能问题是一项繁重的工作。监控和保持系统启动并运行是很不容易的一件事。因此实验楼介绍部分linux的系统监控命令。

（1）Linux进程监控：TOP

Linux下的Top命令是一个性能监控程序，许多系统管理员常常用它来监控Linux性能，在许多Linux或者类Unix操作系统里都有这个命令。

Top命令用于按一定的顺序显示所有正在运行而且处于活动状态的实时进程，而且会定期更新显示结果。这条命令显示了CPU的使用率、内存使用率、交换内存使用大小、高速缓存使用大小、缓冲区使用大小，进程PID、所使用命令以及其他。它还可以显示正在运行进程的内存和CPU占用多的情况。

$ top

操作截图：

未分类

在图中依次可以看到进程PID,进程用户，CPU使用率，内存使用率、交换内存使用大小等等信息。top命令提供了实时的对系统处理器的状态监视.它将显示系统中CPU最“敏感”的任务列表.

通过man top可以查看到详细的top命令使用方式。

$ man top

操作截图：

未分类

（2）虚拟内存统计 : vmstat

Linux 的 VmStat 命令用于显示虚拟内存、内核线程、磁盘、系统进程、I/O 块、中断、CPU 活动等的统计信息。

一般vmstat工具的使用是通过两个数字参数来完成的，第一个参数是采样的时间间隔数，单位是秒，第二个参数是采样的次数，

$ vmstat 2 1
$ vmstat 2 2

操作截图：

未分类

如果要求vmstat每2秒采集数据，一直采集，直到结束程序（Ctrl+c）。则省略采集次数：

$ vmstat 2

测试参数讲解：

r ：表示运行队列，如果运行队列过大，表示你的CPU很繁忙，一般会造成CPU使用率很高
b ：表示阻塞的进程数swpd ：虚拟内存已使用的大小，如果大于0，表示你的机器物理内存不足了，如果不是程序内存泄露的原因，那么你该升级内存了或者把耗内存的任务迁移到其他机器
free ：空闲的物理内存的大小
buff ：系统占用的缓存大小
cache ：直接用来记忆我们打开的文件,给文件做缓冲
si ：每秒从磁盘读入虚拟内存的大小，如果这个值大于0，表示物理内存不够用或者内存泄露了
us ：用户CPU时间
sy ：系统CPU时间
so ：每秒虚拟内存写入磁盘的大小，如果这个值大于0，同上。
sy ：系统CPU时间，如果太高，表示系统调用时间长，例如是IO操作频繁。
id ：空闲 CPU时间，一般来说，id + us + sy = 100
wt ：等待IO CPU时间。

（3）列出打开的文件：lsof

它常用于以列表的形式显示所有打开的文件和进程。打开的文件包括磁盘文件、网络套接字、管道、设备和进程。

使用这条命令的主要情形之一就是在无法挂载磁盘和显示正在使用或者打开某个文件的错误信息的时候。使用这条命令，你可以很容易地看到正在使用哪个文件。

$ lsof

操作截图：

未分类

此命令运行的结果较长，截图部分。

（4）网络包分析器：tcpdump

Tcpdump是最广泛使用的网络包分析器或者包监控程序之一，它用于捕捉或者过滤网络上指定接口上接收或者传输的TCP/IP包。

它还有一个选项用于把捕捉到的包保存到文件里，以便以后进行分析。

-h：查看命令帮助
-i：网络接口
-c ：需要输出包数量

$ sudo apt-get update
$ sudo apt-get install tcpdump 
$ tcpdump -h
$ sudo tcpdump -i eth0 -c 3

操作截图：

未分类

（5）网络状态统计：netstat

Netstat是一个用于监控进出网络的包和网络接口统计的命令行工具。它是一个非常有用的工具，系统管理员可以用来监控网络性能，定位并解决网络相关问题。

－ｈ：查看帮助
－ｒ：
－ｉ：查看网络接口

$ netstat -h
$ netstat -r
$ netstat -i

操作截图：

未分类

（6）进程监控：Htop

Htop 是一个非常高级的交互式的实时linux进程监控工具。它和top命令十分相似，但是它具有更丰富的特性，例如用户可以友好地管理进程，快捷键，垂直和水平方式显示进程等等。

Htop是一个第三方工具，它不包含在linux系统中，你需要使用管理工具去安装它。

$ sudo apt-get install htop
$ htop

未分类

（7）监控Linux磁盘I/O ：iotop

iotop命令同样也非常类似于top命令和Htop程序，不过它具有监控并显示实时磁盘I/O和进程的统计功能。在查找具体进程和大量使用磁盘读写进程的时候，这个工具就非常有用。

这个命令只有在kernelv2.6.20及以后的版本中才有。python版本需要 python2.7及以上版本。由于系统原因，实验环境并不支持此命令。此处仅做介绍。

（8）输入/输出统计：iostat

iostat是一个用于收集显示系统存储设备输入和输出状态统计的简单工具。这个工具常常用来追踪存储设备的性能问题，其中存储设备包括设备、本地磁盘，以及诸如使用NFS等的远端磁盘。

$ sudo apt-get install sysstat
$ iostat

操作截图：

未分类

各项含义： avg-cpu段:

%user: 在用户级别运行所使用的CPU的百分比.
%nice:优先进程消耗的CPU时间，占所有CPU的百分比.
%system: 在系统级别(kernel)运行所使用CPU的百分比.
%iowait: CPU等待硬件I/O时,所占用CPU百分比.
%steal: 管理程序维护另一个虚拟处理器时，虚拟CPU的无意识等待时间百分比.
%idle: CPU空闲时间的百分比.

Device段:

tps: 每秒钟发送到的I/O请求数.
KB_read /s: 每秒读取的block数.
KB_wrtn/s: 每秒写入的block数.
KB_read: 启动到现在读入的block总数.
KB_wrtn: 启动到现在写入的block总数.

查看帮助：

$ man iostat

（9）实时局域网IP监控：IPTraf

IPTraf是一个在Linux控制台运行的、开放源代码的实时网络（局域网）监控应用。它采集了大量信息，比如通过网络的IP流量监控，包括TCP标记、ICMP详细信息、TCP/UDP流量分离、TCP连接包和字节数。同时还采集有关接口状态的常见信息和详细信息：TCP、UDP、IP、ICMP、非IP，IP校验和错误，接口活动等。

$ sudo apt-get install iptraf
$ sudo iptraf

操作截图（注意图片中下面的提示操作信息。）：

未分类

查看命令帮助信息,根据需要选择合适的参数，进行监控。此处便不再赘述命令参数：

$ sudo iptraf -h

Linux如何查看端口被哪个进程占用

lsof -i:端口号

lsof -i:端口号，用于查看某一端口的占用情况，比如查看22号端口使用情况，lsof -i:8080，如下图

[root@master bin]# lsof -i:8080
COMMAND  PID USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
java    4509 root  241u  IPv6  35534      0t0  TCP *:webcache (LISTEN)

netstat -tunlp|grep 端口号

netstat -tunlp|grep 端口号，用于查看指定端口号的进程情况，如查看22端口的情况，netstat -tunlp|grep 8080，如下图

[root@master bin]# netstat -tunlp | grep 8080
tcp        0      0 :::8080                     :::*                        LISTEN      4509/java

Nginx+uWSGI+Mysql+Django+Virtualenv环境部署

安装软件包

我的Linux是Ubuntu，需要安装Python3，如果你需要安装其他版本替换即可

sudo apt-get install mysql-server python3 python-dev python3-pip virtualenv

配置Virtualenv及Python环境

首先，这个Virtualenv并不是必须的，他的作用就是创建一个“隔离”的Python运行环境。

我想大家都碰到过在一台电脑上同时开发多个应用程序，如果应用A需要Python 2.7，而应用B需要Python 2.6怎么办？有时还会碰到不只是Python版本的不一致，比如Django等软件包版本。

这种情况下，每个应用可能需要各自拥有一套“独立”的Python运行环境。

1、新建独立运行环境，命名为pyblog_env

virtualenv pyblog_env --python=python3.5 --no-site-packages

–python指定Python版本 –no-site-packages不复制系统已安装Python包

2、进入pyblog_env环境

source pyblog_env/bin/activate

这时会发现命令提示符前面多了一个（pyblog_env），变成(pyblog_env)user@hostname:~$ 这种形式，这表示我们已经进入到刚刚创建的虚拟环境。然后再通过pip安装包，都会安装到这个环境下，不会对系统环境造成影响。退出虚拟环境命令：deactivate

3、安装项目依赖

pip3 install django PyMySQL mysqlclient Pillow
#如果有需求文件，比如requirements.txt，则执行
pip3 install -r requirements.txt

Django项目配置

1、上传Django项目，我的项目在GitHub。

git clone https://github.com/zytx/pyblog.git

2、配置项目的数据库信息

3、数据迁移

python manage.py makemigrations
python manage.py migrate

4、建立超级用户：

python manage.py createsuperuser

5、收集静态文件：

python manage.py collectstatic

6、测试项目运行开发服务器看项目能否正常运行

python manage.py runserver 0.0.0.0:8000

访问ip:8000看是否出错

uWSGI 配置

退出刚才进入的虚拟环境，使用命令：deactivate

1、安装uWSGI

pip3 install uwsgi

2、运行测试:

uwsgi --http :8000 --home /home/zytx/pyblog_env/ --chdir /home/zytx/pyblog_env/pyblog -w pyblog.wsgi

–home Virtualenv的虚拟环境目录 –chdir Django项目目录

如果访问IP:8000可以看到项目，就说明Python环境和uWSGI是没有问题的

3、创建配置文件接下来在项目里新建一个配置文件uwsgi.ini

[uwsgi]
# 项目根目录路径(full path)
chdir           = /home/zytx/pyblog_env/pyblog/
# Django的 wsgi 文件
module          = pyblog.wsgi:application
# virtualenv目录 (full path)
home            = /home/zytx/pyblog_env/

master          = true
# 最大工作进程数（CPU密集型建议设为CPU核心数，IO密集型建议设为CPU核心数的两倍）
processes       = 2
# unix套接字文
socket          = /home/zytx/pyblog_env/pyblog.sock
# socket文件权限
chmod-socket    = 777
# 退出时清空环境
vacuum          = true

4、后台启动uWSGI

uwsgi /home/zytx/pyblog_env/pyblog/uwsgi.ini&

Nginx 配置

1、创建配置文件

sudo vi /etc/nginx/sites-available/pyblog

加入如下内容：

server {
    listen 80;
    server_name www.immrz.com;
    root /home/zytx/pyblog_env/pyblog/;

        location /media/  {
            #如果你的media目录不在root里，可以配置 alias /path/to/your/mysite/media;
        }

        location  /static/ {
            #如果你的static目录不在root里，可以配置 alias /path/to/your/mysite/static;
        }

        location / {
            uwsgi_pass  unix:///home/zytx/pyblog_env/pyblog.sock;
            include uwsgi_params; # the uwsgi_params file you installed
        }
}

软连接到sites-enabled

sudo ln -s /etc/nginx/sites-available/pyblog /etc/nginx/sites
enabled/

2、重新加载Nginx配置

sudo service nginx reload

如果配置无误我们就可以让uWSGI开机运行

#编辑/etc/rc.local,在exit0之前加入
/usr/local/bin/uwsgi --ini /home/zytx/pyblog_env/pyblog/pyblog.uwsgi.ini&

基于Flask实现后台权限管理系统 – Flask

一、Flask

1、简介

Flask是使用Python编写的轻量级Web应用框架，其WSGI工具箱采用Werkzeug，模板引擎则使用Jinja2。Flask使用BSD授权，Flask也被称为“microframework”，因为它使用简单的核心，用extension增加其他功能，用户可以随意地进行组合，满足自己的要求。

一段最简单的Flask代码如下：

from flask import Flask

app = Flask(__name__)



@app.route('/')

def hello_world():

    return 'Hello World!'



if __name__ == '__main__':

    app.run()

那么，这段代码做了什么？

首先，我们导入了Flask类。这个类的实例将会是我们的WSGI应用程序。

接下来，我们创建一个该类的实例，第一个参数是应用模块或者包的名称。如果你使用单一的模块（如本例），你应该使用name，因为模块的名称将会因其作为单独应用启动还是作为模块导入而有不同（也即是 ‘main‘ 或实际的导入名）。这是必须的，这样 Flask才知道到哪去找模板、静态文件等等。详情见Flask的文档。

然后，我们使用route()装饰器告诉Flask什么样的URL能触发我们的函数。

这个函数的名字也在生成URL时被特定的函数采用，这个函数返回我们想要显示在用户浏览器中的信息。

最后我们用run()函数来让应用运行在本地服务器上。其中if name == ‘main‘: 确保服务器只会在该脚本被Python解释器直接执行的时候才会运行，而不是作为模块导入的时候。

2、Flask-SQLAlchemy

Flask-SQLAlchemy是对Flask的一个插件，是Flask对SQLAlchemy的封装，SQLAlchemy提供非常强大ORM（Object Relation Model 对象关系模型）功能。

常见情况下对于只有一个Flask应用，所需要做的事情就是创建Flask应用，选择加载配置，接着创建SQLAlchemy对象时候，把Flask应用传递给它作为参数。

一旦创建，这个对象就包含 sqlalchemy 和 sqlalchemy.orm 中的所有函数和助手。此外它还提供一个名为 Model 的类，用于作为声明模型时的 delarative 基类:

class User(db.Model):

  id = db.Column(db.Integer, primary_key=True)

  username = db.Column(db.String(80), unique=True)



  def __init__(self, username, email):

    self.username = username



  def __repr__(self):

    return'<User %r>' % self.username

2.1 一对多关系

以资源类型和资源举例说明，它们之间关系是一对多关系，一个资源类型下可以有多个资源，而资源只属于一种类型，如果前面介绍，资源只能是菜单类型或功能类型的一种。

class ResourceType(db.Model):

  __tablename__ = 'SYRESOURCETYPE'

  ID = db.Column(db.String(36), primary_key=True)

  CREATEDATETIME = db.Column(db.DateTime, index=True, default=datetime.now)

  UPDATEDATETIME = db.Column(db.DateTime, index=True, default=datetime.now)

  NAME = db.Column(db.String(100))

  DESCRIPTION = db.Column(db.String(200))

  resources = db.relationship('Resource', backref='type', lazy='dynamic')

class Resource(db.Model):

    __tablename__ = 'SYRESOURCE'

    ID = db.Column(db.String(36), primary_key=True)

    # 省略部分内容

    NAME = db.Column(db.String(100))

    SYRESOURCETYPE_ID = db.Column(db.String, db.ForeignKey('SYRESOURCETYPE.ID'))

ResourceType类通过relationship关联到Resource类，给自己定义了resources集合属性，代表本类型下的所有资源。db.relationship关联到Resource类，通过backref动态地给Resource类增加了type属性，代表Resource所属的资源类型。

2.2 多对多关系

以用户和角色为例，它们之间的关系是多对多关系，一个用户可以有多个角色，一个角色也可以被多个用户所用。

user_role_table = db.Table(‘SYUSER_SYROLE’, db.Model.metadata

, db.Column(‘SYUSER_ID’, db.String, db.ForeignKey(‘SYUSER.ID’))

, db.Column(‘SYROLE_ID’, db.String, db.ForeignKey(‘SYROLE.ID’)))

class User(db.Model):

    __tablename__ = 'SYUSER'

    ID = db.Column(db.String(36), primary_key=True)

    LOGINNAME = db.Column(db.String(100), unique=True, index=True)

    PWD = db.Column(db.String(100))

    NAME = db.Column(db.String(100))



    roles = db.relationship('Role',secondary=user_role_table,

    backref=db.backref('users', lazy='dynamic'))

class Role(db.Model):

    __tablename__ = 'SYROLE'

    ID = db.Column(db.Integer, primary_key=True)

    NAME = db.Column(db.String(100))

User类中通过db.relationship定义了和Role类之间的关系，它们之间连接的桥梁就是user_role_table，user_role_table定义了两张关联表之间主键的对应关系。User对象含有roles集合属性，代表角色的集合，而通过backref动态地给Role对象增加了users属性，代表本角色所从属的用户有哪些。

注：ORM将对象映射到数据表，对象之间的关系映射到表之间的关系，通过操作对象及其之间的关系即可以操作数据库表，非常方便，不需要写SQL语句。

3、集成Python Shell

Flask-Script的shell命令可以导入指定的对象，这样就可以在控制台操作Python对象，譬如用户对象、资源对象等等，即时测试对象的属性和方便，使用起来比较方便。

###########################manager.py####################

from app.models import User, Role, Resource, ResourceType, Organization

from flask_script import Manager, Shell

from flask_migrate import Migrate, MigrateCommand



def make_shell_context():

    return dict(app=app, db=db, User=User, Role=Role, Resource=Resource,

ResourceType=ResourceType, Organization=Organization)



manager.add_command("shell", Shell(make_context=make_shell_context))

manager.add_command('db', MigrateCommand)



@manager.command

def myprint():

    print 'hello world'

代码使用flask_script下的Manager模块，通过add_command方法将一些对象注册到shell上下文中。注册的方法有两种：

add_command。直接调用Manager模块下的add_command方法；

> python manager.py shell

>>> db

<SQLAlchemy engine='mysql://root:@127.0.0.1/authbase?charset=utf8'>

>>> app

<Flask 'app'>

>>> User.query.all()

[<User u'u8d85u7ea7u7ba1u7406u5458'>

, <User u'u7ba1u7406u5458'>

]

>>>

装饰器方式。使用manager.command装饰器，装饰的方法名称就会成为shell环境中的一条命令。

python manager.py myprint

hello world

4、蓝图

蓝图实现了应用的模块化，使用蓝图使得应用层次更加清楚，开发者可以更容易地开发和维护项目。蓝图通常作用于相同的URL前缀，譬如/admin/user, /admin/resource等等，将一类相同的功能组合到一起，如果URL前缀发生变化，只需要修改蓝图即可。

举例说明，通常网站分为用户网站部分和管理后台部分，如博客类网站，管理后台可以编辑文章等操作，编辑后的文章会在用户网站部分显示，其它用户可以阅读、评论等，同时，管理后台可以评论进行管理等等。按照模块划分：

Blog -------|

| 前台网站

  ------------|app/blog/:id

  ------------|app/blog/:id/comment/:id

| 管理后台

         |admin/user/:id

         |admin/role/:id

                 |admin/siteinfo

上述Blog将网站分为两个部分：前台网站和管理后台，如果按照蓝图实现，即将应用划分为两个蓝图。

from flask import Blueprint

app  = Blueprint('app', __name__, url_prefix='/app')

admin = Blueprint('admin', __name__, url_prefix='/admin')



@app.route('/blog/:id', methods=['POST'])

defapp_blog():

    #查询指定编号博客赋值给blog对象

    returnrender_template(blog/index.html', blog=blog)



@admin.route('/role/:id', methods=['POST'])

defadmin_role():

     #查询指定编号角色赋值给role对象

    return render_template(role/index.html', role=role)

进程管理利器-supervisor部署记录

一、简单介绍

supervisor是用来管理进程的一个工具，止于为什么要用supervisor，是因为相对于linux传统的进程管理方式来说，它有很多的优势：

----简单----
通常管理linux进程的时候，一般来说都需要自己编写一个能够实现进程start/stop/restart/reload功能的脚本，然后丢到/etc/init.d/下面。这么做有很多不好的地方，第一我们要编写这个脚本，这就很耗时耗力了。
第二，当这个进程挂掉的时候，linux不会自动重启它的，想要自动重启的话，我们还要自己写一个监控重启脚本。而，supervisor则可以完美的解决这些问题。好，怎么解决的呢，其实supervisor管理进程，就是通过
fork/exec的方式把这些被管理的进程，当作supervisor的子进程来启动。这样的话，我们只要在supervisor的配置文件中，把要管理的进程的可执行文件的路径写进去就OK了。这样就省下了我们如同linux管理进程的时候，
自己写控制脚本的麻烦了。第二，被管理进程作为supervisor的子进程，当子进程挂掉的时候，父进程可以准确获取子进程挂掉的信息的，所以当然也就可以对挂掉的子进程进行自动重启了，当然重启还是不重启，也要看你的
配置文件里面有木有设置autostart=true了，这是后话。

----精确----
为啥说精确呢？因为linux对进程状态的反馈，有时候不太准确。为啥不准确？这个楼主也不知道啊，官方文档是这么说的，知道的告诉楼主一下吧，感激不尽。而supervisor监控子进程，得到的子进程状态无疑是准确的。
进程组supervisor可以对进程组统一管理，也就是说咱们可以把需要管理的进程写到一个组里面，然后我们把这个组作为一个对象进行管理，如启动，停止，重启等等操作。而linux系统则是没有这种功能的，我们想要停止
一个进程，只能一个一个的去停止，要么就自己写个脚本去批量停止。

-----集中式管理-----
supervisor管理的进程，进程组信息，全部都写在一个ini格式的文件里就OK了。而且，我们管理supervisor的时候的可以在本地进行管理，也可以远程管理，而且supervisor提供了一个web界面，我们可以在web界面上监控，
管理进程。 当然了，本地，远程和web管理的时候，需要调用supervisor的xml_rpc接口，这个也是后话。

---有效性----
当supervisor的子进程挂掉的时候，操作系统会直接给supervisor发信号。而其他的一些类似supervisor的工具，则是通过进程的pid文件，来发送信号的，然后定期轮询来重启失败的进程。显然supervisor更加高效。。。
至于是哪些类似supervisor工具，这个楼主就不太清楚了，楼主还听说过god,director，但是没用过。有兴趣的朋友可以玩玩

----可扩展性----
supervisor是个开源软件，牛逼点的，可以直接去改软件。不过咱们大多数人还是老老实实研究supervisot提供的接口吧，supervisor主要提供了两个可扩展的功能。一个是event机制，这个就是楼主这两天干的活要用到的
东西。再一个是xml_rpc,supervisor的web管理端和远程调用的时候，就要用到它了。

-----权限----
大伙都知道linux的进程，特别是侦听在1024端口之下的进程，一般用户大多数情况下，是不能对其进行控制的。想要控制的话，必须要有root权限。而supervisor提供了一个功能，可以为supervisord或者每个子进程，
设置一个非root的user，这个user就可以管理它对应的进程了。

----兼容性，稳定性----

二、组成部分

supervisord：服务守护进程
supervisorctl：命令行客户端
Web Server：提供与supervisorctl功能相当的WEB操作界面
XML-RPC Interface：XML-RPC接口

三、安装和配置

centos平台下可直接用过YUM源安装

[root@op-zhongkong ～]# yum install supervisor
[root@op-zhongkong ～]# chkconfig supervisord on

服务器启停

[root@op-zhongkong ～]# /etc/init.d/supervisord {start|stop|status|restart|reload|force-reload|condrestart}

日志

/var/log/supervisor/supervisord.log

配置文件

[root@op-zhongkong ～]# vim /etc/supervisord.conf

需要重点关注的是以部分

[program:x]中配置要监控的进程

配置文件详解

[unix_http_server]           
file=/tmp/supervisor.sock   ; socket文件的路径，supervisorctl用XML_RPC和supervisord通信就是通过它进行
                              的。如果不设置的话，supervisorctl也就不能用了 
                              不设置的话，默认为none。 非必须设置       
;chmod=0700                 ; 这个简单，就是修改上面的那个socket文件的权限为0700
                              不设置的话，默认为0700。 非必须设置
;chown=nobody:nogroup       ; 这个一样，修改上面的那个socket文件的属组为user.group
                              不设置的话，默认为启动supervisord进程的用户及属组。非必须设置
;username=user              ; 使用supervisorctl连接的时候，认证的用户
                               不设置的话，默认为不需要用户。 非必须设置
;password=123               ; 和上面的用户名对应的密码，可以直接使用明码，也可以使用SHA加密
                              如：{SHA}82ab876d1387bfafe46cc1c8a2ef074eae50cb1d
                              默认不设置。。。非必须设置

;[inet_http_server]         ; 侦听在TCP上的socket，Web Server和远程的supervisorctl都要用到他
                              不设置的话，默认为不开启。非必须设置
;port=127.0.0.1:9001        ; 这个是侦听的IP和端口，侦听所有IP用 :9001或*:9001。
                              这个必须设置，只要上面的[inet_http_server]开启了，就必须设置它
;username=user              ; 这个和上面的uinx_http_server一个样。非必须设置
;password=123               ; 这个也一个样。非必须设置

[supervisord]                ;这个主要是定义supervisord这个服务端进程的一些参数的
                              这个必须设置，不设置，supervisor就不用干活了
logfile=/tmp/supervisord.log ; 这个是supervisord这个主进程的日志路径，注意和子进程的日志不搭嘎。
                               默认路径$CWD/supervisord.log，$CWD是当前目录。。非必须设置
logfile_maxbytes=50MB        ; 这个是上面那个日志文件的最大的大小，当超过50M的时候，会生成一个新的日
                               志文件。当设置为0时，表示不限制文件大小
                               默认值是50M，非必须设置。             
logfile_backups=10           ; 日志文件保持的数量，上面的日志文件大于50M时，就会生成一个新文件。文件
                               数量大于10时，最初的老文件被新文件覆盖，文件数量将保持为10
                               当设置为0时，表示不限制文件的数量。
                               默认情况下为10。。。非必须设置
loglevel=info                ; 日志级别，有critical, error, warn, info, debug, trace, or blather等
                               默认为info。。。非必须设置项
pidfile=/tmp/supervisord.pid ; supervisord的pid文件路径。
                               默认为$CWD/supervisord.pid。。。非必须设置
nodaemon=false               ; 如果是true，supervisord进程将在前台运行
                               默认为false，也就是后台以守护进程运行。。。非必须设置
minfds=1024                  ; 这个是最少系统空闲的文件描述符，低于这个值supervisor将不会启动。
                               系统的文件描述符在这里设置cat /proc/sys/fs/file-max
                               默认情况下为1024。。。非必须设置
minprocs=200                 ; 最小可用的进程描述符，低于这个值supervisor也将不会正常启动。
                              ulimit  -u这个命令，可以查看linux下面用户的最大进程数
                              默认为200。。。非必须设置
;umask=022                   ; 进程创建文件的掩码
                               默认为022。。非必须设置项
;user=chrism                 ; 这个参数可以设置一个非root用户，当我们以root用户启动supervisord之后。
                               我这里面设置的这个用户，也可以对supervisord进行管理
                               默认情况是不设置。。。非必须设置项
;identifier=supervisor       ; 这个参数是supervisord的标识符，主要是给XML_RPC用的。当你有多个
                               supervisor的时候，而且想调用XML_RPC统一管理，就需要为每个
                               supervisor设置不同的标识符了
                               默认是supervisord。。。非必需设置
;directory=/tmp              ; 这个参数是当supervisord作为守护进程运行的时候，设置这个参数的话，启动
                               supervisord进程之前，会先切换到这个目录
                               默认不设置。。。非必须设置
;nocleanup=true              ; 这个参数当为false的时候，会在supervisord进程启动的时候，把以前子进程
                               产生的日志文件(路径为AUTO的情况下)清除掉。有时候咱们想要看历史日志，当
                               然不想日志被清除了。所以可以设置为true
                               默认是false，有调试需求的同学可以设置为true。。。非必须设置
;childlogdir=/tmp            ; 当子进程日志路径为AUTO的时候，子进程日志文件的存放路径。
                               默认路径是这个东西，执行下面的这个命令看看就OK了，处理的东西就默认路径
                               python -c "import tempfile;print tempfile.gettempdir()"
                               非必须设置
;environment=KEY="value"     ; 这个是用来设置环境变量的，supervisord在linux中启动默认继承了linux的
                               环境变量，在这里可以设置supervisord进程特有的其他环境变量。
                               supervisord启动子进程时，子进程会拷贝父进程的内存空间内容。 所以设置的
                               这些环境变量也会被子进程继承。
                               小例子：environment=name="haha",age="hehe"
                               默认为不设置。。。非必须设置
;strip_ansi=false            ; 这个选项如果设置为true，会清除子进程日志中的所有ANSI 序列。什么是ANSI
                               序列呢？就是我们的n,t这些东西。
                               默认为false。。。非必须设置

; the below section must remain in the config file for RPC
; (supervisorctl/web interface) to work, additional interfaces may be
; added by defining them in separate rpcinterface: sections
[rpcinterface:supervisor]    ;这个选项是给XML_RPC用的，当然你如果想使用supervisord或者web server 这
                              个选项必须要开启的
supervisor.rpcinterface_factory = supervisor.rpcinterface:make_main_rpcinterface

[supervisorctl]              ;这个主要是针对supervisorctl的一些配置 
serverurl=unix:///tmp/supervisor.sock ; 这个是supervisorctl本地连接supervisord的时候，本地UNIX socket
                                        路径，注意这个是和前面的[unix_http_server]对应的
                                        默认值就是unix:///tmp/supervisor.sock。。非必须设置
;serverurl=http://127.0.0.1:9001 ; 这个是supervisorctl远程连接supervisord的时候，用到的TCP socket路径
                                   注意这个和前面的[inet_http_server]对应
                                   默认就是http://127.0.0.1:9001。。。非必须项

;username=chris              ; 用户名
                               默认空。。非必须设置
;password=123                ; 密码
                              默认空。。非必须设置
;prompt=mysupervisor         ; 输入用户名密码时候的提示符
                               默认supervisor。。非必须设置
;history_file=~/.sc_history  ; 这个参数和shell中的history类似，我们可以用上下键来查找前面执行过的命令
                               默认是no file的。。所以我们想要有这种功能，必须指定一个文件。。。非
                               必须设置

; The below sample program section shows all possible program subsection values,
; create one or more 'real' program: sections to be able to control them under
; supervisor.

;[program:theprogramname]      ;这个就是咱们要管理的子进程了，":"后面的是名字，最好别乱写和实际进程
                                有点关联最好。这样的program我们可以设置一个或多个，一个program就是
                                要被管理的一个进程
;command=/bin/cat              ; 这个就是我们的要启动进程的命令路径了，可以带参数
                                例子：/home/test.py -a 'hehe'
                                有一点需要注意的是，我们的command只能是那种在终端运行的进程，不能是
                                守护进程。这个想想也知道了，比如说command=service httpd start。
                                httpd这个进程被linux的service管理了，我们的supervisor再去启动这个命令
                                这已经不是严格意义的子进程了。
                                这个是个必须设置的项
;process_name=%(program_name)s ; 这个是进程名，如果我们下面的numprocs参数为1的话，就不用管这个参数
                                 了，它默认值%(program_name)s也就是上面的那个program冒号后面的名字，
                                 但是如果numprocs为多个的话，那就不能这么干了。想想也知道，不可能每个
                                 进程都用同一个进程名吧。


;numprocs=1                    ; 启动进程的数目。当不为1时，就是进程池的概念，注意process_name的设置
                                 默认为1    。。非必须设置
;directory=/tmp                ; 进程运行前，会前切换到这个目录
                                 默认不设置。。。非必须设置
;umask=022                     ; 进程掩码，默认none，非必须
;priority=999                  ; 子进程启动关闭优先级，优先级低的，最先启动，关闭的时候最后关闭
                                 默认值为999 。。非必须设置
;autostart=true                ; 如果是true的话，子进程将在supervisord启动后被自动启动
                                 默认就是true   。。非必须设置
;autorestart=unexpected        ; 这个是设置子进程挂掉后自动重启的情况，有三个选项，false,unexpected
                                 和true。如果为false的时候，无论什么情况下，都不会被重新启动，
                                 如果为unexpected，只有当进程的退出码不在下面的exitcodes里面定义的退
                                 出码的时候，才会被自动重启。当为true的时候，只要子进程挂掉，将会被无
                                 条件的重启
;startsecs=1                   ; 这个选项是子进程启动多少秒之后，此时状态如果是running，则我们认为启
                                 动成功了
                                 默认值为1 。。非必须设置
;startretries=3                ; 当进程启动失败后，最大尝试启动的次数。。当超过3次后，supervisor将把
                                 此进程的状态置为FAIL
                                 默认值为3 。。非必须设置
;exitcodes=0,2                 ; 注意和上面的的autorestart=unexpected对应。。exitcodes里面的定义的
                                 退出码是expected的。
;stopsignal=QUIT               ; 进程停止信号，可以为TERM, HUP, INT, QUIT, KILL, USR1, or USR2等信号
                                  默认为TERM 。。当用设定的信号去干掉进程，退出码会被认为是expected
                                  非必须设置
;stopwaitsecs=10               ; 这个是当我们向子进程发送stopsignal信号后，到系统返回信息
                                 给supervisord，所等待的最大时间。 超过这个时间，supervisord会向该
                                 子进程发送一个强制kill的信号。
                                 默认为10秒。。非必须设置
;stopasgroup=false             ; 这个东西主要用于，supervisord管理的子进程，这个子进程本身还有
                                 子进程。那么我们如果仅仅干掉supervisord的子进程的话，子进程的子进程
                                 有可能会变成孤儿进程。所以咱们可以设置可个选项，把整个该子进程的
                                 整个进程组都干掉。 设置为true的话，一般killasgroup也会被设置为true。
                                 需要注意的是，该选项发送的是stop信号
                                 默认为false。。非必须设置。。
;killasgroup=false             ; 这个和上面的stopasgroup类似，不过发送的是kill信号
;user=chrism                   ; 如果supervisord是root启动，我们在这里设置这个非root用户，可以用来
                                 管理该program
                                 默认不设置。。。非必须设置项
;redirect_stderr=true          ; 如果为true，则stderr的日志会被写入stdout日志文件中
                                 默认为false，非必须设置
;stdout_logfile=/a/path        ; 子进程的stdout的日志路径，可以指定路径，AUTO，none等三个选项。
                                 设置为none的话，将没有日志产生。设置为AUTO的话，将随机找一个地方
                                 生成日志文件，而且当supervisord重新启动的时候，以前的日志文件会被
                                 清空。当 redirect_stderr=true的时候，sterr也会写进这个日志文件
;stdout_logfile_maxbytes=1MB   ; 日志文件最大大小，和[supervisord]中定义的一样。默认为50
;stdout_logfile_backups=10     ; 和[supervisord]定义的一样。默认10
;stdout_capture_maxbytes=1MB   ; 这个东西是设定capture管道的大小，当值不为0的时候，子进程可以从stdout
                                 发送信息，而supervisor可以根据信息，发送相应的event。
                                 默认为0，为0的时候表达关闭管道。。。非必须项
;stdout_events_enabled=false   ; 当设置为ture的时候，当子进程由stdout向文件描述符中写日志的时候，将
                                 触发supervisord发送PROCESS_LOG_STDOUT类型的event
                                 默认为false。。。非必须设置
;stderr_logfile=/a/path        ; 这个东西是设置stderr写的日志路径，当redirect_stderr=true。这个就不用
                                 设置了，设置了也是白搭。因为它会被写入stdout_logfile的同一个文件中
                                 默认为AUTO，也就是随便找个地存，supervisord重启被清空。。非必须设置
;stderr_logfile_maxbytes=1MB   ; 这个出现好几次了，就不重复了
;stderr_logfile_backups=10     ; 这个也是
;stderr_capture_maxbytes=1MB   ; 这个一样，和stdout_capture一样。 默认为0，关闭状态
;stderr_events_enabled=false   ; 这个也是一样，默认为false
;environment=A="1",B="2"       ; 这个是该子进程的环境变量，和别的子进程是不共享的
;serverurl=AUTO                ;

; The below sample eventlistener section shows all possible
; eventlistener subsection values, create one or more 'real'
; eventlistener: sections to be able to handle event notifications
; sent by supervisor.

;[eventlistener:theeventlistenername] ;这个东西其实和program的地位是一样的，也是suopervisor启动的子进
                                       程，不过它干的活是订阅supervisord发送的event。他的名字就叫
                                       listener了。我们可以在listener里面做一系列处理，比如报警等等
                                       楼主这两天干的活，就是弄的这玩意
;command=/bin/eventlistener    ; 这个和上面的program一样，表示listener的可执行文件的路径
;process_name=%(program_name)s ; 这个也一样，进程名，当下面的numprocs为多个的时候，才需要。否则默认就
                                 OK了
;numprocs=1                    ; 相同的listener启动的个数
;events=EVENT                  ; event事件的类型，也就是说，只有写在这个地方的事件类型。才会被发送


;buffer_size=10                ; 这个是event队列缓存大小，单位不太清楚，楼主猜测应该是个吧。当buffer
                                 超过10的时候，最旧的event将会被清除，并把新的event放进去。
                                 默认值为10。。非必须选项
;directory=/tmp                ; 进程执行前，会切换到这个目录下执行
                                 默认为不切换。。。非必须
;umask=022                     ; 淹没，默认为none，不说了
;priority=-1                   ; 启动优先级，默认-1，也不扯了
;autostart=true                ; 是否随supervisord启动一起启动，默认true
;autorestart=unexpected        ; 是否自动重启，和program一个样，分true,false,unexpected等，注意
                                  unexpected和exitcodes的关系
;startsecs=1                   ; 也是一样，进程启动后跑了几秒钟，才被认定为成功启动，默认1
;startretries=3                ; 失败最大尝试次数，默认3
;exitcodes=0,2                 ; 期望或者说预料中的进程退出码，
;stopsignal=QUIT               ; 干掉进程的信号，默认为TERM，比如设置为QUIT，那么如果QUIT来干这个进程
                                 那么会被认为是正常维护，退出码也被认为是expected中的
;stopwaitsecs=10               ; max num secs to wait b4 SIGKILL (default 10)
;stopasgroup=false             ; send stop signal to the UNIX process group (default false)
;killasgroup=false             ; SIGKILL the UNIX process group (def false)
;user=chrism                   ;设置普通用户，可以用来管理该listener进程。
                                默认为空。。非必须设置
;redirect_stderr=true          ; 为true的话，stderr的log会并入stdout的log里面
                                默认为false。。。非必须设置
;stdout_logfile=/a/path        ; 这个不说了，好几遍了
;stdout_logfile_maxbytes=1MB   ; 这个也是
;stdout_logfile_backups=10     ; 这个也是
;stdout_events_enabled=false   ; 这个其实是错的，listener是不能发送event
;stderr_logfile=/a/path        ; 这个也是
;stderr_logfile_maxbytes=1MB   ; 这个也是
;stderr_logfile_backups        ; 这个不说了
;stderr_events_enabled=false   ; 这个也是错的，listener不能发送event
;environment=A="1",B="2"       ; 这个是该子进程的环境变量
                                 默认为空。。。非必须设置
;serverurl=AUTO                ; override serverurl computation (childutils)

; The below sample group section shows all possible group values,
; create one or more 'real' group: sections to create "heterogeneous"
; process groups.

;[group:thegroupname]  ;这个东西就是给programs分组，划分到组里面的program。我们就不用一个一个去操作了
                         我们可以对组名进行统一的操作。 注意：program被划分到组里面之后，就相当于原来
                         的配置从supervisor的配置文件里消失了。。。supervisor只会对组进行管理，而不再
                         会对组里面的单个program进行管理了
;programs=progname1,progname2  ; 组成员，用逗号分开
                                 这个是个必须的设置项
;priority=999                  ; 优先级，相对于组和组之间说的
                                 默认999。。非必须选项

; The [include] section can just contain the "files" setting.  This
; setting can list multiple files (separated by whitespace or
; newlines).  It can also contain wildcards.  The filenames are
; interpreted as relative to this file.  Included files *cannot*
; include files themselves.

;[include]                         ;这个东西挺有用的，当我们要管理的进程很多的时候，写在一个文件里面
                                    就有点大了。我们可以把配置信息写到多个文件中，然后include过来
;files = relative/directory/*.ini

配置样例

[supervisord] 
http_port=/var/tmp/supervisor.sock ; (default is to run a UNIX domain socket server) 
;http_port=127.0.0.1:9001  ; (alternately, ip_address:port specifies AF_INET) 
;sockchmod=0700              ; AF_UNIX socketmode (AF_INET ignore, default 0700) 
;sockchown=nobody.nogroup     ; AF_UNIX socket uid.gid owner (AF_INET ignores) 
;umask=022                   ; (process file creation umask;default 022) 
logfile=/var/log/supervisor/supervisord.log ; (main log file;default $CWD/supervisord.log) 
logfile_maxbytes=50MB       ; (max main logfile bytes b4 rotation;default 50MB) 
logfile_backups=10          ; (num of main logfile rotation backups;default 10) 
loglevel=info               ; (logging level;default info; others: debug,warn) 
pidfile=/var/run/supervisord.pid ; (supervisord pidfile;default supervisord.pid) 
nodaemon=false              ; (start in foreground if true;default false) 
minfds=1024                 ; (min. avail startup file descriptors;default 1024) 
minprocs=200                ; (min. avail process descriptors;default 200) 

;nocleanup=true              ; (don't clean up tempfiles at start;default false) 
;http_username=user          ; (default is no username (open system)) 
;http_password=123           ; (default is no password (open system)) 
;childlogdir=/tmp            ; ('AUTO' child log dir, default $TEMP) 
;user=chrism                 ; (default is current user, required if root) 
;directory=/tmp              ; (default is not to cd during start) 
;environment=KEY=value       ; (key value pairs to add to environment) 

[supervisorctl] 
serverurl=unix:///var/tmp/supervisor.sock ; use a unix:// URL  for a unix socket 
;serverurl=http://127.0.0.1:9001 ; use an http:// url to specify an inet socket 
;username=chris              ; should be same as http_username if set 
;password=123                ; should be same as http_password if set 
;prompt=mysupervisor         ; cmd line prompt (default "supervisor") 

; The below sample program section shows all possible program subsection values, 
; create one or more 'real' program: sections to be able to control them under 
; supervisor. 

;[program:example] 
;command=/bin/echo; the program (relative uses PATH, can take args) 
;priority=999                ; the relative start priority (default 999) 
;autostart=true              ; start at supervisord start (default: true) 
;autorestart=true            ; retstart at unexpected quit (default: true) 
;startsecs=10                ; number of secs prog must stay running (def. 10) 
;startretries=3              ; max # of serial start failures (default 3) 
;exitcodes=0,2               ; 'expected' exit codes for process (default 0,2) 
;stopsignal=QUIT             ; signal used to kill process (default TERM) 
;stopwaitsecs=10             ; max num secs to wait before SIGKILL (default 10) 
;user=chrism                 ; setuid to this UNIX account to run the program 
;log_stdout=true             ; if true, log program stdout (default true) 
;log_stderr=true             ; if true, log program stderr (def false) 
;logfile=/var/log/supervisor.log    ; child log path, use NONE for none; default AUTO 
;logfile_maxbytes=1MB        ; max # logfile bytes b4 rotation (default 50MB) 
;logfile_backups=10          ; # of logfile backups (default 10)

“;”为注释。各参数的含义都很明确。可以根据官方手册结合实验来进一步深入了解。重点说几个[program:example]中的参数

;command=/bin/echo;         supervisor启动时将要开启的进程。相对或绝对路径均可。若是相对路径则会从supervisord的$PATH变中查找。命令可带参数。 
;priority=999                   指明进程启动和关闭的顺序。低优先级表明进程启动时较先启动关闭时较后关闭。高优先级表明进程启动时启动时较后启动关闭时较先关闭。 
;autostart=true                 是否随supervisord启动而启动 
;autorestart=true               进程意外退出后是否自动重启 
;startsecs=10                   进程持续运行多久才认为是启动成功 
;startretries=3                 重启失败的连续重试次数 
;exitcodes=0,2                  若autostart设置为unexpected且监控的进程并非因为supervisord停止而退出，那么如果进程的退出码不在exitcode列表中supervisord将重启进程 
;stopsignal=QUIT                杀进程的信号 
;stopwaitsecs=10                向进程发出stopsignal后等待OS向supervisord返回SIGCHILD 的时间。若超时则supervisord将使用SIGKILL杀进程

如下看一个使用supervisor监控的配置情况（配置中的其他默认内容在此省略）

[program:worker_for_summary] 
command=/home/op1/scripts/rabbitmqclient/worker_for_summary.py 
priority=1 
log_stderr=true             ; if true, log program stderr (def false) 

[program:worker_for_detail_all] 
command=/home/op1/scripts/rabbitmqclient/worker_for_detail_all.py 
priority=1 
log_stderr=true             ; if true, log program stderr (def false) 

[program:worker_for_detail_recent_list] 
command=/home/op1/scripts/rabbitmqclient/worker_for_detail_recent_list.py 
priority=1 
log_stderr=true             ; if true, log program stderr (def false) 

[program:worker_for_detail_recent_sset] 
command=/home/op1/scripts/rabbitmqclient/worker_for_detail_recent_sset.py 
priority=1 
log_stderr=true             ; if true, log program stderr (def false) 

[program:publisher_for_summary] 
command=/home/op1/scripts/rabbitmqclient/publisher_for_summary.py 
priority=999 
log_stderr=true             ; if true, log program stderr (def false) 

[program:publisher_for_summary_nt] 
command=/home/op1/scripts/rabbitmqclient/publisher_for_summary_nt.py 
priority=999 
log_stderr=true             ; if true, log program stderr (def false) 

[program:publisher_for_detail] 
command=/home/op1/scripts/rabbitmqclient/publisher_for_detail.py 
priority=999 
log_stderr=true             ; if true, log program stderr (def false) 

[program:publisher_for_detail_nt] 
command=/home/op1/scripts/rabbitmqclient/publisher_for_detail_nt.py 
priority=999 
log_stderr=true             ; if true, log program stderr (def false)

配置完成后启动supervisord

[root@op-zhongkong ～]# /etc/init.d/supervisord start

可以看到配置的各个进程在后台运行了起来。停掉某个进程后supervisor会马上重启该进程

停止supervisor

[root@op-zhongkong ～]# /etc/init.d/supervisord stop

可以看到配置的各个进程都停止运行了。可以通过supervisorctl查看管理监控的进程情况

[root@op-zhongkong ～]# sudo supervisorctl 
publisher_for_detail RUNNING    pid 27557, uptime 0:00:45 
publisher_for_detail_nt RUNNING    pid 27567, uptime 0:00:45 
publisher_for_summary RUNNING    pid 27566, uptime 0:00:45 
publisher_for_summary_nt RUNNING    pid 27568, uptime 0:00:45 
worker_for_detail_all RUNNING    pid 27581, uptime 0:00:45 
worker_for_detail_recent RUNNING    pid 27582, uptime 0:00:45 
worker_for_summary RUNNING    pid 27559, uptime 0:00:45 

#可通过help了解命令的更多用法 
supervisor> help 

Documented commands (type help <topic>): 
======================================== 
EOF    exit  maintail  quit    restart   start   stop 
clear  help  open      reload  shutdown  status  tail 

supervisor> help stop 
stop <processname>            Stop a process. 
stop <processname> <processname>    Stop multiple processes 
stop all                Stop all processes 
  When all processes are stopped, they are stopped in 
  reverse priority order (see config file) 
supervisor> help status 
status          Get all process status info. 
status <name>     Get status on a single process by name. 
status <name> <name>    Get status on multiple named processes. 

#停止某个进程 
supervisor> stop publisher_for_summary 
publisher_for_summary: stopped 

#查看此时此刻的状态 
supervisor> status 
publisher_for_detail RUNNING    pid 27557, uptime 0:05:41 
publisher_for_detail_nt RUNNING    pid 27567, uptime 0:05:41 
publisher_for_summary STOPPED    Feb 27 02:48 PM 
publisher_for_summary_nt RUNNING    pid 27568, uptime 0:05:41 
worker_for_detail_all RUNNING    pid 27581, uptime 0:05:41 
worker_for_detail_recent RUNNING    pid 27582, uptime 0:05:41 
worker_for_summary RUNNING    pid 27559, uptime 0:05:41 
#发现被supervisorctl停掉的进程不会被自动重启 

#开启刚才停掉的进程 
supervisor> start publisher_for_summary 
publisher_for_summary: started 
supervisor> status 
publisher_for_detail RUNNING    pid 27557, uptime 0:08:02 
publisher_for_detail_nt RUNNING    pid 27567, uptime 0:08:02 
publisher_for_summary RUNNING    pid 3035, uptime 0:00:04 
publisher_for_summary_nt RUNNING    pid 27568, uptime 0:08:02 
worker_for_detail_all RUNNING    pid 27581, uptime 0:08:02 
worker_for_detail_recent RUNNING    pid 27582, uptime 0:08:02 
worker_for_summary RUNNING    pid 27559, uptime 0:08:02 

#停掉所有进程 
supervisor> stop all 
worker_for_detail_recent: stopped 
worker_for_detail_all: stopped 
publisher_for_summary_nt: stopped 
publisher_for_detail_nt: stopped 
publisher_for_summary: stopped 
worker_for_summary: stopped 
publisher_for_detail: stopped 
supervisor> status 
publisher_for_detail STOPPED    Feb 27 02:51 PM 
publisher_for_detail_nt STOPPED    Feb 27 02:51 PM 
publisher_for_summary STOPPED    Feb 27 02:51 PM 
publisher_for_summary_nt STOPPED    Feb 27 02:51 PM 
worker_for_detail_all STOPPED    Feb 27 02:51 PM 
worker_for_detail_recent STOPPED    Feb 27 02:51 PM 
worker_for_summary STOPPED    Feb 27 02:51 PM 

#开启所有进程 
supervisor> start all 
publisher_for_detail: started 
worker_for_summary: started 
publisher_for_summary: started 
publisher_for_detail_nt: started 
publisher_for_summary_nt: started 
worker_for_detail_all: started 
worker_for_detail_recent: started 
supervisor> status 
publisher_for_detail RUNNING    pid 5111, uptime 0:00:15 
publisher_for_detail_nt RUNNING    pid 5141, uptime 0:00:15 
publisher_for_summary RUNNING    pid 5135, uptime 0:00:15 
publisher_for_summary_nt RUNNING    pid 5147, uptime 0:00:15 
worker_for_detail_all RUNNING    pid 5153, uptime 0:00:15 
worker_for_detail_recent RUNNING    pid 5159, uptime 0:00:14 
worker_for_summary RUNNING    pid 5112, uptime 0:00:15

————————————下面是线上用过的supervisor监控python程序的一个配置———————-

[program:xcspam]
command=/usr/bin/python /app/web/xcspam/bin/main.py --port=93%(process_num)02d
process_name=%(program_name)s_%(process_num)02d
numprocs=16
numprocs_start=1
directory=/app/web/xcspam
user=work
autostart=true
autorestart=true
stopsignal=QUIT
stdout_logfile=/data/log/xcspam/xcspam.log
stderr_logfile=/data/log/xcspam/xcspam_error.log
stdout_logfile_maxbytes=0
stderr_logfile_maxbytes=0
environment=PYTHONPATH=/app/web/xcspam, ZUIYOU_ENV=production

[program:report]
command=/usr/bin/celery -A worker worker -Q report --loglevel=INFO
directory=/app/web/xcspam/bin
user=work
autostart=true
autorestart=true
stopsignal=QUIT
stdout_logfile=/data/log/xcspam/celery-report.log
stderr_logfile=/data/log/xcspam/celery-report_error.log
stdout_logfile_maxbytes=0
stderr_logfile_maxbytes=0
environment=PYTHONPATH=/app/web/xcspam, ZUIYOU_ENV=production

[program:antiwater]
command=/usr/bin/celery -A worker worker -Q antiwater --loglevel=INFO
directory=/app/web/xcspam/bin
user=work
autostart=true
autorestart=true
stopsignal=QUIT
stdout_logfile=/data/log/xcspam/celery-antiwater.log
stderr_logfile=/data/log/xcspam/celery-antiwater_error.log
stdout_logfile_maxbytes=0
stderr_logfile_maxbytes=0
environment=PYTHONPATH=/app/web/xcspam, ZUIYOU_ENV=production

[program:celery-flower]
command=/usr/bin/celery flower -A worker --address=10.31.51.232 --port=9330
directory=/app/web/xcspam/bin
user=work
autostart=true
autorestart=true
stopsignal=QUIT
stdout_logfile=/data/log/xcspam/celery-flower.log
stderr_logfile=/data/log/xcspam/celery-flower_error.log
stdout_logfile_maxbytes=0
stderr_logfile_maxbytes=0
environment=PYTHONPATH=/app/web/xcspam, ZUIYOU_ENV=production

由于默默使用supervisorctl命令查看监控的程序运行状态是交互式的，所以自己写了个简单的脚本命令superctl，可以直接查看

[root@op-zhongkong ～]# cat /usr/local/bin/superctl
/usr/bin/python /usr/local/bin/superctl -c /etc/supervisord.conf $1 $2
[root@op-zhongkong ～]# chmod 755 /usr/local/bin/superctl

[root@op-zhongkong ～]#  superctl status
antiwater                        RUNNING   pid 17172, uptime 0:21:23
celery-flower                    RUNNING   pid 20507, uptime 0:18:52
report                           RUNNING   pid 16752, uptime 0:21:35
xcspam:xcspam_01                 RUNNING   pid 14594, uptime 0:23:00
xcspam:xcspam_02                 RUNNING   pid 14526, uptime 0:23:01
xcspam:xcspam_03                 RUNNING   pid 14551, uptime 0:23:01
xcspam:xcspam_04                 RUNNING   pid 14641, uptime 0:22:59
xcspam:xcspam_05                 RUNNING   pid 14642, uptime 0:22:58
xcspam:xcspam_06                 RUNNING   pid 14608, uptime 0:22:59
xcspam:xcspam_07                 RUNNING   pid 14618, uptime 0:22:59
xcspam:xcspam_08                 RUNNING   pid 14674, uptime 0:22:58
xcspam:xcspam_09                 RUNNING   pid 14690, uptime 0:22:58
xcspam:xcspam_10                 RUNNING   pid 14498, uptime 0:23:02
xcspam:xcspam_11                 RUNNING   pid 14462, uptime 0:23:03
xcspam:xcspam_12                 RUNNING   pid 14463, uptime 0:23:03
xcspam:xcspam_13                 RUNNING   pid 14579, uptime 0:23:00
xcspam:xcspam_14                 RUNNING   pid 14749, uptime 0:22:58
xcspam:xcspam_15                 RUNNING   pid 14669, uptime 0:22:58
xcspam:xcspam_16                 RUNNING   pid 14512, uptime 0:23:02

PostgreSQL日志分析工具——pgBadger

摘要

之前曾介绍过PostgreSQL的日志审计，这会将执行的SQL输出到服务日志(pg_log)，势必会带来性能问题，真正的问题是，这些记录对我们有多少帮助?所以我们来看一下如何使用增加的日志记录来做一些有用的事情。

pg_stat_statements 不仅输出SQL语句，还可以输出执行时间等，通过分析此服务器日志，可以知道执行什么样的SQL，以及缩小范围找到哪些SQL有可能出现性能问题。

SQL日志分析工具pgBadger

pgBadger 主页：home 下载地址：download

pgBadger是在Perl中创建的一个脚本，与PHP脚本中开发的名为pgFouine的程序具有相同的功能。在命令行上指定并执行服务器日志时，会生成一个将服务器日志分析为HTML文件的报告。

此外，它不仅收集SQL，还收集服务器日志中的错误日志等。

环境

CentOS 6.9、PostgreSQL9.5.9、pgBadger 9.2

安装pgBadger

tar zxvf pgbadger-9.2.tar.gz 
cd pgbadger-9.2 
[root@localhost pgbadger-9.2]# ll 
total 1416 
drwxr-xr-x. 8 root root    4096 Sep 11 01:13 blib 
-rw-rw-r--. 1 root root   94609 Jul 28 07:45 ChangeLog 
-rw-rw-r--. 1 root root     347 Jul 28 07:45 CONTRIBUTING.md 
drwxrwxr-x. 2 root root    4096 Jul 28 07:45 doc 
-rw-rw-r--. 1 root root     903 Jul 28 07:45 LICENSE 
-rw-r--r--. 1 root root   24018 Sep 11 01:13 Makefile 
-rw-rw-r--. 1 root root    1400 Jul 28 07:45 Makefile.PL 
-rw-rw-r--. 1 root root      81 Jul 28 07:45 MANIFEST 
-rw-rw-r--. 1 root root     334 Jul 28 07:45 META.yml 
-rw-rw-r--. 1 root root 1256247 Jul 28 07:45 pgbadger 
-rw-r--r--. 1 root root       0 Sep 11 01:13 pm_to_blib 
-rw-rw-r--. 1 root root   30799 Jul 28 07:45 README 
drwxrwxr-x. 3 root root    4096 Jul 28 07:45 resources 
drwxrwxr-x. 2 root root    4096 Jul 28 07:45 tools 

perl Makefile.PL 

make; 

make install;

查看安装版本

[root@localhost pgbadger-9.2]# which pgbadger 
/usr/local/bin/pgbadger 
[root@localhost pgbadger-9.2]# pgbadger -V 
pgBadger version 9.2

PostgreSQL配置

logging_collector = on 
log_filename = 'postgresql-%w.log' 
log_file_mode = 0640 
log_truncate_on_rotation = on 
log_rotation_age = 1d 
log_min_duration_statement = 0 
log_checkpoints = on 
log_connections = on 
log_disconnections = on 
log_duration = on 
log_lock_waits = on 
log_line_prefix = '%t [%p]: [%l-1] user=%u,db=%d '

安装httpd、php

yum install httpd 
chkconfig httpd on 
service httpd start 
yum install php

查看/var/www

[root@localhost www]# pwd 
/var/www 
[root@localhost www]# ll 
total 20 
drwxr-xr-x. 2 root root 4096 Aug 15 15:45 cgi-bin 
drwxr-xr-x. 3 root root 4096 Sep 11 02:23 error 
drwxr-xr-x. 2 root root 4096 Sep 11 03:43 html 
drwxr-xr-x. 3 root root 4096 Sep 11 02:23 icons 
drwxr-xr-x. 3 root root 4096 Sep 11 04:33 pgbadger

日志分析

./pgbench -i 
./pgbench -c 10 -t 1000 

[root@localhost ~]# pgbadger /opt/postgres/db/pgsql-9.5.9/data/pg_log/*.log -o /var/www/pgbadger/out.html -f stderr 
[========================>] Parsed 10485802 bytes of 10485802 (100.00%), queries: 65341, events: 2 
[========================>] Parsed 755640 bytes of 755640 (100.00%), queries: 70036, events: 2 
LOG: Ok, generating html report... 
[root@localhost ~]#

在浏览器打开/var/www/pgbadger/out.html

未分类

连续日志分析(增量模式)

增量模式用于连续获取分析结果。

以增量模式执行pgBadger会在第二天创建下一个报告(增量报告)。

[root@localhost ~]# pgbadger -I /opt/postgres/db/pgsql-9.5.9/data/pg_log/*.log -o /var/www/pgbadger/out.html -f stderr 
[========================>] Parsed 1499636 bytes of 1499636 (100.00%), queries: 0, events: 0 
[========================>] Parsed 10485846 bytes of 10485846 (100.00%), queries: 65379, events: 0 
[========================>] Parsed 743891 bytes of 743891 (100.00%), queries: 4625, events: 0 
LOG: Ok, generating HTML daily report into /var/www/pgbadger//2017/09/11/... 
LOG: Ok, generating HTML daily report into /var/www/pgbadger//2017/09/12/... 
LOG: Ok, generating HTML weekly report into /var/www/pgbadger//2017/week-38/... 
LOG: Ok, generating global index to access incremental reports... 

[root@localhost ~]# ll /var/www/pgbadger/ 
total 692 
drwxr-xr-x. 4 root root   4096 Sep 11 21:09 2017 
-rw-r--r--. 1 root root 695474 Sep 12 21:15 index.html 
-rw-r--r--. 1 root root    187 Sep 12 21:15 LAST_PARSED 
drwxrwxrwx. 6 1107 1107   4096 Aug 28 17:44 postgresql-9.5.9 
[root@localhost ~]# ll /var/www/pgbadger/2017/ 
total 8 
drwxr-xr-x. 4 root root 4096 Sep 12 21:15 09 
drwxr-xr-x. 2 root root 4096 Sep 11 21:09 week-38 
[root@localhost ~]#

这里创建一个具有年份的目录，链接所有报告的索引页面以及保存最后一个解析行的文件。

以增量模式创建报表时，会创建链接每个报表页面的索引页(index.html)。

未分类

总结

pgBadger是一个完美的分析工具，旨在提高数据库的性能，因为它具有丰富的统计结果。

当你不知道PostgreSQL性能坏的原因，如果你认为查询执行时间是可疑的，可以尝试使用它。

postgresql导入导出数据库

一、postgresql 导出的数据库，标准语句

pg_dump --host [**地址**] --port [**端口**] --username [**数据库的用户名**] > [**导出的文件**] [**数据库名字**]

例子：

pg_dump --host xxxxx.com --port 3434 --username cs  > cs.sql cs

我们从http://xxxxx.com的地址上，通过postgresql开放端口3434，并使用的cs的用户，导出了命为cs数据库，存到了cs.sq文件中。

二、postgresql导入数据库，标准语句

psql -d [**数据库名字**] -f [**文件名**] [**用户名**]

例子：

psql -d cs  -f cs.sql cs

我们首先要将cs.sql导入目标主机上，在运行上条命令。

我们将cs.sql文件中的数据库导入cs用户下的cs数据库中。

三、导入docker容器中的postgresql中

sudo docker exec -i [**容器id**] psql -U [**用户名**] -d [**数据库名**] < [文件路径]

例子:

sudo docker exec -i xxxxxxx psql -U cs  -d cs < /home/lixiang/cs.sql

提示：

mac启动数据库

pg_ctl -D /usr/local/var/postgres -l /usr/local/var/postgres/server.log start

创建用户

CREATE USER [**db_name**] WITH PASSWORD [**password**]

修改角色权限：

alter user [**用户名**] superuser

一、简介

二、资源

三、CentOS系统

1、更新软件源

2、添加GitLab源

3、安装邮件服务

4、安装GitLab

四、Docker

1、更新软件源

2、安装Docker服务

3、GitLab镜像

五、配置GitLab

1、配置服务端口

2、邮件服务

3、重新生成配置

六、界面使用

1、设置密码

2、关闭头像

3、禁用注册

4、自定义页面布局

七、命令使用

1、启动服务

2、停止服务

3、获取运行状态

4、获取帮助信息

通过文件设置 Linux 环境变量

修改 Linux 环境变量实例

通过 Shell 命令 export 修改 Linux 环境变量

（1）Linux进程监控：TOP

（2）虚拟内存统计 : vmstat

（3）列出打开的文件：lsof

（4）网络包分析器：tcpdump

（5）网络状态统计：netstat

（6）进程监控：Htop

（7）监控Linux磁盘I/O ：iotop

（8）输入/输出统计：iostat

（9）实时局域网IP监控：IPTraf

安装软件包

配置Virtualenv及Python环境

Django项目配置

uWSGI 配置

Nginx 配置

一、Flask

1、简介

2、Flask-SQLAlchemy

2.1 一对多关系

2.2 多对多关系

3、集成Python Shell

4、蓝图

一、简单介绍

二、组成部分

三、安装和配置

摘要

SQL日志分析工具pgBadger

环境

安装pgBadger

PostgreSQL配置

安装httpd、php

日志分析

连续日志分析(增量模式)

总结

一、postgresql 导出的数据库， 标准语句

二、postgresql导入数据库， 标准语句

三、导入docker容器中的postgresql中

一、postgresql 导出的数据库，标准语句

二、postgresql导入数据库，标准语句