Ceph 快速部署 ( Centos7 + Jewel )

这篇文章主要介绍了如何用三台虚拟机搭建一套Ceph分布式系统,步骤简洁但不失准确性。环境清理一小节可以解决绝大多数部署不成功的问题,最后一节介绍了常用的Ceph操作,希望能给刚搭建环境的同学一些帮助。

环境

三台装有CentOS 7的主机,每台主机有三个磁盘(虚拟机磁盘要大于100G),详细信息如下:

[root@ceph-1~]# cat /etc/redhat-release 
CentOS Linux release 7.2.1511 (Core) 
[root@ceph-1 ~]# lsblk 
NAME            MAJ:MINRM   SIZE RO TYPE MOUNTPOINT
sda              8:0    0   128G  0 disk 
├─sda1           8:1    0   500M  0 part /boot
└─sda2           8:2    0 127.5G  0 part 
 ├─centos-root 253:0    0    50G 0 lvm  /
 ├─centos-swap 253:1    0     2G 0 lvm  [SWAP]
  └─centos-home 253:2    0  75.5G  0 lvm /home
sdb              8:16   0     2T  0 disk 
sdc              8:32   0     2T  0 disk 
sdd              8:48   0     2T  0 disk 
sr0             11:0    1  1024M  0 rom  
[root@ceph-1 ~]# cat /etc/hosts
..
192.168.57.222ceph-1                                                                                                                                      
192.168.57.223ceph-2                                                                                                                                      
192.168.57.224 ceph-3

集群配置如下:

未分类

环境清理

如果之前部署失败了,不必删除ceph客户端,或者重新搭建虚拟机,只需要在每个节点上执行如下指令即可将环境清理至刚安装完ceph客户端时的状态!强烈建议在旧集群上搭建之前清理干净环境,否则会发生各种异常情况。

psaux|grep ceph |awk '{print $2}'|xargs kill -9
ps -ef|grep ceph
#确保此时所有ceph进程都已经关闭!!!如果没有关闭,多执行几次。
umount /var/lib/ceph/osd/*
rm -rf /var/lib/ceph/osd/*
rm -rf /var/lib/ceph/mon/*
rm -rf /var/lib/ceph/mds/*
rm -rf /var/lib/ceph/bootstrap-mds/*
rm -rf /var/lib/ceph/bootstrap-osd/*
rm -rf /var/lib/ceph/bootstrap-rgw/*
rm -rf /var/lib/ceph/tmp/*
rm -rf /etc/ceph/*
rm -rf /var/run/ceph/*

yum源及ceph的安装

需要在每个主机上执行以下指令:

yumclean all
rm -rf /etc/yum.repos.d/*.repo
wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo
sed -i '/aliyuncs/d' /etc/yum.repos.d/CentOS-Base.repo
sed -i '/aliyuncs/d' /etc/yum.repos.d/epel.repo
sed -i 's/$releasever/7/g' /etc/yum.repos.d/CentOS-Base.repo

增加ceph的源:

vim/etc/yum.repos.d/ceph.repo

添加以下内容:

[ceph]
name=ceph
baseurl=http://mirrors.163.com/ceph/rpm-jewel/el7/x86_64/
gpgcheck=0
[ceph-noarch]
name=cephnoarch
baseurl=http://mirrors.163.com/ceph/rpm-jewel/el7/noarch/
gpgcheck=0

安装ceph客户端:

yummakecache
yum install ceph ceph-radosgw rdate -y
关闭selinux&firewalld
sed-i 's/SELINUX=.*/SELINUX=disabled/' /etc/selinux/config
setenforce 0
systemctl stop firewalld 
systemctl disable firewalld

同步各个节点时间:

yum-y install rdate
rdate -s time-a.nist.gov
echo rdate -s time-a.nist.gov >> /etc/rc.d/rc.local 
chmod +x /etc/rc.d/rc.local

开始部署

在部署节点(ceph-1)安装ceph-deploy,下文的部署节点统一指ceph-1:

[root@ceph-1~]# yum -y install ceph-deploy
[root@ceph-1 ~]# ceph-deploy --version
1.5.34
[root@ceph-1 ~]# ceph -v
ceph version 10.2.2 (45107e21c568dd033c2f0a3107dec8f0b0e58374)

在部署节点创建部署目录并开始部署:

[root@ceph-1~]# cd
[root@ceph-1 ~]# mkdir cluster
[root@ceph-1 ~]# cd cluster/
[root@ceph-1 cluster]# ceph-deploy new ceph-1 ceph-2 ceph-3

如果之前没有ssh-copy-id到各个节点,则需要输入一下密码,过程log如下:

[ceph_deploy.conf][DEBUG] found configuration file at: /root/.cephdeploy.conf
[ceph_deploy.cli][INFO  ] Invoked (1.5.34): /usr/bin/ceph-deploy newceph-1 ceph-2 ceph-3
[ceph_deploy.cli][INFO  ] ceph-deploy options:
[ceph_deploy.cli][INFO  ] username                     : None
[ceph_deploy.cli][INFO  ] func                         : <function new at 0x7f91781f96e0>
[ceph_deploy.cli][INFO  ] verbose                      : False
[ceph_deploy.cli][INFO  ] overwrite_conf               : False
[ceph_deploy.cli][INFO  ] quiet                        : False
[ceph_deploy.cli][INFO  ] cd_conf                      : <ceph_deploy.conf.cephdeploy.Conf instance at 0x7f917755ca28>
[ceph_deploy.cli][INFO  ] cluster                      : ceph
[ceph_deploy.cli][INFO  ] ssh_copykey                  : True
[ceph_deploy.cli][INFO  ]  mon                          :['ceph-1', 'ceph-2', 'ceph-3']
..
..
ceph_deploy.new][WARNIN] could not connect via SSH
[ceph_deploy.new][INFO  ] will connect again with password prompt
The authenticity of host 'ceph-2 (192.168.57.223)' can't be established.
ECDSA key fingerprint is ef:e2:3e:38:fa:47:f4:61:b7:4d:d3:24:de:d4:7a:54.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'ceph-2,192.168.57.223' (ECDSA) to the list of knownhosts.
root
root@ceph-2's password: 
[ceph-2][DEBUG ] connected to host: ceph-2 
..
..
[ceph_deploy.new][DEBUG ] Resolving host ceph-3
[ceph_deploy.new][DEBUG ] Monitor ceph-3 at 192.168.57.224
[ceph_deploy.new][DEBUG ] Monitor initial members are ['ceph-1', 'ceph-2','ceph-3']
[ceph_deploy.new][DEBUG ] Monitor addrs are ['192.168.57.222','192.168.57.223', '192.168.57.224']
[ceph_deploy.new][DEBUG ] Creating a random mon key...
[ceph_deploy.new][DEBUG ] Writing monitor keyring to ceph.mon.keyring...
[ceph_deploy.new][DEBUG ] Writing initial config to ceph.conf...

此时,目录内容如下:

[root@ceph-1cluster]# ls
ceph.conf  ceph-deploy-ceph.log  ceph.mon.keyring

根据自己的IP配置向ceph.conf中添加public_network,并稍微增大mon之间时差允许范围(默认为0.05s,现改为2s):

[root@ceph-1cluster]# echo public_network=192.168.57.0/24 >> ceph.conf 
[root@ceph-1 cluster]# echo mon_clock_drift_allowed = 2 >> ceph.conf 
[root@ceph-1 cluster]# cat ceph.conf 
[global]
fsid = 0248817a-b758-4d6b-a217-11248b098e10
mon_initial_members = ceph-1, ceph-2, ceph-3
mon_host = 192.168.57.222,192.168.57.223,192.168.57.224
auth_cluster_required = cephx
auth_service_required = cephx
auth_client_required = cephx

public_network=192.168.57.0/24
mon_clock_drift_allowed = 2

开始部署monitor:

[root@ceph-1cluster]# ceph-deploy mon create-initial
..
..若干log
[root@ceph-1 cluster]# ls
ceph.bootstrap-mds.keyring  ceph.bootstrap-rgw.keyring ceph.conf            ceph.mon.keyring
ceph.bootstrap-osd.keyring  ceph.client.admin.keyring  ceph-deploy-ceph.log

查看集群状态:

[root@ceph-1cluster]# ceph -s
    cluster 0248817a-b758-4d6b-a217-11248b098e10
     health HEALTH_ERR
            no osds
            Monitorclock skew detected 
     monmap e1: 3 mons at{ceph-1=192.168.57.222:6789/0,ceph-2=192.168.57.223:6789/0,ceph-3=192.168.57.224:6789/0}
            electionepoch 6, quorum 0,1,2 ceph-1,ceph-2,ceph-3
     osdmap e1: 0 osds: 0 up, 0 in
            flagssortbitwise
      pgmap v2: 64 pgs, 1 pools, 0 bytes data, 0objects
            0 kB used, 0kB / 0 kB avail
                 64 creating

开始部署OSD:

ceph-deploy--overwrite-conf osd prepare ceph-1:/dev/sdb ceph-1:/dev/sdc ceph-1:/dev/sddceph-2:/dev/sdb ceph-2:/dev/sdc ceph-2:/dev/sdd ceph-3:/dev/sdb ceph-3:/dev/sdcceph-3:/dev/sdd  --zap-disk
ceph-deploy --overwrite-conf osd activate ceph-1:/dev/sdb1 ceph-1:/dev/sdc1ceph-1:/dev/sdd1 ceph-2:/dev/sdb1 ceph-2:/dev/sdc1 ceph-2:/dev/sdd1ceph-3:/dev/sdb1 ceph-3:/dev/sdc1 ceph-3:/dev/sdd1

我在部署的时候出了个小问题,有一个OSD没成功(待所有OSD部署完毕后,再重新部署问题OSD即可解决),如果不出意外的话,集群状态应该如下:

[root@ceph-1cluster]# ceph -s
    cluster 0248817a-b758-4d6b-a217-11248b098e10
     health HEALTH_WARN
            too few PGsper OSD (21 < min 30)
     monmap e1: 3 mons at{ceph-1=192.168.57.222:6789/0,ceph-2=192.168.57.223:6789/0,ceph-3=192.168.57.224:6789/0}
            electionepoch 22, quorum 0,1,2 ceph-1,ceph-2,ceph-3
     osdmap e45: 9 osds: 9 up, 9 in
            flagssortbitwise
      pgmap v82: 64 pgs, 1 pools, 0 bytes data, 0objects
            273 MB used,16335 GB / 16336 GB avail
                 64 active+clean

去除这个WARN,只需要增加rbd池的PG就好:

[root@ceph-1cluster]# ceph osd pool set rbd pg_num 128
set pool 0 pg_num to 128
[root@ceph-1 cluster]# ceph osd pool set rbd pgp_num 128
set pool 0 pgp_num to 128
[root@ceph-1 cluster]# ceph -s
    cluster 0248817a-b758-4d6b-a217-11248b098e10
     health HEALTH_ERR
            19 pgs arestuck inactive for more than 300 seconds
            12 pgspeering
            19 pgs stuckinactive
     monmap e1: 3 mons at{ceph-1=192.168.57.222:6789/0,ceph-2=192.168.57.223:6789/0,ceph-3=192.168.57.224:6789/0}
            electionepoch 22, quorum 0,1,2 ceph-1,ceph-2,ceph-3
     osdmap e49: 9 osds: 9 up, 9 in
            flagssortbitwise
      pgmap v96: 128 pgs, 1 pools, 0 bytes data, 0objects
            308 MB used,18377 GB / 18378 GB avail
                103 active+clean
                 12 peering
                  9 creating
                  4 activating
[root@ceph-1 cluster]# ceph -s
    cluster 0248817a-b758-4d6b-a217-11248b098e10
     health HEALTH_OK
     monmap e1: 3 mons at {ceph-1=192.168.57.222:6789/0,ceph-2=192.168.57.223:6789/0,ceph-3=192.168.57.224:6789/0}
            electionepoch 22, quorum 0,1,2 ceph-1,ceph-2,ceph-3
     osdmap e49: 9 osds: 9 up, 9 in
            flagssortbitwise
      pgmap v99: 128 pgs, 1 pools, 0 bytes data, 0objects
            310 MB used,18377 GB / 18378 GB avail
                128 active+clean

至此,集群部署完毕。

config推送

请不要使用直接修改某个节点的/etc/ceph/ceph.conf文件的方式,而是去部署节点(此处为ceph-1:/root/cluster/ceph.conf)目录下修改。因为节点到几十个的时候,不可能一个个去修改的,采用推送的方式快捷安全!修改完毕后,执行如下指令,将conf文件推送至各个节点:

[root@ceph-1cluster]# ceph-deploy --overwrite-conf config push ceph-1 ceph-2 ceph-3

此时,需要重启各个节点的monitor服务,见下一节。

mon&osd启动方式

#monitor start/stop/restart
#ceph-1为各个monitor所在节点的主机名。
systemctl start [email protected]
systemctl restart [email protected]
systemctl stop [email protected]

#OSD start/stop/restart 
#0为该节点的OSD的id,可以通过`ceph osd tree`查看
systemctl start/stop/restart [email protected]

[root@ceph-1 cluster]# ceph osd tree
ID WEIGHT   TYPE NAME       UP/DOWNREWEIGHT PRIMARY-AFFINITY 
-1 17.94685 rootdefault                                     
-2  5.98228     hostceph-1                                  
 0  1.99409        osd.0        up 1.00000          1.00000 
 1  1.99409        osd.1        up 1.00000          1.00000 
 8  1.99409        osd.2        up 1.00000          1.00000 
-3  5.98228     hostceph-2                                  
 2  1.99409        osd.3        up 1.00000          1.00000 
 3  1.99409        osd.4        up 1.00000          1.00000 
 4  1.99409        osd.5        up 1.00000          1.00000 
-4  5.98228     hostceph-3                                  
 5  1.99409        osd.6        up 1.00000          1.00000 
 6  1.99409        osd.7        up  1.00000         1.00000 
 7  1.99409        osd.8        up 1.00000          1.00000

Percona XtraDB Cluster 集群环境建立与验证指南

Percona XtraDB Cluster 是MySQL数据库的一种集群方案。并且与 MySQL Server 社区版本、Percona Server 和 MariaDB 兼容。

一、在Ubuntu上安装Percona XtraDB Cluster

实验环境:

假设有3台计算机设备安装了ubuntu系统,将被用作3个节点:

Node       Host        IP

Node1      pxc1        172.16.24.209
Node2      pxc2        172.16.24.208
Node3      pxc3        172.16.24.207

前置条件:

(1) 确保以下端口没被防火墙屏蔽或被其他进程占用:

  • 3306
  • 4444
  • 4567
  • 4568

(2) 卸载 apparmor

sudo apt-get remove apparmor

安装步骤:

在每一台设备上执行下列命令:

wget https://repo.percona.com/apt/percona-release_0.1-4.$(lsb_release -sc)_all.deb
sudo dpkg -i percona-release_0.1-4.$(lsb_release -sc)_all.deb
sudo apt update
sudo apt install percona-xtradb-cluster-full-57
passord:frank

至此,percona-xtradb-cluster已经安装,登录 MySQL.

mysql -u root -p

(输入密码 “frank”)。

添加用户

mysql> CREATE USER 'sstuser'@'localhost' IDENTIFIED BY 'passw0rd';
mysql> GRANT RELOAD, LOCK TABLES, PROCESS, REPLICATION CLIENT ON *.* TO 'sstuser'@'localhost';
mysql> FLUSH PRIVILEGES;
mysql> quit
sudo service mysql stop   

二、配置节点

1. 初始化集群

以第1台设备作为第1个集群节点。在 /etc/mysql/my.cnf 添加如下配置:

[mysqld]
wsrep_provider=/usr/lib/libgalera_smm.so
wsrep_cluster_name=pxc-cluster
wsrep_cluster_address=gcomm://
wsrep_node_name=pxc1
wsrep_node_address=172.16.24.209
wsrep_sst_method=xtrabackup-v2
wsrep_sst_auth=sstuser:passw0rd
pxc_strict_mode=ENFORCING
binlog_format=ROW
default_storage_engine=InnoDB
innodb_autoinc_lock_mode=2

完成修改之后,执行:

sudo /etc/init.d/mysql bootstrap-pxc

数据库将以自举模式启动。至此,集群初始化工作已经完成。登录MySQL,执行如下命令,查看初始化结果:

mysql> show status like 'wsrep%';
+----------------------------------+--------------------------------------+
| Variable_name                    | Value                                |
+----------------------------------+--------------------------------------+
| wsrep_local_state_uuid          | 0d718de1-a19c-11e7-81e3-127c64915155 |
| wsrep_protocol_version          | 7                                    |
| wsrep_last_committed            | 4                                    |
...
| wsrep_local_state_comment        | Synced                              |
...
| wsrep_cluster_conf_id            | 1                                    |
| wsrep_cluster_size              | 1                                    |
| wsrep_cluster_state_uuid        | 0d718de1-a19c-11e7-81e3-127c64915155 |
| wsrep_cluster_status            | Primary                              |
| wsrep_connected                  | ON                                  |
| wsrep_local_bf_aborts            | 0                                    |
| wsrep_local_index                | 0                                    |
| wsrep_provider_name              | Galera                              |
| wsrep_provider_vendor            | Codership Oy <[email protected]>    |
| wsrep_provider_version          | 3.22(r8678538)                      |
| wsrep_ready                      | ON                                  |
+----------------------------------+--------------------------------------+
67 rows in set (0.00 sec)

2. 添加节点

添加第2台设备,修改其配置文件 /etc/mysql/my.cnf ,添加如下语句:

[mysqld]
wsrep_provider=/usr/lib/libgalera_smm.so
wsrep_cluster_name=pxc-cluster
wsrep_cluster_address=gcomm://172.16.24.209,172.16.24.208,172.16.24.207
wsrep_node_name=pxc2
wsrep_node_address=172.16.24.208
wsrep_sst_method=xtrabackup-v2
wsrep_sst_auth=sstuser:passw0rd
pxc_strict_mode=ENFORCING
binlog_format=ROW
default_storage_engine=InnoDB
innodb_autoinc_lock_mode=2

退出重启即可。重启后也登录MySQL,执行“show status like ‘wsrep%’;”,查看添加结果。

添加第3台设备,修改其配置文件 /etc/mysql/my.cnf ,添加如下语句:

[mysqld]
wsrep_provider=/usr/lib/libgalera_smm.so
wsrep_cluster_name=pxc-cluster
wsrep_cluster_address=gcomm://172.16.24.209,172.16.24.208,172.16.24.207
wsrep_node_name=pxc3
wsrep_node_address=172.16.24.207
wsrep_sst_method=xtrabackup-v2
wsrep_sst_auth=sstuser:passw0rd
pxc_strict_mode=ENFORCING
binlog_format=ROW
default_storage_engine=InnoDB
innodb_autoinc_lock_mode=2

退出重启即可。重启后也登录MySQL,执行“show status like ‘wsrep%’;”,查看添加结果。

使第一台设备工作在正常模式。修改其配置文件 /etc/mysql/my.cnf ,添加如下语句:

[mysqld]
wsrep_provider=/usr/lib/libgalera_smm.so
wsrep_cluster_name=pxc-cluster
wsrep_cluster_address=gcomm://172.16.24.209,172.16.24.208,172.16.24.207
wsrep_node_name=pxc1
wsrep_node_address=172.16.24.209
wsrep_sst_method=xtrabackup-v2
wsrep_sst_auth=sstuser:passw0rd
pxc_strict_mode=ENFORCING
binlog_format=ROW
default_storage_engine=InnoDB
innodb_autoinc_lock_mode=2

重启。

三、验证写集复制功能(Write-Set Replication)

1. Create a new database on the second node:

mysql> CREATE DATABASE testDB1;
Query OK, 1 row affected (0.00 sec)

2. Create a table on the third node:

mysql> USE testDB1
Database changed
mysql> CREATE TABLE example (node_id INT PRIMARY KEY, node_name VARCHAR(30));
Query OK, 0 rows affected (0.01 sec)

3. Insert records on the first node:

mysql> INSERT INTO testDB1.example VALUES (1, 'percona1');
Query OK, 1 row affected (0.01 sec)

4. Retrieve rows from that table on the second node:

mysql> SELECT * FROM testDB1.example;
+---------+-----------+
| node_id | node_name |
+---------+-----------+
|      1 | percona1  |
+---------+-----------+
1 row in set (0.00 sec)

Ubuntu 12.04 安装 GitLab

打开官网,下载安装包

gitlab本身依赖了很多第三方软件,所以我们直接下载官方提供的已经打包好的套件,里面包含了全部的软件。就不需要自己一个个安装了。

https://about.gitlab.com/downloads/#ubuntu1204

前往下载安装包页面

未分类

未分类

选择一个版本下载,建议不要选择太新的,此处选择:gitlab-ce7.10.5~omnibus-1amd64.deb

未分类

安装

参考官方文档,第一步执行如下命令,安装一些依赖的软件:

sudo apt-get install curl openssh-server ca-certificates postfix

其中postfix是用来发送邮件的,当用户注册我们自己搭建的GitLab时,用来给用户发送验证邮件。

postfix设置:

未分类

未分类

接着安装gitlab:

sudo dpkg -i gitlab-ce_7.10.5-omnibus-1_amd64.deb

配置GitLab

当用户注册我们自己搭建的GitLab时,需要给用户发送一封验证邮件,用户点击验证邮件才能完成注册。
我们是通过第三方邮件厂商(比如:腾讯,网易)给用户发送邮件的,这就需要我们配置用来给用户发送邮件的账号密码。

sudo vim /etc/gitlab/gitlab.rb

!!!!!!!!!!!记得去掉配置文件前面的# 注释

腾讯企业邮箱配置

gitlabrails['smtpenable'] = true
gitlabrails['smtpaddress'] = "smtp.exmail.qq.com"
gitlab_rails['smtp_port'] = 25 ##注意这里是25,腾讯企业邮箱官网说明的 smtp 发件端口号是 465,根本不对。
gitlabrails['smtpuser_name'] = "[email protected]"
gitlabrails['smtppassword'] = "xxx"
gitlabrails['smtpdomain'] = "xxx.com"
gitlabrails['smtpauthentication'] = "login"
gitlabrails['smtpenablestarttlsauto'] = true
gitlabrails['smtptls'] = true
gitlabrails['gitlabemail_from'] = "[email protected]"
user["gituseremail"] = "[email protected]"

163邮箱配置

gitlabrails['smtpenable'] = true
gitlabrails['smtpaddress'] = "smtp.163.com"
gitlabrails['smtpport'] = 25 
gitlabrails['smtpuser_name'] = "[email protected]"
gitlabrails['smtppassword'] = "xxpassword"
gitlabrails['smtpdomain'] = "163.com"
gitlabrails['smtpauthentication'] = :login
gitlabrails['smtpenablestarttlsauto'] = true

gitlabrails['gitlabemail_from'] = "[email protected]"  
user["gituseremail"] = "[email protected]"  

未分类

未分类

启动GitLab

sudo gitlab-ctl reconfigure

有时候你还需要重启postfix。(可选)

sudo /etc/init.d/postfix restart

访问GitLab

打开浏览器,输入上面配置的外网访问地址

默认管理员的账户密码:

Username: root
Password: 5iveL!fe

注意

1、腾讯企业邮箱配置

gitlab_rails['smtp_port'] = 25 ##注意这里是25,腾讯企业邮箱官网说明的 smtp 发件端口号是 465,根本不对。

2、GitLab 502问题

有可能是当前服务器上开启了tomcat,占用了8080端口,使GitLab的unicorn服务不能开启。

解决方法:修改/etc/gitlab/gitlab.rb

!!!!!!!!!!!记得去掉配置文件前面的# 注释

unicorn['port'] = 9090

然后重启GitLab服务

sudo gitlab-ctl reconfigure

其他命令

查看GitLab日志

sudo gitlab-ctl tail

ubuntu 16.04配置nginx服务器实现一个IP一个端口多个站点

未分类

特点:

  • Nginx 可以部署在网络上使用 FastCGI,脚本,SCGI 处理程序,WSGI 应用服务器或 Phusion 乘客模块的动态 HTTP 内容,并可作为软件负载均衡器。

  • Nginx 使用异步事件驱动的方法来处理请求。 Nginx的模块化事件驱动架构可以在高负载下提供更可预测的性能。

  • Nginx是一款面向性能设计的HTTP服务器,相较于Apache、lighttpd具有占有内存少,稳定性高等优势。与旧版本(<=2.2)的Apache不同,nginx不采用每客户机一线程的设计模型,而是充分使用异步逻辑,削减了上下文调度开销,所以并发服务能力更强。整体采用模块化设计,有丰富的模块库和第三方模块库,配置灵活。 在Linux作业系统下,nginx使用epoll事件模型,得益于此,nginx在Linux作业系统下效率相当高。同时Nginx在OpenBSD或FreeBSD作业系统上采用类似于epoll的高效事件模型kqueue。

实现两个域名,打开两个不同的站点

  • 把0522.com和0o0.live解析到同一个IP

  • 检查nginx配置文件

vim /etc/nginx/nginx.conf

确保,配置文件的http{}大括号里有:

include /etc/nginx/conf.d/*.conf

例如:

user www-data;
worker_processes auto;
pid /run/nginx.pid;

events {
        worker_connections 768;
        # multi_accept on;
}

http {

        ##
        # Basic Settings
        ##

        sendfile on;
        tcp_nopush on;
        tcp_nodelay on;
        keepalive_timeout 65;
        types_hash_max_size 2048;
        # server_tokens off;

        # server_names_hash_bucket_size 64;
        # server_name_in_redirect off;

        include /etc/nginx/mime.types;
        default_type application/octet-stream;

        ##
        # SSL Settings
        ##

        ssl_protocols TLSv1 TLSv1.1 TLSv1.2; # Dropping SSLv3, ref: POODLE
        ssl_prefer_server_ciphers on;

        ##
        # Logging Settings
        ##

        access_log /var/log/nginx/access.log;
        error_log /var/log/nginx/error.log;

        ##
        # Gzip Settings
        ##

        gzip on;
        gzip_disable "msie6";

        # gzip_vary on;
        # gzip_proxied any;
        # gzip_comp_level 6;
        # gzip_buffers 16 8k;
        # gzip_http_version 1.1;
        # gzip_types text/plain text/css application/json application/javascript text/xml application/xml application/xml+rss text/javascript;

        ##
        # Virtual Host Configs
        ##

        include /etc/nginx/conf.d/*.conf;    #就是这里,如果前面有#号,请把#号去掉
        include /etc/nginx/sites-enabled/*;
}
  • 在目录/etc/nginx/conf.d/下面新建两个文件:
0522.conf
0o0.conf #.conf前的名字随你

写入以下内容:

server
{
listen       80;
server_name 0522.us www.0522.us;   #这里填写你的域名,包括无www301转向有www
index index.html index.htm index.php default.html default.htm default.php;
root  /var/www/0522.us;     #这里填写域名对应的站点根目录


location / {
try_files $uri $uri/ /index.php;

}

location ~ .php$ {
try_files $uri =404;
fastcgi_param SCRIPT_FILENAME $document_root$fastcgi_script_name;
include fastcgi_params;
fastcgi_pass unix:/var/run/php/php7.0-fpm.sock;
}



location ~ .*.(gif|jpg|jpeg|png|bmp|swf|ico)$
{
expires      30d;
}

location ~ .*.(js|css)?$
{
expires      30d;
}


}
  • 以上是0522.conf的内容
server
{
listen       80;
server_name 0o0.live www.0o0.live;
index index.html index.htm index.php default.html default.htm default.php;
root  /var/www/0o0.live;     


location / {
try_files $uri $uri/ /index.php;

}

location ~ .php$ {
try_files $uri =404;
fastcgi_param SCRIPT_FILENAME $document_root$fastcgi_script_name;
include fastcgi_params;
fastcgi_pass unix:/var/run/php/php7.0-fpm.sock;
}



location ~ .*.(gif|jpg|jpeg|png|bmp|swf|ico)$
{
expires      30d;
}

location ~ .*.(js|css)?$
{
expires      30d;
}


}

以上是0o0.conf的内容

  • 重启nginx
sudo service nginx restart  #所有nginx的设置要重启后才先效
  • 分别上传两个域名的不同网站文件到相应的网站根目录

例如:

0522.us域名上传网站文件到/var/www/0522.us目录下
0o0.live域名上传网站文件到/var/www/0o0.live目录下
#你的域名上传到你自己设置的根目录

完美

Ubuntu 批量修改文本内容

Linux下批量替换多个文件中的字符串的简单方法。用sed命令可以批量替换多个文件中的字符串。

用sed命令可以批量替换多个文件中的 字符串。

sed -i "s/原字符串/新字符串/g" `grep 原字符串 -rl 所在目录`

例如:我要把nixonli替换 为nixon,执行命令:

sed -i "s/nixonli/nixon/g" 'grep nixonli -rl /www'

这是目前linux最简单的批量替换字符串命令了!

具体格式如下:

sed -i "s/oldString/newString/g"  `grep oldString -rl /path`
实例代码:sed -i "s/12345/一二三四五/g" `grep '12345' -rl /usr/aa`
<strong>sed -i "s/12345/一二三四五/g" `grep '1234' -rl ./`</strong>

补充说明:

sed -i "s/oldString/newString/g"  `grep oldString -rl /path`

对多个文件的处理可能不支持,需要用 xargs, 搞定。

变种如下:

grepoldString -rl /path | xargssed -i "s/oldString/newString/g"

注意:

在 `grep oldString -rl /path` 中 ` 为1前边的翻引号`,而不是enter 前的 ‘

CentOS 7 搭建ngrok服务器

IE8和IE9在实现跨域请求的时候使用XDomainRequest自己实现了一套,所以即使是使用jquery1.9.1版本也无法直接兼容IE8,IE9的跨域请求。

一、前提条件

需要一台云服务器和一个域名解析到该IP

二、环境安装

1、安装 gcc

yum install gcc

2、安装 git

yum install git

3、安装 go 语言环境

到网站https://golang.org/dl/查找最新的版本链接

下载

wget https://storage.googleapis.com/golang/go1.8.linux-amd64.tar.gz

解压安装:

tar -C /usr/local/ -zxvf go1.8.linux-amd64.tar.gz

添加环境变量,编辑:vi /etc/profile,在最后添加:

#go lang
export GOROOT=/usr/local/go
export PATH=$PATH:$GOROOT/bin

使环境变量生效

source /etc/profile

检查是否安装成功:

go version

输出:go version go1.8 linux/amd64表示安装成功

三、在服务器搭建 ngrok 服务

1、下载 ngrok 源码

cd /usr/local/src
git clone https://github.com/inconshreveable/ngrok.git

2、生成证书

在自生成证书时需要一个解析到服务器上的主域名,现在以”dogjun.com”为例:

cd ngrok
openssl genrsa -out rootCA.key 2048
openssl req -x509 -new -nodes -key rootCA.key -subj "/CN=dogjun.com" -days 5000 -out rootCA.pem
openssl genrsa -out device.key 2048
openssl req -new -key device.key -subj "/CN=dogjun.com" -out device.csr
openssl x509 -req -in device.csr -CA rootCA.pem -CAkey rootCA.key -CAcreateserial -out device.crt -days 5000

将新生成的证书,替换掉assets/client/tls下的证书

yes|cp rootCA.pem assets/client/tls/ngrokroot.crt
yes|cp device.crt assets/server/tls/snakeoil.crt
yes|cp device.key assets/server/tls/snakeoil.key

3、编译生成ngrokd(服务端)

#这里是交叉编译,linux系统GOOS=linux,64位系统GOARCH=amd64,32位系统GOARCH=386
#当前系统可用go env查看
GOOS=linux GOARCH=amd64 make release-server

编译成功后在当前目录的bin目录下可找到ngrokd文件

启动服务端(/usr/local/src/ngrok目录下)

./bin/ngrokd -tlsKey="assets/server/tls/snakeoil.key" -tlsCrt="assets/server/tls/snakeoil.crt" -domain="uboff.com"  -httpAddr=":80" -httpsAddr=":8081" -tunnelAddr=":4443"

后台运行

nohup ./bin/ngrokd -tlsKey="assets/server/tls/snakeoil.key" -tlsCrt="assets/server/tls/snakeoil.crt" -domain="ngrok.dogjun.com"  -httpAddr=":80" -httpsAddr=":8082" -tunnelAddr=":4443" &

出现下面信息,启动成功

[14:52:23 CST 2017/03/18] [INFO] (ngrok/log.(*PrefixLogger).Info:83) [registry] [tun] No affinity cache specified
[14:52:23 CST 2017/03/18] [INFO] (ngrok/log.Info:112) Listening for public http connections on [::]:80
[14:52:23 CST 2017/03/18] [INFO] (ngrok/log.Info:112) Listening for public https connections on [::]:8081
[14:52:23 CST 2017/03/18] [INFO] (ngrok/log.Info:112) Listening for control and proxy connections on [::]:4443
[14:52:23 CST 2017/03/18] [INFO] (ngrok/log.(*PrefixLogger).Info:83) [metrics] Reporting every 30 seconds

4、编译生成ngrok(客户端)

这里生成windows下的客户端:

GOOS=windows GOARCH=amd64 make release-client

成功会在bin目录下看到windows_amd64文件夹,复制到windows电脑上即可启动

在windows_amd64目录下新建一个ngrok.cfg文件,内容如下:

server_addr: "ngrok.dogjun.com:4443"
trust_host_root_certs: false

然后就可以启动客户端,我已经把windows_amd64文件夹下载到E盘下,打开CMD输入:

ngrok -subdomain hwj -config=ngrok.cfg 80

看到下面信息则启动成功:

Tunnel Status                 online
Version                       1.7/1.7
Forwarding                    http://hwj.ngrok.dogjun.com -> 127.0.0.1:80
Forwarding                    https://hwj.ngrok.dogjun.com -> 127.0.0.1:80
Web Interface                 127.0.0.1:4040
# Conn                        1
Avg Conn Time                 0.00ms

Linux – CentOS 7网络配置

安装完CentOS 7时,网络是通的。此时网络配置如下:

网络配置文件路径:

/etc/sysconfig/network-scripts/ifcfg-enp0s3

其中“enp03”是你的网卡名称。

TYPE="Ethernet"
PROXY_METHOD="none"
BROWSER_ONLY="NO"
BOOTPROTO="dhcp"
DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="enp0s3"
UUID="1538d24b-770f-44ee-83af-e1da305dfabc"
DEVICE="enp0s3"
ONBOOT="yes"

此时可以ping通百度,wget也没问题。

后续使用中,发现网络断了—可以ping通同网段的IP,但是ping不通百度,wget一直提示无法解析目标主机。

修改网络配置文件如下图:

未分类

重启网络:

service network restart

仍旧不行。在VM主界面-设备-网络-网络中,将连接方式从“网络地址转换(NAT)”切换成“桥接网卡”。重启网络,正常!

未分类

【FileZilla传文件】

由于上面网络配置文件中分配了固定IP,那么就可以使用FileZilla传文件到VM里面的CentOS 7中。

未分类

CentOS 7 系统配置Apache

现在公司的项目由于一直是一个外包团队在维护,一直运行在Windows Server上,我接手之后从长远考虑以及熟练及安全、性能等方面考虑,我最终决定换成Linux,而由于运行的是公司的正式项目,毫无疑问选择了CentOS,至于版本,我选择了最新的CentOS7。而服务器本打算是用流行的Nginx的,但是几个CGI参数始终无法配置好,出于稳定性考虑,最后选择了Apache。

安装基本软件包

由于CentOS 7 自带的PHP版本才5.4,不能满足我们开发的程序的要求,本着能包管理器安装就不编译安装的原则,选择了webstatic这个源的包,更新系统:

yum update

安装EPEL源:

yum install epel-release

安装webstatic源:

rpm -Uvh https://mirror.webtatic.com/yum/el7/webtatic-release.rpm

安装Apache、安装PHP及Mariadb数据库命令如下:

yum install httpd php56w php56w-mysql php56w-pdo php56w-gd php56w-mcrypt php56w-mbstring php56w-json php56w-xml php56w-openssl mariadb-server -y

对,你没看错,CentOS下的Apache在包管理器中的名字就是httpd。这样就安装好了各个所需要的组件,接下来就是配置了。

Apache基本配置

用 yum 安装的apache,配置文件在 /etc/httpd/ ,我们需要改的各个配置文件都在这个目录下面。

首先,更改/etc/httpd/conf/httpd.conf中的ServerName字段,否则会提示AH00558字段:

[root@localhost ~]# httpd -t
AH00558: httpd: Could not reliably determine the server's fully qualified domain name, using localhost.localdomain. Set the 'ServerName' directive globally to suppress this message
Syntax OK

接着,在/etc/httpd/conf.d/下面新建一个example.conf文件,这个就是我们需要的虚拟主机配置文件,如果只是想要HTTP服务,复制下面这段并进行相应修改即可:

<VirtualHost *:80>
ServerName www.example.com
DocumentRoot /var/www/example/
ServerAlias example
ErrorLog /var/log/httpd/example.error.log
CustomLog /var/log/httpd/example.log combined
<Directory /var/www/example>
        Options Indexes FollowSymLinks MultiViews
        AllowOverride FileInfo Options
        Order allow,deny
        allow from all
</Directory>
Header unset X-Powered-By
</VirtualHost>

配置完成之后,用apache自带的工具检查是否有语法错误。

配置Apache提供HTTPS服务

但是由于现在的潮流是提供HTTPS服务,我们这个项目也给App端提供数据接口服务,按照苹果的要求以及处于安全性考虑,确实有必要上HTTPS服务,但是考虑到实际业务情况,我们现阶段不打算强制跳转到HTTPS访问,于是采用的是HTTP和HTTPS都可访问策略,这就要求要准备一份SSL证书了,申请证书这一步按下不表,很多途径都可以申请,我这里只记录下配置步骤。

要使用yum包管理器安装的Apache支持SSL,还需要安装一个Apache模块,命令如下:

yum install mod_ssl

然后是增加对应的SSL配置,在上面那个配置文件末尾增加或者新建一个配置文件都行,相应配置:

<VirtualHost *:443>
ServerName https://www.example.com
DocumentRoot /var/www/example/
ServerAlias example
ErrorLog /var/log/httpd/example.error.log
CustomLog /var/log/httpd/example.log combined
<Directory /var/www/example>
        Options Indexes FollowSymLinks MultiViews
        AllowOverride FileInfo Options
        Order allow,deny
        allow from all
</Directory>
SSLEngine on
SSLCertificateFile /var/www/example-ssl/xxx.pem
SSLCertificateKeyFile /var/www/example-ssl/xxx.key
</VirtualHost>

复制,更改对应的项即可。

然后再次检查一下语法是否有误:

httpd -t

如果没问题,可以重启httpd服务:

systemctl restart httpd

额外配置

上面有个配置项我这里记录一下,Header unset X-Powered-By这一行是让Apache隐藏对应的http header,处于安全考虑不允许后端暴露太多信息。

同样需要隐藏的还有Apache的版本号以及操作系统信息,在/etc/httpd/conf/httpd.conf文件末尾增加下面两行:

ServerTokens Prod
ServerSignature Off

最后再检查一下是否有语法错误,如果一切正常则可以重启Apache服务或者重新加载配置文件。

由于Apache是以apache用户组下的apache用户运行的,所以,对应的网站目录文件需要给予对应的权限才能使网站正常运行:

chown -R apache.apache /var/www/example

上面的文件路径改成对应的网站文件路径即可。

Ansible部署模块的时候出现中文乱码的问题

今天在部署服务的时候遇到了一个很罕见的现象,线上有15台服务器是手机推送消息的服务,新来的小运维使用ansible批量跑部署脚本的时候,发现手机端接收到来的消息全是乱码,然后登陆到服务器,查看日志发现,日志里面就是乱码,如图:

未分类

由于这个问题用户是有感知的,所以属于“事故”级别了,于是小boss大怒,叫运维赶快回滚,然后让开发赶紧重新检查代码,然后开骂测试都是吃屎的么这么大的一个问题都看不出来真是一群猪伤不起啊。

开发看了半天自己的代码,发现没有任何问题,战战兢兢跑来跟新来的小运维窃窃私语,结果我发现这个模块用手动单独部署,日志却是正常的,中文显示十分OK。

未分类

这一下开发就腰杆硬了,说这不是我的锅啊我是无辜的啊老子天天辛苦加班没有功劳也有苦劳没有苦劳也有疲劳老子的代码经得住考验这一切就是部署的问题。

于是我就查看了一下ansible的配置文件,#vim /etc/ansible/ansible.cfg,发现了问题所在:

未分类

这里最后三行需要改成下面的样子,这样就解决了乱码问题。

#module_lang    = C
#module_set_locale = False
module_lang    = zh_CN.UTF-8
module_set_locale = True

精心汇总,史上最全-Ansible运维自动化工具19个常用模块使用实例(root用户角度)

本文章是站在root用户角度对Ansible的19个常用模块进行测试使用。为什么突出是站在root用户角度,因为很多时候,处于服务器安全考虑,我们是禁止root用户直接登录系统,如果要远程登录或者远程控制服务器,必须先登录普通用户,再登录root用户,因此在这个过程中,Ansible中root用户想使用相应的模块则没有像普通用户那么简单。

一、模块列表

1、setup
2、ping
3、file
4、copy
5、command
6、shell
7、script
8、cron
9、yum
10、service
11、group
12、user
13、stat
14、mount
15、fetch
16、synchronize
17、get_url
18、hostname
19、wait_for

二、模块示例

1、setup 功能:搜集系统信息

通过命令获取所有的系统信息,搜集主机的所有系统信息

# ansible -i /etc/ansible/.hosts-root jr-root -c paramiko -m setup

未分类

注意:/etc/ansible/.hosts 文件的写法很关键,官网也出了相关的说明,只不过官方的文档分版本描述的,稍不注意就掉坑了,具体格式如下:

[xxxx-root]
192.168.1.51 ansible_become=True ansible_become_method=su ansible_become_user=root ansible_become_pass=1111111111
192.168.1.52 ansible_become=True ansible_become_method=su ansible_become_user=root ansible_become_pass=1111111111

搜集系统信息并以主机名为文件名分别保存在/tmp/facts 目录

# ansible -i /etc/ansible/.hosts-root jr-root -c paramiko -m setup --tree /tmp/facts

未分类

搜集和内存相关的信息

# ansible -i /etc/ansible/.hosts-root jr-root -c paramiko -m setup -a 'filter=ansible_*_mb'

未分类

搜集网卡信息

# ansible -i /etc/ansible/.hosts-root jr-root -c paramiko -m setup -a 'filter=ansible_eth[0-2]'

未分类

2、ping 功能:测试网络连通性, ping模块没有参数

# ansible -i /etc/ansible/.hosts-root jr-root -c paramiko -m ping

未分类

3、file 功能:文件属性设置

  • force:需要在两种情况下强制创建软链接,一种是源文件不存在,但之后会建立的情况下;另一种是目标软链接已存在,需要先取消之前的软链,然后创建新的软链,有两个选项:yes|no

  • group:定义文件/目录的属组

  • mode:定义文件/目录的权限

  • owner:定义文件/目录的属主

  • path:必选项,定义文件/目录的路径

  • recurse:递归设置文件的属性,只对目录有效

  • src:被链接的源文件路径,只应用于state=link的情况

  • dest:被链接到的路径,只应用于state=link的情况

state包括以下:

  • directory:如果目录不存在,就创建目录

  • file:即使文件不存在,也不会被创建

  • link:创建软链接

  • hard:创建硬链接

  • touch:如果文件不存在,则会创建一个新的文件,如果文件或目录已存在,则更新其最后修改时间

  • absent:删除目录、文件或者取消链接文件

创建软链接:

# ansible -i /etc/ansible/.hosts-root jr-root -c paramiko -m file -a "src=/etc/resolv.conf dest=/tmp/resolv.conf state=link"

未分类

删除软连接:

# ansible -i /etc/ansible/.hosts-root jr-root -c paramiko -m file -a "path=/tmp/resolv.conf state=absent"

未分类

创建目录(文件):

# ansible -i /etc/ansible/.hosts-root jr-root -c paramiko -m file -a "path=/root/testfile group=ihavecar owner=ihavecar mode=700 state=directory"

未分类

4、copy 功能:复制文件到远程主机

  • backup: #在覆盖之前,将源文件备份,备份文件包含时间信息。有两个选项:yes|no

  • content: #用于替代“src”,可以直接设定指定文件的值

  • dest: #必选项。要将源文件复制到的远程主机的绝对路径,如果源文件是一个目录,那么该路径也必须是个目录

  • directory_mode: #递归设定目录的权限,默认为系统默认权限

  • force: #如果目标主机包含该文件,但内容不同,如果设置为yes,则强制覆盖,如果为no,则只有当目标主机的目标位置不存在该文件时,才复制。默认为yes

  • others:#所有的file模块里的选项都可以在这里使用

  • group # 复制到远程主机后,指定文件或目录的属

  • mode # 复制到远程主机后,指定文件或目录权限,类似与 `chmod’指明如 0644

  • owner # 复制到远程主机后,指定文件或目录属主

  • src:被复制到远程主机的本地文件,可以是绝对路径,也可以是相对路径。如果路径是一个目录,它将递归复制。在这种情况下,如果路径使用“/”来结尾,则只复制目录里的内容,如果没有用“/”来结尾,则包含目录在内的整个内容全部复制,类似于rsync。

将本地文件“/etc/ansible/ansible.cfg”复制到远程服务器,设置属主和属组及文件权限

# ansible -i /etc/ansible/.hosts-root jr-root -c paramiko -m copy -a "src=/etc/ansible/ansible.cfg dest=/tmp/ansible.cfg owner=ihavecar group=root mode=400"

未分类

5、command 功能:在远程主机上执行命令

Command不适用于有shell变量的情况,也不适用于有管道符或者&&的情况,如果要使用此种情况,那么可以使用shell模块

相关选项如下:

  • creates:一个文件名,当该文件存在,则该命令不执行

  • free_form:要执行的linux指令

  • chdir:在执行指令之前,先切换到该目录

  • removes:一个文件名,当该文件不存在,则该选项不执行

  • executable:切换shell来执行指令,该执行路径必须是一个绝对路径

远程执行查询系统负载:

# ansible -i /etc/ansible/.hosts-root jr-root -c paramiko -m command -a "uptime"

未分类

如带有管道的,则会如下报错,command是不允许有管道的:

# ansible -i /etc/ansible/.hosts-root jr-root -c paramiko -m command -a "uptime | grep 192.168.1.50"

未分类

6、shell 功能:切换到某个shell执行指定的指令

切换到某个shell执行指定的指令,与command不同的是,此模块可以支持命令管道,同时还有另一个模块也具备此功能:raw

  • chdir # 执行之前,先cd到指定目录在执行命令

  • creates # 一个文件名,当这个文件存在,则该命令不执行

  • executable # 切换shell来执行命令,需要使用命令的绝对路径

  • free_form= # 执行的命令

  • removes # 一个文件名,这个文件不存在,则该命令不执行

# ansible -i /etc/ansible/.hosts-root jr-root -c paramiko -m shell -a "cat /etc/passwd | grep root"

未分类

可远程执行脚本:

# ansible -i /etc/ansible/.hosts-root jr-root -c paramiko -m shell -a "sh /tmp/echo.sh"

未分类

7、script 功能:指定本地的脚本文件,到远程主机运行一次

注意这个模块和shell模块的不同,shell模块是要求客户端上有这个脚本才能执行;script是要求ansible服务端有这个脚本就可以了,执行的时候是不会拷贝这个脚本到客户端的。

  • creates # 一个文件名,当这个文件存在,则该命令不执行

  • free_form= # 本地脚本路径

  • removes # 一个文件名,这个文件不存在,则该命令不执行

ansible端的已有脚本,就只有一条/sbin/ifconfig 命令,该脚本被拿到客户端上执行,并返回结果:

# ansible -i /etc/ansible/.hosts-root jr-root -c paramiko -m script -a "/etc/ansible/masterecho.sh"

未分类

8、cron 功能:计划任务管理

  • backup # 如果设置,创建一个crontab备份

  • cron_file # 如果指定, 使用这个文件cron.d,而不是单个用户crontab

  • day # 日应该运行的工作( 1-31, *, */2, etc )

  • hour # 小时 ( 0-23, *, */2, etc )

  • job # 指明运行的命令是什么

  • minute # 分钟( 0-59, *, */2, etc )

  • month # 月( 1-12, *, */2, etc )

  • name # 定时任务描述

  • reboot # 任务在重启时运行,不建议使用,建议使用special_time

  • special_time # 特殊的时间范围,参数:reboot(重启时),annually(每年),monthly(每月),weekly(每周),daily(每天),hourly(每小时)

  • state # 指定状态,prsent表示添加定时任务,也是默认设置,absent表示删除定时任务

  • user # 以哪个用户的身份执行

  • weekday # 周 ( 0-6 for Sunday-Saturday, *, etc )

定义一个时间任务,每隔3分钟执行一次时间记录任务:

# ansible -i /etc/ansible/.hosts-root jr-root -c paramiko -m cron -a 'name="ntp datatime job" minute=*/3 hour=* day=* month=* weekday=* job="echo `date` >> /tmp/linshidata.txt"'

未分类

效果如下:

未分类

删除一个时间任务:

# ansible -i /etc/ansible/.hosts-root jr-root -c paramiko -m cron -a 'name="ntp datatime job" minute=*/3 hour=* day=* month=* weekday=* job="echo `date` >> /tmp/linshidata.txt" state=absent'

未分类

9、yum 功能:软件包安装管理

  • conf_file # yum的配置文件

  • disable_gpg_check # 关闭gpg_check

  • disablerepo # 不启用某个源

  • enablerepo # 启用某个源

  • List # 非幂等性命令

  • name= # 指定要安装的包,如果有多个版本需要指定版本,否则安装最新的包

  • state # 安装(present’),安装最新版(latest’),卸载程序包(`absent’)

指定版本安装包:

# ansible -i /etc/ansible/.hosts-root jr-root -c paramiko -m yum -a "name=httpd-devel-2.2.15 state=present"

未分类

指定安装最新版本的包:

# ansible -i /etc/ansible/.hosts-root jr-root -c paramiko -m yum -a "name=httpd-devel-2.2.15 state=latest"

未分类

指定rpm包来安装:

# ansible -i /etc/ansible/.hosts-root jr-root -c paramiko -m yum -a "name=/usr/local/src/kel.noarch.rpm state=present"

指定远程网址rpm包来进行安装:

# ansible -i /etc/ansible/.hosts-root jr-root -c paramiko -m yum -a "name=http://nginx.org/packages/centos/6/noarch/RPMS/nginx-release-centos-6.0.el6.ngx.noarch.rpm state=present"

删除包:

# ansible -i /etc/ansible/.hosts-root jr-root -c paramiko -m yum -a "name=httpd-devel-2.2.15 state=absent"

未分类

10、service 功能:系统服务管理

  • arguments # 向服务传递的命令行参数

  • enabled # 设置服务开机自动启动,参数为yes|no

  • name= # 控制服务的名称

  • pattern # 如果通过status指令来查看服务的状态时,没有响应,就会通过ps指令在进程中根据该模式进行查找,如果匹配到,则认为该服务依然在运行

  • runlevel # 设置服务自启动级别

  • sleep # 如果执行了restarted,则在stop和start之间沉睡几秒钟

  • state # 启动started’ 关闭stopped’ 重新启动 restarted’ 重载reloaded’

设置httpd服务为开机自启动模式,并限制开启httpd服务

# ansible -i /etc/ansible/.hosts-root jr-root -c paramiko -m service -a "name=httpd state=started enabled=yes"

重启httpd服务,中间sleep 10秒钟

# ansible -i /etc/ansible/.hosts-root jr-root -c paramiko -m service -a "name=httpd state=restarted sleep=10"

未分类

11、group 功能:系统用户组管理

  • gid # 设置组的GID号

  • name= # 管理组的名称

  • state # 指定组状态,默认为创建,设置值为absent为删除

  • system # 设置值为yes,表示为创建系统组

创建一个foo组,指定gid号

# ansible -i /etc/ansible/.hosts-root jr-root -c paramiko -m group -a "name=foo gid=360 system=no"

未分类

删除一个组:

# ansible -i /etc/ansible/.hosts-root jr-root -c paramiko -m group -a "name=foo gid=360 system=no state=absent"

未分类

12、user 功能:系统用户账号管理

  • comment # 用户的描述信息

  • createhome # 是否创建家目录

  • force # 在使用state=absent’时, 行为与userdel –force’一致.

  • group # 指定基本组

  • groups # 指定附加组,如果指定为(‘groups=’)表示删除所有组

  • home # 指定用户家目录

  • login_class # 可以设置用户的登录类 FreeBSD, OpenBSD and NetBSD系统.

  • move_home # 如果设置为`home=’时, 试图将用户主目录移动到指定的目录

  • name= # 指定用户名

  • non_unique # 该选项允许改变非唯一的用户ID值

  • password # 指定用户密码

  • remove # 在使用 state=absent’时, 行为是与userdel –remove’一致.

  • shell # 指定默认shell

  • state #设置帐号状态,不指定为创建,指定值为absent表示删除

  • system # 当创建一个用户,设置这个用户是系统用户。这个设置不能更改现有用户。

  • uid #指定用户的uid

  • update_password # 更新用户密码

添加用户foo,指定密码,设置家目录,不允许远程登录

# ansible -i /etc/ansible/.hosts-root jr-root -c paramiko -m user -a "name=foo password=123456 home=/home/foo shell=/sbin/nologin"

未分类

彻底删除一个用户,包括家目录:

# ansible -i /etc/ansible/.hosts-root jr-root -c paramiko -m user -a "name=foo remove=yes state=absent"

13、stat 功能:获取远程文件信息

# ansible -i /etc/ansible/.hosts-root jr-root -c paramiko -m stat -a "path=/etc/passwd"

未分类

14、mount 功能:配置挂载点

  • fstype:必选项,挂载文件的类型

  • name:必选项,挂载点

  • opts:传递给mount命令的参数

  • src:必选项,要挂载的文件

  • state:必选项

  • present:只处理fstab中的配置

  • absent:删除挂载点

  • mounted:自动创建挂载点并挂载之

  • umounted:卸载

# ansible -i /etc/ansible/.hosts-root jr-root -c paramiko -m mount -a "name=/mnt src=/dev/sda5 fstype=ext4 opts=rostate=present"

15、fetch 功能:文件拉取模块,主要是将远程主机中的文件拷贝到本机中

  • 和copy模块的作用刚刚相反,并且在保存的时候使用hostname来进行保存,当文件不存在的时候,会出现错误,除非设置了选项fail_on_missing为yes

  • Dest:用来存放文件的目录,例如存放目录为backup,源文件名称为/etc/profile在主机pythonserver中,那么保存为/backup/pythonserver/etc/profile

  • Fail_on_missing: Yes/no,当源文件不存在的时候,标识为失败
    Flat: 允许覆盖默认行为从hostname/path到/file的,如果dest以/结尾,它将使用源文件的基础名称

  • Src: 在远程拉取的文件,并且必须是一个file,不能是目录

  • Validate_checksum Yes/no,当文件fetch之后进行md5检查

从远程机器上床送文件到ansible服务器

# ansible -i /etc/ansible/.hosts-root jr-root -c paramiko -m fetch -a "src=/root/123 dest=/root"

未分类

src表示为远程主机上需要传送的文件的路径,dest表示为本机上的路径,在传送过来的文件,是按照IP地址或hostname进行分类,然后路径是源文件的路径,例如上面的最终路径为/root/192.168.1.50/root/123在拉取文件的时候,必须拉取的是文件,不能拉取文件夹

指定路径目录进行保存:

# ansible -i /etc/ansible/.hosts-root jr-root -c paramiko -m fetch -a "src=/root/Ssh.py dest=/root/kel/ flat=yes"

在使用参数为flat的时候,如果dest的后缀名为/,那么就会保存在目录中,然后直接保存为文件名,如上例的结果为 dest”: “/root/kel/Ssh.py;

当dest后缀不为/的时候,那么就会直接保存为kel的文件,如上例1所示。主要是在于dest是否已/结尾,从而来区分这是个目录还是路径。

16、synchronize 功能:将主控方/root/a目录推送到指定节点的/tmp目录下

选项说明

  • archive # 是否采用归档模式同步,即以源文件相同属性同步到目标地址

  • checksum # 是否效验

  • compress # 开启压缩,默认为开启

  • copy_links # 同步的时候是否复制连接

  • delete # 删除源中没有而目标存在的文件(即以推送方为主)

  • dest= # 目标地址

  • dest_port # 目标接受的端口,ansible配置文件中的 ansible_ssh_port 变量优先级高于该 dest_port 变量

  • dirs # 以非递归的方式传输目录

  • existing_only # Skip creating new files on receiver.

  • group # Preserve group

  • links # Copy symlinks as symlinks.

  • mode # 模式,rsync 同步的方式 PUSHPULL,默认都是推送push。如果你在使用拉取pull功能的时候,可以参考如下来实现mode=pull 更改推送模式为拉取模式

  • recursive # 是否递归 yes/no

  • rsync_opts # 使用rsync 的参数

  • rsync_path # 服务的路径,指定 rsync 命令来在远程服务器上运行。这个参考rsync命令的–rsync-path参数,–rsync-path=PATH # 指定远程服务器上的rsync命令所在路径信息

  • rsync_timeout # 指定 rsync 操作的 IP 超时时间,和rsync命令的 –timeout 参数效果一样.

  • set_remote_user # put user@ for the remote paths. If you have a custom ssh config to define the remote user for

  • src=‘#‘” # 源,同步的数据源

  • times #

  • –exclude=.Git 忽略同步.git结尾的文件

由于模块默认启用了archive参数,该参数默认开启了recursive, links, perms, times, owner,group和-D参数。如果你将该参数设置为no,那么你将停止很多参数,比如会导致如下目的递归失败,导致无法拉取

压缩传输a目录到被控节点:

# ansible -i /etc/ansible/.hosts-root jr-root -c paramiko -m synchronize -a 'src=/root/a dest=/tmp/ compress=yes'

注意:主控端的a目录传输到被控节点,文件属性过去被控节点后,只能是remote user的权限,也就是ihavecar的,不能是root的,也不允许传输到ihavecar这个用户无权限的目录下去,不然会报错。

未分类

使用pull模式拉取文件到主控节点:

由于模块,默认都是推送push。因此,如果你在使用拉取pull功能的时候,可以参考如下来实现

mode=pull 更改推送模式为拉取模式。

# ansible -i /etc/ansible/.hosts-root jr-root -c paramiko -m synchronize -a 'mode=pull src=/tmp/a dest=/root/ compress=yes'

注意:从被控节点传目录回到主控节点,可以遵循权限,被控节点端目录的属性是什么,传回主控节点的目录权限就是什么,并不会像push方式那样属性改变成普通用户的。还有一点需要注意的是,从被控节点传输回主控节点,只有一个节点能传输成功,其他的节点都会失败。当然,如果各个被控节点的文件如果不是一样的话,那么各个节点都会传文件回来。那样主控端就会收到各个节点的全部文件。

未分类

17、get_url 功能:将某个url的文件下载到被控节点的某个位置

将simplejson-3.8.2.tar.gz 下载到/tmp/下:

# ansible -i /etc/ansible/.hosts-root jr-root -c paramiko -m get_url -a "url=https://pypi.python.org/packages/source/s/simplejson/simplejson-3.8.2.tar.gz dest=/tmp/"

未分类

18、hostname 功能:主要用来修改主机的名称

在查看的时候,主要查看文件/etc/sysconfig/network,重启之后才能生效

# ansible -i /etc/ansible/.hosts-root jr-root -c paramiko -m hostname -a "name=ansible-test"

未分类

19、wait_for 功能:等待一个事件发生或处理完后,再继续运行下面的事情

  • connect_timeout 默认5秒,在下一个事情发生前等待链接的时间,单位是秒

  • delay 延时,大家都懂,在做下一个事情前延时多少秒

  • host 默认127.0.0.1,执行这个模块的host

  • path 当一个文件存在于文件系统中,下一步才继续。

  • port 端口号,如8080

  • state 默认started,对象是端口的时候start状态会确保端口是打开的,stoped状态会确认端口是关闭的

  • present 对象是文件的时候present或者started会确认文件是存在的,而absent会确认文件是不存在的。

  • started

  • stopped

  • absent

10秒后在当前主机开始检查8000端口,直到端口启动后返回:

# ansible -i /etc/ansible/.hosts-root jr-root -c paramiko -m wait_for -a "port=22612 delay=10"

未分类

检查path=/tmp/foo直到文件存在后继续:

# ansible -i /etc/ansible/.hosts-root jr-root -c paramiko -m wait_for -a "path=/tmp/foo"

未分类

确认/var/lock/file.lock不存在继续:

# ansible -i /etc/ansible/.hosts-root jr-root -c paramiko -m wait_for -a "path=/var/look/file.lock state=absent"

未分类