持续集成CI之Jenkins使用指南

安装

在debian下jenkins的安装方法如下:

wget -q -O - http://pkg.jenkins-ci.org/debian/jenkins-ci.org.key | apt-key add -
sh -c 'echo deb http://pkg.jenkins-ci.org/debian binary/ > /etc/apt/sources.list.d/jenkins.list'
apt-get update
apt-get install jenkins

启动

启动或者关闭jenkins的方法如下:

sudo /etc/init.d/jenkins start  
sudo /etc/init.d/jenkins stop

启动成功之后,通过网页浏览器打开http://localhost:8080就可以看见图1中所示的jenkins主界面。如果是另外的机器访问,则通过http://$(ciserverip):8080访问,例如Jenkins CI所在机器ip为192.168.1.169,则通过http://192.168.1.169:8080访问。

用户管理

为了确保jenkins中的工程不受人为的误操作影响,Jenkins下可以进行账户和权限的管理,这样不同的用户就有不同的权限,进行权限范围之内的操作。点击“系统管理”–>“Configure Global Security”进入图26所示的界面。

未分类

按照上面的配置保存之后,在jenkins界面的右上角就会出现登陆/注册的选项,“系统管理”中也会出现“管理用户”的选项。点击注册就会出现图27所示的界面。

未分类

注册成功后,会自动以mycapital用户登陆。接下来进入Configure Global Security配置界面给mycapital用户配置权限,如图28所示。

未分类

为了看到整体的权限配置,图比较小,请放大看。至于每种权限的具体含义,可以将鼠标放到该权限上就可以看到帮助信息。

插件安装

Jenkins提供了600个左右的插件,涵盖非常丰富的功能,http://jenkins-ci.org/上面有介绍Jenkins社区已有的插件列表、功能、使用方法等。在Jenkins下面安装插件也非常的方便,点击“系统管理–>“插件管理”进入图29所示界面,可以查看已安装的插件,需要更新的插件和可供选择安装的插件。如果要安装某一插件,只需要勾选上前面的方框,最后点击“直接安装”就行。

未分类

Jenkins上面还支持手动的安装插件,点击图中的“高级”标签,即可看见一个上传插件的选项。如果我们有自己开发的插件,或者Jenkins目前还没集成进来的插件,都可以通过此种方式安装。

Jenkins之配置Maven和JDK-yellowcong

系统管理->Global Tool Configuration

未分类

1、配置jdk

#获取到服务器上JAVA_HOME配置的地址
echo $JAVA_HOME

未分类

设置到Jenkins上

未分类

2、配置Maven

echo $M2_HOME
#一般都放到usr/local目录下
#/usr/local/maven/apache-maven-3.5.0

Maven的HOME路径

未分类

路径配置上,完事

未分类

3、安装Maven插件

Maven Integration Plugin 这个插件

未分类

点击直接安装后,结果看到,这个地方有一堆插件,等待这安装,排着队呢

未分类

要是失败了,就会变成红色,这为啥失败,还是国内的网络问题

未分类

全部都挂掉了,这是够了。。

未分类

4、手动安装插件

首先我到网址
http://updates.jenkins-ci.org/download/plugins/
http://mirrors.jenkins-ci.org
中下载了下面几个插件: 所有的插件是以hpi 结尾的,比如 maven-plugin.hpi,这个实在是太坑了网络问题,这个是大坑。

未分类

需要下载依赖包和自己需要安装的包,这个是Maven 3.0的插件

未分类

在插件管理项目下,高级选项,可以直接上传插件

未分类

Linux命令发送Http的get或post请求(curl和wget两种方法)

Http请求指的是客户端向服务器的请求消息,Http请求主要分为get或post两种,在Linux系统下可以用curl和wget命令来模拟Http的请求。下面就来介绍一下Linux系统如何模拟Http的get或post请求。

一、get请求

1、使用curl命令:

curl “http://www.baidu.com” 如果这里的URL指向的是一个文件或者一幅图都可以直接下载到本地

curl -i “http://www.baidu.com” 显示全部信息

curl -l “http://www.baidu.com” 只显示头部信息

curl -v “http://www.baidu.com” 显示get请求全过程解析

2、使用wget命令:

wget “http://www.baidu.com”也可以

二、post请求

1、使用curl命令(通过-d参数,把访问参数放在里面):

curl -d “param1=value1¶m2=value2” “http://www.baidu.com”

  
2、使用wget命令:(–post-data参数来实现)

wget --post-data ‘user=foo&password=bar’ http://www.baidu.com

  
以上就是Linux模拟Http的get或post请求的方法了,这样一来Linux系统也能向远程服务器发送消息了。

示例:wget --post-data="" http://mcs-inner.99bill.com/mcs-gateway/mcs/task/clear

三、curl (可直接发送格式化请求例如json)

示例:目标url:http://fsc-inner.99bill.com/acs/deposit/{srcRef}

命令:curl -H "Content-type: application/json" -X POST -d '{"srcRef":"1002"}'http://fsc-inner.99bill.com/acs/deposit/1002

ubuntu的ufw如何开放特定端口?

ufw是一个主机端的iptables类防火墙配置工具

安装:

sudo apt-get install ufw

开启,建议默认关闭所有外部访问

sudo ufw enable 
sudo ufw default deny

查看ufw现在已经开放的端口:

未分类

新增端口

sudo ufw allow 8080

删除端口

sudo ufw delete allow 8080

允许特定来源的ip地址访问

sudo ufw allow from 192.168.1.1

其他命令可以如此查看:

ubuntu@localhost:~$ sudo ufw –help
Usage: ufw COMMAND
Commands:

未分类

Linux:复制并创建目标目录,如果它不存在

我需要一个命令(或者可能是cp的一个选项)来创建目标目录(如果它不存在的话)。

示例:

cp -? file /path/to/copy/file/to/is/very/deep/there test -d "$d" || mkdir -p "$d" && cp file "$d" 

cp没有这个选项)。

如果以下两个都是真的:

  • 您正在使用cp的GNU版本(而不是Mac版本)和

  • 您正在复制某些现有的目录结构,您只需要重新创建
    即可

那么你可以用cp- parents标记来做到这一点。从信息页面([ http://www.gnu.org
/software/coreutils/manual/html_node/cp-invocation.html#cp-invocation](http://www.gnu.org/software/coreutils/manual/html_node/cp-invocation.html

#cp-invocation)或使用info cpman cp):

>

--parents Form the name of each destination file by appending to the target directory a slash and the specified name of the source file. The last argument given to `cp' must be the name of an existing directory. For example, the command: cp --parents a/b/c existing_dir copies the file `a/b/c' to `existing_dir/a/b/c', creating any missing intermediate directories. 

示例:

/tmp $ mkdir foo /tmp $ mkdir foo/foo /tmp $ touch foo/foo/foo.txt /tmp $ mkdir bar /tmp $ cp --parents foo/foo/foo.txt bar /tmp $ ls bar/foo/foo foo.txt 

linux定时休眠

最近公司规定晚上走人后必须关闭电脑,但是像我们这样的人,经常会忘记了关闭电脑,而且关闭电脑之后再恢复工作环境也是件挺麻烦的事情,无奈之下只能折腾一下,让linux定时休眠了。

休眠的类型

目前大概由三种类型的休眠:

  • suspend(suspend to RAM)
    指的是除了内存以外的大部分机器部件都进入断电状态。 这种休眠状态恢复速度特别快,但由于内存中的数据并没有被保存下来,因此这个状态的系统并没有进入真正意义上的休眠状态,还在持续耗电。

  • hibernate(suspend to disk)
    这种休眠会将内存中的系统状态写入交换空间内,当系统启动时就可以从交换空间内读回系统状态。 这种情况下系统可以完全断电,但由于要保存/读取系统状态到/从交换空间,因此速度会比较慢,而且需要进行一些配置(下面会说到)

  • hybrid(suspend to both)
    结合了上面两种休眠类型。它像hibernate一样将系统状态存入交换空间内,同时也像suspend一样并不关闭电源。 这种,在电源未耗尽之前,它能很快的从休眠状态恢复。而若休眠期间电源耗尽,则它可以从交换空间中恢复系统状态。

suspend 休眠

进入 suspend 特别简单,无需额外的配置,在 systemd 系统上直接执行 systemctl suspend 就行了。

systemctl suspend

它的实际动作由 systemd-suspend.service 所定义, 在 archlinux 上,它长成这样子的:

#  SPDX-License-Identifier: LGPL-2.1+
#
#  This file is part of systemd.
#
#  systemd is free software; you can redistribute it and/or modify it
#  under the terms of the GNU Lesser General Public License as published by
#  the Free Software Foundation; either version 2.1 of the License, or
#  (at your option) any later version.

[Unit]
Description=Suspend
Documentation=man:systemd-suspend.service(8)
DefaultDependencies=no
Requires=sleep.target
After=sleep.target

[Service]
Type=oneshot
ExecStart=/usr/lib/systemd/systemd-sleep suspend

Hibernation 休眠

由于 hibernation 休眠要求将内存中的内容写入到交换空间中,因此你至少要有一个空间大于内存的交换分区或者交换文件。 (其实若交换空间不够内存大也不是一定就无法进行hibernation休眠,可以尝试运行 echo 0 |sudo tee /sys/power/image_size, 这会让系统在写入交换空间时尽可能的进行压缩,但这种方法也无法保证一定能够休眠成功)

若之前没有创建交换分区,那么可以临时创建一个交换文件来用。比如下面命令创建一个5G的交换文件

sudo dd if=/dev/zero of=/swapfile bs=10240 count=524288
sudo mkswap /swapfile
sudo chmod 0600 /swapfile
sudo swapon /swapfile
sudo cp /etc/fstab /etc/fstab.bak
echo "/swapfile swap swap default 0 0" |tee -a /etc/fstab
Setting up swapspace version 1, size = 5 GiB (5368705024 bytes)
no label, UUID=d0f0c682-e1fa-416f-8fe2-b554b8ca363a
/swapfile swap swap default 0 0

除此创建交换分区之外,我们还需要修改kernel的启动参数,让系统在启动时先尝试从交换空间中恢复状态。 具体操作如下:

1、如果使用交换分区来保存,则只需要为添加kernel的启动参数 resume=交换分区 即可

1)查看那块分区是交换分区

swapon
NAME      TYPE      SIZE USED PRIO
/dev/sda2 partition   8G 280K   -2
/swapfile file        5G   0B   -3

可以看出交换分区为 /dev/sda2

2)修改 /etc/default/grub, 为 GRUB_CMDLINE_LINUX_DEFAULT 行添加参数 resume=/dev/sda2

sudo sed -i '/GRUB_CMDLINE_LINUX_DEFAULT/ s!"$! resume=/dev/sda2"!' /etc/default/grub

2、如果是使用交换文件,则需要添加两个参数 resume=交换文件所在磁盘 以及 resume_offset=交换文件在磁盘中的偏移位置:

1)查看交换文件所在磁盘

df /swapfile
文件系统          1K-块     已用     可用 已用% 挂载点
/dev/sda3      55253696 27582224 24834972   53% /

说明磁盘为 /dev/sda3

2)查看交换文件的偏移位置

sudo filefrag -v /swapfile|head -5
Filesystem type is: ef53
File size of /swapfile is 5368709120 (1310720 blocks of 4096 bytes)
 ext:     logical_offset:        physical_offset: length:   expected: flags:
   0:        0..   32767:    4653056..   4685823:  32768:            
   1:    32768..   65535:    4685824..   4718591:  32768:            

这里可以看出物理偏移位置时4653056

3)修改 /etc/default/grub, 为 GRUB_CMDLINE_LINUX_DEFAULT 行添加参数 resume=/dev/sda3 resume_offset=4653056

sudo sed -i '/GRUB_CMDLINE_LINUX_DEFAULT/ s!"$! resume=/dev/sda3 resume_offset=4653056"!' /etc/default/grub

3、重新生成 grub.cfg 文件

sudo grub-mkconfig -o /boot/grub/grub.cfg

1)配置initramfs添加 resume hook 修改 /etc/mkinitcpio.conf 文件,在 HOOKS 中添加 resume

sudo sed -i '/^HOOKS=/ s/)/ resume)/' /etc/mkinitcpio.conf 

其中由两点需要注意:
– 由于分区的label和UUID都是 udev 分配的,因此 resume 必须放在 udev 之后
– 由于 systemd hook 已经有了 resume 的功能,因此若已经有了 systemd hook,则无需再添加 udev hook

2)重新生成initramfs

sudo mkinitcpio -g /boot/initramfs-linux-lily.img
==> Starting build: 4.16.12-2-lily
  -> Running build hook: [base]
  -> Running build hook: [udev]
  -> Running build hook: [autodetect]
  -> Running build hook: [modconf]
  -> Running build hook: [block]
  -> Running build hook: [filesystems]
  -> Running build hook: [keyboard]
  -> Running build hook: [fsck]
  -> Running build hook: [resume]
==> Generating module dependencies
==> Creating gzip-compressed initcpio image: /boot/initramfs-linux-lily.img
==> Image generation successful

3)重启,让配置生效

经过上面复杂的配置后,hibernation 休眠才能真正成功。与 suspend 休眠类似,我们也能使用 systemctl 来进行休眠

systemctl hibernate

类似的,它的实际动作由 systemd-hibernte.service 所定义, 在 archlinux 上,它长成这样子的:

#  SPDX-License-Identifier: LGPL-2.1+
#
#  This file is part of systemd.
#
#  systemd is free software; you can redistribute it and/or modify it
#  under the terms of the GNU Lesser General Public License as published by
#  the Free Software Foundation; either version 2.1 of the License, or
#  (at your option) any later version.

[Unit]
Description=Hibernate
Documentation=man:systemd-suspend.service(8)
DefaultDependencies=no
Requires=sleep.target
After=sleep.target

[Service]
Type=oneshot
ExecStart=/usr/lib/systemd/systemd-sleep hibernate

hybrid 休眠

在配置好 hibernate 休眠后,也就能正常进行 hybrid 休眠了,方法是执行

systemctl hybrid-sleep

类似的,它的实际动作由 systemd-hybrid-sleep.service 所定义, 在 archlinux 上,它长成这样子的:

#  SPDX-License-Identifier: LGPL-2.1+
#
#  This file is part of systemd.
#
#  systemd is free software; you can redistribute it and/or modify it
#  under the terms of the GNU Lesser General Public License as published by
#  the Free Software Foundation; either version 2.1 of the License, or
#  (at your option) any later version.

[Unit]
Description=Hybrid Suspend+Hibernate
Documentation=man:systemd-suspend.service(8)
DefaultDependencies=no
Requires=sleep.target
After=sleep.target

[Service]
Type=oneshot
ExecStart=/usr/lib/systemd/systemd-sleep hybrid-sleep

Sleep Hooks

从上面的service文件中可以看出,不管是哪种类型的系统休眠,其内部实际调用的都是 systemd-sleep.

man systemd-sleep
SYSTEMD-SUSPEND.SERVICE(8)  systemd-suspend.service SYSTEMD-SUSPEND.SERVICE(8)

NAME
       systemd-suspend.service, systemd-hibernate.service, systemd-hybrid-
       sleep.service, systemd-sleep - System sleep state logic

SYNOPSIS
       systemd-suspend.service

       systemd-hibernate.service

       systemd-hybrid-sleep.service

       /usr/lib/systemd/system-sleep

DESCRIPTION
       systemd-suspend.service is a system service that is pulled in by
       suspend.target and is responsible for the actual system suspend.
       Similarly, systemd-hibernate.service is pulled in by hibernate.target
       to execute the actual hibernation. Finally,
       systemd-hybrid-sleep.service is pulled in by hybrid-sleep.target to
       execute hybrid hibernation with system suspend.

       Immediately before entering system suspend and/or hibernation
       systemd-suspend.service (and the other mentioned units, respectively)
       will run all executables in /usr/lib/systemd/system-sleep/ and pass two
       arguments to them. The first argument will be "pre", the second either
       "suspend", "hibernate", or "hybrid-sleep" depending on the chosen
       action. Immediately after leaving system suspend and/or hibernation the
       same executables are run, but the first argument is now "post". All
       executables in this directory are executed in parallel, and execution
       of the action is not continued until all executables have finished.

       Note that scripts or binaries dropped in /usr/lib/systemd/system-sleep/
       are intended for local use only and should be considered hacks. If
       applications want to react to system suspend/hibernation and resume,
       they should rather use the Inhibitor interface[1].

       Note that systemd-suspend.service, systemd-hibernate.service, and
       systemd-hybrid-sleep.service should never be executed directly.
       Instead, trigger system sleep states with a command such as "systemctl
       suspend" or similar.

       Internally, this service will echo a string like "mem" into
       /sys/power/state, to trigger the actual system suspend. What exactly is
       written where can be configured in the "[Sleep]" section of
       /etc/systemd/sleep.conf or a sleep.conf.d file. See systemd-
       sleep.conf(5).

OPTIONS
       systemd-sleep understands the following commands:

       -h, --help
           Print a short help text and exit.

       --version
           Print a short version string and exit.

       suspend, hibernate, hybrid-sleep
           Suspend, hibernate, or put the system to hybrid sleep.

SEE ALSO
       systemd-sleep.conf(5), systemd(1), systemctl(1), systemd.special(7),
       systemd-halt.service(8)

NOTES
        1. Inhibitor interface
           https://www.freedesktop.org/wiki/Software/systemd/inhibit

systemd 238                                         SYSTEMD-SUSPEND.SERVICE(8)

根据 systemd-sleep 的manual pages,可以看到在系统休眠之前以及从休眠状态恢复之后,都会并行地调用 /usr/lib/systemd/system-sleep 中的脚本,并传递两个参数。

第一个参数用来指定是开始休眠还是从休眠状态恢复,分别对应的字符串 “pre” 与 “post”.

第二个参数用来指明休眠的类型,分别为字符串 “suspend”, “hibernate” 以及 “hybrid-sleep”

定时执行休眠

systemd 系统中的定时任务是由timer来实现的,而每个timer都与一个service相对应。

一般情况下,timer的名称与service一致,但必要时可以通过在.timer文件中的 [Timer] 部分指定 Unit= 选项来控制一个与timer不同名的service。

下面是一个timer的例子,每天21:30分开始自动hibernate休眠

[Unit]
Description=Hibernate every 21:30:00

[Timer]
OnCalendar=*-*-* 21:30:00
Persistent=true
Unit=systemd-hibernate.service

[Install]
WantedBy=timers.target

定时唤醒休眠的linux

使用 rtcwake 可以在给定的时间唤醒处于休眠状态的电脑

其主要用法为:

sudo rtcwake -m ${mode} -t ${time_t}
# 或者
sudo rtcwake -m ${mode} -s ${seconds}

其中,参数mode为待机模式,有以下几个选项:

  • standby
    普通待机模式,为默认选项,对应 ACPI state S1

  • mmem
    suspend休眠,对应 ACPI state S3

  • disk
    hibernation 休眠,对应 ACPI state S4

  • off
    通过调用系统的关机命令来休眠,对应 ACPI state S5

参数 time_t 为从 1970-01-01, 00:00 UTC 开始到现在的秒数,可以通过 date 命令来将时间字符串转换成这个秒数,比如

sudo rtcwake -m disk -t $(date -d 08:30 +%s)

就是进行 hibernation 休眠,并于08:30分唤醒

参数 seconds 为秒数,表示从现在开始的多少秒后,系统唤醒。

Linux查杀stopped进程

在Linux系统下面,top命令可以查看查看stopped进程。但是不能查看stopped进程的详细信息。那么如何查看stopped 进程,并且杀掉这些stopped进程呢?

ps -e j | grep T 

未分类

stopped进程的STAT状态为T,一般而言,进程有下面这些状态码:

D    uninterruptible sleep (usually IO)

I    Idle kernel thread

R    running or runnable (on run queue)

S    interruptible sleep (waiting for an event to complete)

T    stopped by job control signal

t    stopped by debugger during the tracing

W    paging (not valid since the 2.6.xx kernel)

X    dead (should never be seen)

Z    defunct ("zombie") process, terminated but not reaped by

     its parent



for BSD formats and when the stat keyword is used, additional
rs may be displayed:



<    high-priority (not nice to other users)

N    low-priority (nice to other users)

L    has pages locked into memory (for real-time and custom

     IO)

s    is a session leader

l    is multi-threaded (using CLONE_THREAD, like NPTL

     pthreads do)

+    is in the foreground process group

一般较常见的是5种状态码:

  • D 不可中断 uninterruptible sleep (usually IO)
  • R 运行 runnable (on run queue)
  • S 中断 sleeping
  • T 停止 traced or stopped
  • Z 僵死 a defunct (”zombie”) process

所以,可以用下面命令ps -A -ostat,ppid,pid,cmd | grep -e ‘^[T]’ 查看stopped的进程信息。如下所示:

#  ps -A -ostat,ppid,pid,cmd | grep -e '^[T]'

T     6777  8635 more alert_pps.log
T     6777  9654 tail -60f alert_pps.log
T     6777 10724 top
# kill -9 8635
#  ps -A -ostat,ppid,pid,cmd | grep -e '^[T]'
T     6777  9654 tail -60f alert_pps.log
T     6777 10724 top
# kill -9 9654
# kill -9 10724

Linux下对文件进行md5校验命令

为解决官方发布的软件包被别人更改或者软件在传输过程中出现传输错误等问题,软件官方在提供软件包的同时,还提供一个保存MD5校验码的文件。

Linux/unix中可以使用

md5sum 文件名

方式获得文件的md5值。使用cat 命令查看一下官方软件包的md5值,就可以进行比对了。下次安装软件记得md5sum一下奥。

crontab定时时间段执行任务

如题,目标是每天早上8点到22点,定时执行一个脚本。

#yum install crontabs 安装crontab服务
#crontab -e 进行编辑

添加输入如下

0 8-22/1 * * * 你需要执行的命令

保存

#service crontab start 重载crontab服务
#chkconfig crontab on 服务器开机自启