Docker安装部署MySQL5.7

1、进入Linux后,使用Docker命令下载MySQL,命令如:

docker pull mysql:5.7

运行该命令后,则会显示以下日志:

[root@localhost ~]# docker pull mysql:5.7
5.7: Pulling from library/mysql
ad74af05f5a2: Pull complete 
0639788facc8: Pull complete 
de70fa77eb2b: Pull complete 
724179e94999: Pull complete 
50c77fb16ba6: Pull complete 
d51f459239fb: Pull complete 
937bbdd4305a: Pull complete 
35369f9634e1: Pull complete 
f6016aab25f1: Pull complete 
5f1901e920da: Pull complete 
fdf808213c5b: Pull complete 
Digest: sha256:96edf37370df96d2a4ee1715cc5c7820a0ec6286551a927981ed50f0273d9b43
Status: Downloaded newer image for mysql:5.7

2、先查看本机都有哪些镜像,命令如下:

docker images
[root@localhost ~]# docker images
REPOSITORY          TAG                 IMAGE ID            CREATED             SIZE
mysql               5.7                 c73c7527c03a        8 days ago          412MB
hello-world         latest              1815c82652c0        7 weeks ago         1.84kB
java                latest              d23bdf5b1b1b        6 months ago        643MB
learn/tutorial      latest              a7876479f1aa        4 years ago         128MB

3.然后启动我们的mysql的docker容器,命令如下:

docker run --name mysql5.7 -p 3306:3306 -e MYSQL_ROOT_PASSWORD=123456 -d mysql:5.7

注意,这里的容器名字叫:mysql5.7,mysql的root用户密码是:123456,映射宿主机子的端口3306到容器的端口3306,仓库名mysql和标签(tag)唯一确定了要指定的镜像,其实如果这里只有一个mysql也有必要要tag,执行该命令返回的结果是:

9238d9feb10a0c553d950451add144727b659a0972ccf04d7c59c3bfa198ed20

4.查看已经运行的的所有容器,命令如:docker ps

[root@localhost ~]# docker ps 
CONTAINER ID        IMAGE               COMMAND                  CREATED             STATUS              PORTS                    NAMES
9238d9feb10a        mysql:5.7           "docker-entrypoint..."   12 seconds ago      Up 9 seconds        0.0.0.0:3306->3306/tcp   mysql5.7
[root@localhost ~]#

5.使用mysql的工具,比如navicat连接成功如下:

未分类

docker导出镜像及导入镜像并启动容器

备份镜像方法

docker commit -p 30b8f18f20b4 container-backup

备份到本地方法

docker save -o ~/container-backup.tar container-backup

导入本地镜像

docker load -i ~/container-backup.tar

启动本地镜像

docker load -i ~/container-backup.tar

启动容易方法方法

docker run -d -p 812:80 -p 2222:22 -p 3308:3306 --name centos2lnmp -v /Users/haha/wwwroot/docker:/home/wwwroot/default/ centos6

进入容器方法

docker exec -it centos6 /bin/bash

使用docker-swarm创建docker高可用集群

Swarm概念

Swarm是Docker公司推出的用来管理docker集群,它将一群Docker宿主机变成一个单一的,虚拟的主机。Swarm使用标准的Docker API接口作为其前端访问入口,换言之,各种形式的Docker Client(docker client in Go, docker_py, docker等)均可以直接与Swarm通信。Swarm几乎全部用go语言来完成开发,Swarm0.2发布,相比0.1版本,0.2版本增加了一个新的策略来调度集群中的容器,使得在可用的节点上传播它们,以及支持更多的Docker命令以及集群驱动。
  
Swarm deamon只是一个调度器(Scheduler)加路由器(router),Swarm自己不运行容器,它只是接受docker客户端发送过来的请求,调度适合的节点来运行容器,这意味着,即使Swarm由于某些原因挂掉了,集群中的节点也会照常运行,当Swarm重新恢复运行之后,它会收集重建集群信息.

Swarm结构图

未分类

Swarm的基本命令

docker node 用来显示集群的节点,默认建立时只有一个节点,当然也就谈不上高可用了,可以使用docker node –help来查看所有node参数

未分类

集群初始化 docker swarm init

未分类

当已经被初始化后,就不能重新执行这个操作了,使用docker node ls 来查看刚建立的集群

集群中的管理节点和工作节点功能图

未分类

添加管理节点 docker swarm join

Docker Swarm 命令中还需要添加一些选项:

  • join:表明一个新的节点将被添加进 Swarm

  • –manager:表明节点的性质(manager vs worker)

  • –listen-addr:让一个新添加的节点可以访问 Swarm 内的其他节点

  • 最后的参数就是第一管理节点的地址(即这一命令将被送到的那个节点)

注意:由于 –auto-accept manager 选项会在 Swarm 初始化的过程中被提供,所以第二管理节点会被自动接受。如果没有这一选项,那么第二管理节点需要被第一管理节点手动接受。

$ MANAGER2_IP=$(docker-machine ip manager2)
docker-machine ssh manager2 docker swarm join --manager --listen-addr $MANAGER2_IP:2377 $MANAGER1_IP:2377

Swarn部署时使用的脚本,来自网络

下面是一小段用来创建 Docker 主机并部署 Swarm 的 Shell 脚本。当然了,管理/工作节点的数字都是可以随意改动的。
注意:创建两个管理节点和两个工作节点,仅仅是用来作示范。在工业生产中,我们可能需要在集群里搭建 3 个管理节点和 5 个工作节点。

# Define the number of managers/workers
MANAGER=3
WORKER=5

# Create the Docker hosts
for i in $(seq 1 $MANAGER); do docker-machine create --driver virtualbox manager$i; done
for i in $(seq 1 $WORKER); do docker-machine create --driver virtualbox worker$i; done

# Init the swarm
docker-machine ssh manager1 docker swarm init --auto-accept manager --auto-accept worker --listen-addr $(docker-machine ip manager1):2377

# Add additional manager(s)
for i in $(seq 2 $MANAGER); do docker-machine ssh manager$i docker swarm join --manager --listen-addr $(docker-machine ip manager$i):2377 $(docker-machine ip manager1):2377; done

# Add workers
for i in $(seq 1 $WORKER); do docker-machine ssh worker$i docker swarm join --listen-addr $(docker-machine ip worker$i):2377 $(docker-machine ip manager1):2377; done

对于上面文章中,只提到了集群,而没有谈到如何去使用,在建立集群后,服务的部署我们可以用

docker stack deploy  -c test.yml test

下面给出自己写的一个服务,版本3的

version: "3"

services:
  loggerapi:
    image: logger.api
    build:
      context: ./src/Logger.Api
      dockerfile: Dockerfile
    ports:
      - "5000:80"
    networks:
      - ingress

 loggermanager:
    image: logger.manager
    build:
      context: ./src/Logger.Manager
      dockerfile: Dockerfile
    ports:
      - "5050:80"
    networks:
      - ingress

networks:
  ingress:

这里有个服务要注意,服务的名称一定不能有点,如logger.manager这是错误的!

未分类

来建立一个服务,同时可以使用docker service来查看已经运行的服务!

还有一点要注意,yml在进行v3版后,不再支持build,也就是说,你需要先把镜像建立好才行!

未分类

如何使用Docker切換不同的MongoDB

在開發前端的時候,常常會碰到想要回到 migration 之前的 MongoDB 資料結構來除錯,如果只使用本地安裝的 MongoDB,操作上會很麻煩,所以這篇文章會說明如何在本機不安裝 MongoDB 的環境下,使用 Docker 準備多份 MongoDB 資料庫。

請確認電腦有安裝 Docker,先準備好要使用的 MongoDB 資料庫備份檔案,大概會是長這樣:

未分类

存放的路徑這裡暫定為

~/Downloads/20170622/hahow/...

打開 Terminal,下載 MongoDB(這裡以 2.6 版作為示範)的 Docker image:

$ docker pull mongo:2.6

然後開啟一個新的 MongoDB Docker container,container 名字可以透過 –name 自訂:

$ docker run --detach --name mongo_hahow_20170622 --publish 27017:27017 mongo:2.6

使用 docker inspect 取得 container 的 IP,後面會用到:

$ docker inspect mongo_hahow_20170622 | grep IPAddress

前往剛才存放備份資料庫的位置:

$ cd ~/Downloads

開啟並進入一個暫時性質的 Docker container,用途為 restore 資料庫到 mongo_hahow_20170622 的 container:

$ docker run --interactive --tty --rm --volume $PWD:/tmp mongo:2.6 bash

因為 ~/Downloads 被 volume 在 /tmp 底下,所以可以根據對應的路徑前往該資料庫存放的資料夾位置:

$ cd /tmp

使用 mongorestore 恢復備份資料庫到 mongo_hahow_20170622,IP 記得使用上面 docker inspect 查到的 IP:

$ mongorestore --host 172.17.0.2 --db hahow 20170622/hahow

如果順利 restore 完成之後,就可以離開,它會自動刪除這個一次性的 container:

$ exit

之後如果還有其它版本的 MongoDB 想要切換著使用的話,可以繼續從第一個步驟建立新的 container。

順帶一提,Docker for Mac 有內建一個叫 Kitematic 的 Docker GUI,可以使用它來切換不同版本的 MongoDB:

未分类

未分类

删除Docker容器镜像的方法

1. 停止所有的container,这样才能够删除其中的images:

docker stop $(docker ps -a -q)

如果想要删除所有container的话再加一个指令:

docker rm $(docker ps -a -q)

2. 查看当前有些什么images

docker images

3. 删除images,通过image的id来指定删除谁

docker rmi

想要删除untagged images,也就是那些id为的image的话可以用

docker rmi $(docker images | grep "^" | awk "{print $3}")

要删除全部image的话

docker rmi $(docker images -q)

使用Docker搭建 Java Web运行环境

Docker 是 2014 年最为火爆的技术之一,几乎所有的程序员都听说过它。Docker 是一种“轻量级”容器技术,它几乎动摇了传统虚拟化技术的地位,现在国内外已经有越来越多的公司开始逐步使用 Docker 来替换现有的虚拟化平台了。作为一名 Java 程序员,我们是时候一起把 Docker 学起来了!

本文会对虚拟化技术与 Docker 容器技术做一个对比,然后引出一些 Docker 的名词术语,比如:容器、镜像等,随后将使用 Docker 搭建一个 Java Web 运行环境,最后将对本文做一个总结。

我们先来回顾一下传统虚拟化技术的体系架构:

未分类

可见,我们在宿主机的操作系统上,可安装了多个虚拟机,而在每个虚拟机中,通过虚拟化技术,实现了一个虚拟操作系统,随后,就可以在该虚拟操作系统上,安装自己所需的应用程序了。这一切看似非常简单,但其中的技术细节是相当高深莫测的,大神级人物都不一定说得清楚。

凡是使用过虚拟机的同学,应该都知道,启动虚拟机就像启动一台计算机,初始化过程是相当慢的,我们需要等很久,才能看到登录界面。一旦虚拟机启动以后,就可以与宿主机建立网络连接,确保虚拟机与宿主机之间是互联互通的。不同的虚拟机之间却是相互隔离的,也就是说,彼此并不知道对方的存在,但每个虚拟机占用的都是宿主机的硬件与网络资源。

我们再来对比一下 Docker 技术的体系架构吧:

未分类

可见,在宿主机的操作系统上,有一个 Docker 服务在运行(或者称为“Docker 引擎”),在此服务上,我们可开启多个 Docker 容器,而每个 Docker 容器中可运行自己所需的应用程序,Docker 容器之间也是相互隔离的,同样地,都是占用的宿主机的硬件与网络资源。

Docker 容器相对于虚拟机而言,除了在技术实现上完全不一样以外,启动速度较虚拟机而言有本质的飞跃,启动一个容器只在眨眼瞬间。不管是虚拟机还是 Docker 容器,它们都是为了隔离应用程序的运行环境,节省我们的硬件资源,为我们开发人员提供福利。

我们再来看看 Docker 的 Logo 吧:

未分类

很明显,这是一只鲸鱼,它托着许多集装箱。我们可以把宿主机可当做这只鲸鱼,把相互隔离的容器可看成集装箱,每个集装箱中都包含自己的应用程序。这 Logo 简直的太形象了!

需要强调的是,笔者并非否定虚拟化技术,而是想通过本文让更多的读者了解如何使用 Docker 技术,让大家知道除了虚拟化技术以外,还有另一种替代技术,也能让应用程序隔离起来。

下面,我们将结合一个 Java Web 应用的部署过程,来描述如何“烹饪”Docker 这份美味佳肴。您准备好了吗?我们现在就开始!

原料

前提条件

首先,您要准备一个 CentOS 的操作系统,虚拟机也行。总之,可以通过 Linux 客户端工具访问到 CentOS 操作系统就行。

需要说明的是,Ubuntu 或其它 Linux 操作系统也能玩 Docker,只不过本文选择了以 CentOS 为例,仅此而已。

CentOS 具体要求如下:

  • 必须是 64 位操作系统
  • 建议内核在 3.8 以上

通过以下命令查看您的 CentOS 内核:

uname -r

如果执行以上命令后,输出的内核版本号低于 3.8,请参考下面的方法来来升级您的 Linux 内核。

对于 CentOS 6.5 而言,内核版本默认是 2.6。首先,可通过以下命令安装最新内核:

rpm --import https://www.elrepo.org/RPM-GPG-KEY-elrepo.org
rpm -ivh http://www.elrepo.org/elrepo-release-6-5.el6.elrepo.noarch.rpm
yum -y --enablerepo=elrepo-kernel install kernel-lt

随后,编辑以下配置文件:

vi /etc/grub.conf

将default=1修改为default=0。

最后,通过reboot命令重启操作系统。

重启后如果不出意外的话,再次查看内核,您的 CentOS 内核将会显示为 3.10。

如果到这里,您和我们所期望的结果是一致的。恭喜您!下面我们就一起来安装 Docker 了。

安装 Docker

只需通过以下命令即可安装 Docker 软件:

rpm -Uvh http://download.fedoraproject.org/pub/epel/6/i386/epel-release-6-8.noarch.rpm
yum -y install docker-io

可使用以下命令,查看 Docker 是否安装成功:

docker version

若输出了 Docker 的版本号,则说明安装成功,我们下面就可以开始使用 Docker 了。

可通过以下命令启动 Docker 服务:

service docker start

做法

就像曾经安装软件一样,我们首先需要有一张刻录了该软件的光盘,如果您使用的是虚拟光驱,那么就需要运行一种名为“镜像”的文件,通过它来安装软件。在 Docker 的世界里,也有一个名为“镜像”的东西,已经安装我们所需的操作系统,我们一般成为“Docker 镜像”,本文简称“镜像”。

那么问题来了,我们从哪里下载镜像呢?

Docker 官网 确实已经提供了所有的镜像下载地址,可惜在国内却是无法访问的。幸好国内好心人提供了一个 Docker 中文网,在该网站上可以下载我们所需的 Docker 镜像。

下载镜像

我们不妨还是以 CentOS 为例,通过以下步骤,下载一个 CentOS 的镜像。

首先,访问 Docker 中文网,在首页中搜索名为“centos”的镜像,在搜索的结果中,有一个“官方镜像”,它就是我们所需的。

然后,进入 CentOS 官方镜像页面,在“Pull this repository”输入框中,有一段命令,把它复制下来,在自己的命令行上运行该命令,随后将立即下载该镜像。

最后,使用以下命令查看本地所有的镜像:

docker images

当下载完成后,您应该会看到:

REPOSITORY                TAG                 IMAGE ID            CREATED             VIRTUAL SIZE
docker.cn/docker/centos   centos6             25c5298b1a36        7 weeks ago         215.8 MB

如果看到以上输出,说明您可以使用“docker.cn/docker/centos”这个镜像了,或将其称为仓库(Repository),该镜像有一个名为“centos6”的标签(Tag),此外还有一个名为“25c5298b1a36 ”的镜像 ID(可能您所看到的镜像 ID 与此处的不一致,那是正常现象,因为这个数字是随机生成的)。此外,我们可以看到该镜像只有 215.8 MB,非常小巧,而不像虚拟机的镜像文件那样庞大。

现在镜像已经有了,我们下面就需要使用该镜像,来启动容器。

启动容器

容器是在镜像的基础上来运行的,一旦容器启动了,我们就可以登录到容器中,安装自己所需的软件或应用程序。既然镜像已经下载到本地,那么如何才能启动容器呢?

只需使用以下命令即可启动容器:

docker run -i -t -v /root/software/:/mnt/software/ 25c5298b1a36 /bin/bash

这条命令比较长,我们稍微分解一下,其实包含以下三个部分:

docker run <相关参数> <镜像 ID> <初始命令>

其中,相关参数包括:

  • -i:表示以“交互模式”运行容器
  • -t:表示容器启动后会进入其命令行
  • -v:表示需要将本地哪个目录挂载到容器中,格式:-v :

假设我们的所有安装程序都放在了宿主机的/root/software/目录下,现在需要将其挂载到容器的/mnt/software/目录下。

需要说明的是,不一定要使用“镜像 ID”,也可以使用“仓库名:标签名”,例如:docker.cn/docker/centos:centos6。

初始命令表示一旦容器启动,需要运行的命令,此时使用“/bin/bash”,表示什么也不做,只需进入命令行即可。

安装相关软件

为了搭建 Java Web 运行环境,我们需要安装 JDK 与 Tomcat,下面的过程均在容器内部进行。我们不妨选择/opt/目录作为安装目录,首先需要通过cd /opt/命令进入该目录。

安装 JDK

首先,解压 JDK 程序包:

tar -zxf /mnt/software/jdk-7u67-linux-x64.tar.gz -C .

然后,重命名 JDK 目录:

mv jdk1.7.0_67/ jdk/

安装 Tomcat

首先,解压 Tomcat 程序包:

tar -zxf /mnt/software/apache-tomcat-7.0.55.tar.gz -C .

然后,重命名 Tomcat 目录:

mv apache-tomcat-7.0.55/ tomcat/

设置环境变量

首先,编辑.bashrc文件

vi ~/.bashrc

然后,在该文件末尾添加如下配置:

export JAVA_HOME=/opt/jdk
export PATH=$PATH:$JAVA_HOME

最后,需要使用source命令,让环境变量生效:

source ~/.bashrc

编写运行脚本

我们需要编写一个运行脚本,当启动容器时,运行该脚本,启动 Tomcat,具体过程如下:

首先,创建运行脚本:

vi /root/run.sh

然后,编辑脚本内容如下:

#!/bin/bash
source ~/.bashrc
sh /opt/tomcat/bin/catalina.sh run

注意:这里必须先加载环境变量,然后使用 Tomcat 的运行脚本来启动 Tomcat 服务。

最后,为运行脚本添加执行权限:

chmod u+x /root/run.sh

退出容器

当以上步骤全部完成后,可使用exit命令,退出容器。

随后,可使用如下命令查看正在运行的容器:

docker ps

此时,您应该看不到任何正在运行的程序,因为刚才已经使用exit命令退出的容器,此时容器处于停止状态,可使用如下命令查看所有容器:

docker ps -a

输出如下内容:

CONTAINER ID        IMAGE                             COMMAND             CREATED             STATUS                      PORTS               NAMES
57c312bbaad1        docker.cn/docker/centos:centos6   "/bin/bash"         27 minutes ago      Exited (0) 19 seconds ago                       naughty_goldstine

记住以上CONTAINER ID(容器 ID),随后我们将通过该容器,创建一个可运行 Java Web 的镜像。

创建 Java Web 镜像

使用以下命令,根据某个“容器 ID”来创建一个新的“镜像”:

docker commit 57c312bbaad1 huangyong/javaweb:0.1

该容器的 ID 是“57c312bbaad1”,所创建的镜像名是“huangyong/javaweb:0.1”,随后可使用镜像来启动 Java Web 容器。

启动 Java Web 容器

有必要首先使用docker images命令,查看当前所有的镜像:

REPOSITORY                TAG                 IMAGE ID            CREATED             VIRTUAL SIZE
huangyong/javaweb         0.1                 fc826a4706af        38 seconds ago      562.8 MB
docker.cn/docker/centos   centos6             25c5298b1a36        7 weeks ago         215.8 MB

可见,此时已经看到了最新创建的镜像“huangyong/javaweb:0.1”,其镜像 ID 是“fc826a4706af”。正如上面所描述的那样,我们可以通过“镜像名”或“镜像 ID”来启动容器,与上次启动容器不同的是,我们现在不再进入容器的命令行,而是直接启动容器内部的 Tomcat 服务。此时,需要使用以下命令:

docker run -d -p 58080:8080 --name javaweb huangyong/javaweb:0.1 /root/run.sh

稍作解释:

  • -d:表示以“守护模式”执行/root/run.sh脚本,此时 Tomcat 控制台不会出现在输出终端上。
  • -p:表示宿主机与容器的端口映射,此时将容器内部的 8080 端口映射为宿主机的 58080 端口,这样就向外界暴露了 58080 端口,可通过 Docker 网桥来访问容器内部的 8080 端口了。
  • –name:表示容器名称,用一个有意义的名称命名即可。

关于 Docker 网桥的内容,需要补充说明一下。实际上 Docker 在宿主机与容器之间,搭建了一座网络通信的桥梁,我们可通过宿主机 IP 地址与端口号来映射容器内部的 IP 地址与端口号,

在一系列参数后面的是“镜像名”或“镜像 ID”,怎么方便就怎么来。最后是“初始命令”,它是上面编写的运行脚本,里面封装了加载环境变量并启动 Tomcat 服务的命令。

当运行以上命令后,会立即输出一长串“容器 ID”,我们可通过docker ps命令来查看当前正在运行的容器。

CONTAINER ID        IMAGE                   COMMAND             CREATED             STATUS              PORTS                     NAMES
82f47923f926        huangyong/javaweb:0.1   "/root/run.sh"      4 seconds ago       Up 3 seconds        0.0.0.0:58080->8080/tcp   javaweb

品尝

在浏览器中,输入以下地址,即可访问 Tomcat 首页:

http://192.168.65.132:58080/

注意:这里使用的是宿主机的 IP 地址,与对外暴露的端口号 58080,它映射容器内部的端口号 8080。

总结

通过本文,我们了解了 Docker 是什么?它与虚拟机的差别在哪里?以及如何安装 Docker?如何下载 Docker 镜像?如何运行 Docker 容器?如何在容器内安装应用程序?如何在容器上创建镜像?如何以服务的方式启动容器?这一切看似简单,但操作也是相当繁琐的,不过熟能生巧,需要我们不断地操练。

除了这种手工生成 Docker 镜像的方式以外,还有一种更像是写代码一样,可以自动地创建 Docker 镜像的方式。只需要我们编写一个 Dockerfile 文件,随后使用docker build命令即可完成以上所有的手工操作。

Ubuntu 16.04系统修改Docker镜像的存储路径

最近在 Ubuntu 16.04系统上使用 Docker结果由于默认的镜像存储路径在系统分区上,而系统分区又不足够大,导致整个系统都不能正常工作了。

因此我们需要把 Docker的镜像存储目录移动到数据分区。

执行如下命令查询默认的存储路径

$ sudo docker info | grep "Docker Root Dir"

我们看到如下输出

Docker Root Dir: /var/lib/docker

比较简单的方法是通过软链接的方式来实现,具体命令如下:

$ sudo service docker stop

#我的系统是用户分区足够大
$ sudo mv /var/lib/docker ~/.docker

$ sudo ln -s ~/.docker /var/lib/docker

$ sudo service docker start

docker安装配置Mariadb数据库

1、获取mariadb镜像地址

root@debian1:~/nginx# docker search mariadb
NAME                                 DESCRIPTION                                     STARS     OFFICIAL   AUTOMATED
mariadb                              MariaDB is a community-developed fork of M...   1417      [OK]
bitnami/mariadb                      Bitnami MariaDB Docker Image                    39                   [OK]

2、拉去maridb的最新镜像

root@debian1:~/nginx# docker pull  mariadb
Using default tag: latest
latest: Pulling from library/mariadb

3:启动,mariadb镜像

root@debian1:~/nginx# docker run  --privileged  -d -e TIMEZONE=Asis/Shanghai -e MYSQL_ROOT_PASSWORD=hanye131 -e SERVER_ID=1 -v $PWD/mysql_db:/var/lib/mysql  -p 3306:3306  mariadb
255650e5e83d27402b1df338c09c0639b1512e73ef27cd31e1f2c90509dc104c
root@debian1:~/nginx# docker ps -a
CONTAINER ID        IMAGE         COMMAND  CREATED      STATUS           PORTS               NAMES
255650e5e83d        mariadb      "docker-entrypoint..."   3 seconds ago       Up 1 second       0.0.0.0:3306->3306/tcp   festive_ride

4、查看启动占用的端口

root@debian1:~/nginx# netstat  -tunl|grep 3306
tcp6       0      0 :::3306                 :::*                    LISTEN

5、链接docker的mysql

root@debian1:~/nginx# mysql -uroot -phanye131 -h127.0.0.1
Welcome to the MySQL monitor.  Commands end with ; or g.
Your MySQL connection id is 8
Server version: 5.5.5-10.2.6-MariaDB-10.2.6+maria~jessie mariadb.org binary distribution

Copyright (c) 2000, 2017, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or 'h' for help. Type 'c' to clear the current input statement.

mysql>

6、错误解决方案

如果提示无法链接找到sock文件,你需要链接到docker的mariadb容器之内来授权链接

6.1 链接到docker mariadb之内

获取mariadb的CONTAINER ID


root@debian1:~/nginx# docker ps -a CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES 255650e5e83d mariadb "docker-entrypoint..." 10 minutes ago Up 10 minutes 0.0.0.0:3306->3306/tcp festive_ride 360baf71efb0 a3ae0b27ec04 "/run.sh bash" 3 hours ago Exited (2) 3 hours ago nginx

我这里的mariadb的镜像的CONTAINER ID是 255650e5e83d

6.2 登录mariadb之内

root@debian1:~/nginx# docker exec -it 255650e5e83d bash
root@255650e5e83d:/#

6.3 授权mysql的root用户的链接权限(其通用户同样设置)


MariaDB [(none)]> grant all on *.* to 'root'@'192.168.1.%' identified by 'hanye131'; Query OK, 0 rows affected (0.01 sec) MariaDB [(none)]> flush privileges; Query OK, 0 rows affected (0.01 sec)

7、再次链接mysql即可

58 赶集基于 Docker 的自动化部署实践

【编者的话】随着 58 业务的发展,机器和服务数量也日益庞大,在多环境下,服务的管理和依赖难以维护。基于 Docker 带来的技术红利,我们借助 Docker 和 Kubernetes 提供了镜像的自动打包,单一镜像在测试-沙箱-生产-稳定四个环境的流转,以及测试环境统一的 Nginx 入口。至此,开发同学可以不再为资源和环境问题困扰,提高了生产效率。

1. 项目背景

58 现有的部署系统只管理线上环境,在资源和环境两个维度,分别存在以下问题:

在这个现状下,我们提出了『基于 Docker 的自动化部署』项目,在不破坏现有项目管理流程的基础上,实现接管所有环境的部署,提高生产效率。

2. 自动打包

引入 Docker 技术之后,首先给开发人员带来了编写 Dockerfile 的问题。为了降低使用成本,我们提供了若干标准的 Dockerfile 模板,业务线 RD 同学可以根据不同业务场景选择合适的模板。同时提供标准 Dockerfile 也带了其它好处,类似项目之间通用的 layer 比较多,减少了同类型集群镜像的差异性,在镜像存储,和拉取镜像的时候带来了方便。

一个典型的 Dockerfile 模板如下:

dockerfile
FROM registry.58corp.com/base/centos6.8:14



MAINTAINER 58op



RUN yum install -y tomcat apr tomcat-native

EXPOSE 8001

ENTRYPOINT sh /sbin/startup.sh

WORKDIR /opt/web/{{CLUSTER_NAME}}

ARG CACHE=1

RUN mkdir -p /opt/web/{{CLUSTER_NAME}}/ /opt/log/wormhole/{{CLUSTER_NAME}}/ && rsync -ac {{BUILD_IP}}::root/root/output/ /opt/web/{{CLUSTER_NAME}}/ && chown -R work:work /opt 

USER work

运行 docker build 的时候可以加上 –build-arg 参数,给构建环境的 CACHE 变量指定不一样的值,防止后面的业务代码层被打包机缓存。

在此基础上,我们还实现了自动打包流程,在完成提测之后,触发自动打包的流程,在 Kubernetes 中用跑一个 Job,完成镜像构建的步骤,同时上传本次运行日志,方便定位未知的问题。这样在部署阶段,业务线 RD 只需要选择集群名,需要部署的环境和版本号就能部署容器了。

3. 全环境流转

目前在58赶集内部大多数业务有以下四种环境:

现有的部署系统『USP』接管了线上环境的部署,能实现自动从产品库拉取代码包,完成部署,摘流量,重启服务等操作。对于剩下三种环境,基本上是各自为政的状态,大多由RD、QA 同学手动搭建,比较混乱。

为了实现单一镜像能在不同的环境下正常生成容器,首先要解决不同环境配置文件的问题。我们写了一个切换配置文件的脚本,然后把此脚本和所有环境的配置文件在打包阶段均置入到镜像中,然后在不同环境运行时,添加代表当前环境的系统环境变量,这样在不同环境生成的容器就能启用对应的配置文件了。

4. 测试 NGINX

由于分类信息业务的特殊性,58赶集的二级域名是城市分站缩写,不同业务需要通过 URL 来区分,所以我们可能有着业内最复杂的 NGINX 配置。对于很多业务,如果没有 NGINX 配置,直接 IP:端口 访问后端服务,是不能正常进行测试的,再加上测试环境需要频繁变更版本,还有多版本并行测试的情况,更是增加了测试 NGINX 的配置复杂程度。

测试 NGINX 的实现原理如下图:

首先借助于腾讯 TGW(可用 LVS 代替),预先申请很多 VIP 放入资源池,并将后端 RS 绑定为我们统一提供的 NGINX 机器。

测试 NGINX 是线上 NGINX 的同步实例,配置可以同步更新。
每次部署完成后,从 VIP 资源池中取出一个可使用的 VIP,记录下部署容器和 VIP 的关系;同时更新 NGINX UPSTREAM 配置。

VIP 携带着集群、版本等部署信息,因为用户只面对版本号,那么容器=版本,版本=测试任务,VIP 也就携带了测试任务的信息,那么通过 VIP 就能定位到容器了。

Q:如何更新 nginx upstream?

A:Nginx 机器上部署有 Agent,Web 类的业务有统一的框架,服务启动时会向 Consul 注册。Agent 订阅 Consul 中的节点数据,然后配合 nginx dyups 模块,动态修改 nginx upstream。

Q:打包好镜像后,使用镜像还用再进行配置吗,就是说还用手动配置吗?

A:不用配置,不同环境之间流转的是同一个镜像,包含了各个环境的所有配置,通过启动容器的环境变量来识别切换。

Q:Docker 的正确的使用姿势,在本地环境已经构建了企业私有 Registry Harbor,那么我要构建基于业务的应用时,是先从 Linux 系列的像 Ubuntu 或 CentOS 的 Base 的 Docker 镜像开始,然后通过 Dockerfile 定制业务需求,来使用吗?

A:我们基础镜像统一采用 CentOS 6.8,不同的业务有不同的 Dockerfile 模板,生成镜像的过程业务对 Dockerfile 是透明的。

Q:这里实现灰度发布了吗?能否不停交易更新?

A:实现了 PV 灰度,暂时没实现 UV 灰度,对于无状态的业务已经能满足需求了,对于有状态的业务,比如交易类型的主要还是需要程序架构来实现。

Q:请问如何保证 NGINX 的高可用?

A:域名->CNAME(快速切换IP解析)->LVS(多个rip)->多个 NGINX 实例(平行实例);NGINX 同时和 LVS 保持心跳来自动踢掉故障的实例。

迁移wordpress到docker容器

这几天抽了个时间,终于把自己阿里云ecs的os升级到了centos7,所以也打算把博客wordpress也升级下,同时还要使用现在比较火的docker技术。

下面把相关wordpress迁移到docker中的相关步骤记录下。

PS:强烈建议OS使用3.0以上内核。

一、备份wordpress数据

在正式迁移wordpress之前,我们需要备份wordpress的相关数据,包括数据库、图片以及主题。

有关wordpress数据库的备份,就是个仁者见仁智者见智的事情了,你通过什么方法都可以备份的。我这边的做法是在本地的一个环境上,使用navicat这个mysql数据库管理工具,把数据传输到本地的环境上。

wordpress图片和主题都在wp-content这个目录下,我们只需要备份这个目录即可。

二、安装docker及其相关软件

wordpress相关数据备份完毕后,我们现在开始安装docker及其相关软件。

2.1 安装docker

docker的安装我们可以分为使用脚本快速安装和配置yum源安装,下面分别介绍下。

2.1.1 脚本快速安装

docker的安装比较简单,我们可以直接使用官方提供的脚本快速安装命令进行安装,如下:

curl -fsSL https://get.docker.com/ | sh

未分类

当然我们也可以使用国内提供的脚本快速安装命令,如下:

curl -sSL https://get.daocloud.io/docker | sh

2.1.2 配置yum源安装

通过配置yum源方式安装docker就比较简单,只需要在本地配置yum仓库配置即可。在此我们使用的中科大的docker仓库,配置如下:

vim /etc/yum.repos.d/docker.repo

[dockerrepo]

name=Docker Repository

baseurl=https://yum.dockerproject.org/repo/main/centos/7

enabled=1

gpgcheck=1

gpgkey=https://yum.dockerproject.org/gpg

未分类

yum仓库配置完毕后,我们现在开始安装docker,如下:

yum -y install docker-engine

未分类

2.1.3 普通用户添加docker权限

如果我们想让普通用户也具有使用docker权限,只需要把该用户添加到docker用户组即可。现在以ilanni这个用户为例,如下:

cat /etc/group |grep docker

sudo usermod -aG docker ilanni

su – ilanni

docker ps

未分类

2.1.4 docker开机启动

默认情况下docker是没有开机启动的,使用下面命令使docker开机启动,如下:

systemctl start docker && systemctl enable docker

未分类

2.2 安装docker-compose

因为wordpress需要使用多个docker镜像,所以在此我们使用docker-compose编排工具,进行管理。

安装docker-compose,使用如下命令:

curl -L https://github.com/docker/compose/releases/download/1.13.0/docker-compose-`uname -s`-`uname -m` > /usr/local/bin/docker-compose
chmod +x /usr/local/bin/docker-compose
docker-compose –version

未分类

2.3 安装iptables

centos7默认情况使用的是firewalld作为防火墙,但是对firewalld很是不熟悉,所以还是打算使用iptables。

下面安装iptables,使用如下命令:

yum -y install iptables-services iptables

未分类

把iptables加入到系统服务,使用如下命令:

cp /usr/libexec/iptables/iptables.init /etc/init.d/iptables

/etc/init.d/iptables start

/etc/init.d/iptables status

未分类

把iptables设置为开机启动,使用如下命令:

systemctl enable iptables

systemctl list-unit-files | grep iptables

未分类

关闭firewalld服务,使用如下命令:

systemctl disable firewalld.service

systemctl status firewalld.service

未分类

PS:docker及其相关软件安装完毕后,强烈建议重启服务器。

三、下载镜像

在本次wordpress迁移到docker中,我们需要两个镜像mysql镜像和wordpress镜像。其中wordpress镜像中包含apache、php和wordpress,而mysql镜像提供数据库服务。

PS:无论是wordress镜像还是mysql镜像都提供了多个版本,比如:wordpress镜像中有的只提供wordpress功能,没有提供php功能等等。

但是这次为了迁移的方便,我们只使用wordpress提供的全部功能。

除此之外,考虑到众所周知的原因,我们使用国内网易的蜂巢docker。

3.1 下载mysql5.5镜像

因为我现在wordpress的数据库使用的mysql5.5版本,所以我们也要下载mysql5.5的docker镜像,使用如下命令:

docker pull hub.c.163.com/library/mysql:5.5

未分类

未分类

如果要使用官方提供的mysql5.5镜像,使用如下命令:

docker pull mysql:5.5

未分类

3.2 下载wordpress镜像

wordpress镜像我们使用最新的版本即可,下载最新版本的镜像命令如下:

docker pull hub.c.163.com/library/wordpress

未分类

如果要使用官方提供的wordpress镜像,使用如下命令:

docker pull wordpress

未分类

对于wordpress提供的多个版本,我们使用的是包含有apache、php、php-fpm的latest版本。

对于只提供wordpress功能的版本,我们会在以后的文章进行相关讲解。

四、编写docker-compose.yml文件

为了管理容器的方便在此我们使用的是docker-compose来进行的,当然你也可以对每个docker镜像单独来运行。

但是在这为了迁移的方便,我们在这直接使用docker-compose来进行管理。

对于docker-compose,我们只需要编写docker-compose.yml文件,即可。示例如下:

vim docker-compose.yml

version: '2'

services:

mysqldb:

image: hub.c.163.com/library/mysql:5.5

container_name: ilanni_mysql

ports:

- "33033:3306"

volumes:

- ./data:/var/lib/mysql

restart: always

environment:

MYSQL_ROOT_PASSWORD: 123456

MYSQL_DATABASE: ilanni

MYSQL_USER: wwwilanni

MYSQL_PASSWORD: ilanni123

wordpress:

depends_on:

- mysqldb

image: hub.c.163.com/library/wordpress

container_name: ilanni_wordpress

ports:

- "80:80"

restart: always

environment:

WORDPRESS_DB_HOST: ilanni_mysql:3306

WORDPRESS_DB_NAME: ilanni

WORDPRESS_DB_USER: wwwilanni

WORDPRESS_DB_PASSWORD: ilanni123

volumes:

- ./wp-content/themes/xiu_ilanni:/var/www/html/wp-content/themes/xiu_ilanni

- ./wp-content/plugins:/var/www/html/wp-content/plugins

- ./wp-content/uploads:/var/www/html/wp-content/uploads

- ./favicon.ico:/var/www/html/favicon.ico

- ./alivv.txt:/var/www/html/alivv.txt

未分类

未分类

上述的docker-compose.yml文件中,我们创建了两个容器ilanni_mysql和ilanni_wordpress,其中- ./data:/var/lib/mysql的意思是把容器中的/var/lib/mysql目录映射到本地的data目录下。

  • ./alivv.txt:/var/www/html/alivv.txt意思是把本地的alivv.txt文件挂载到容器为/var/www/html/alivv.txt文件。

  • “33033:3306″意思是把容器中的3306端口映射为本地33033端口。

depends_on意思是一个容器依赖与另外一个容器。

docker-compose.yml文件编写完毕后,我们就可以启动容器了。使用如下命令:

docker-compose up -d

docker ps

未分类

通过上图我们可以很明显的看出,ilanni_mysql和ilanni_wordpress这个容器已经创建完毕。

PS:上述docker-compose.yml文件相关的环境变量中,我们都可以在对应docker镜像中看到对应的函数。

mysql镜像的对应变量,可以通过如下连接进行查看:

https://hub.docker.com/r/library/mysql/

未分类

wordpress镜像的对应变量,可以通过如下连接进行查看:

https://hub.docker.com/r/library/wordpress/

未分类

五、导入wordpress备份数据

通过上述章节,我们可以看到ilanni_mysql容器已经正常启动了。

现在我们把wordpress备份的数据导入到新的数据库中,使用navicat进行数据传输如下:

未分类

未分类

未分类

通过上图,我们可以看到wordpress数据已经被恢复到新的数据库ilanni_mysql中了。

其他的备份数据,我们只需要复制到对应的目录下即可。

六、启动容器

其实我们在前面已经启动了容器,之所以我们再次说要启动容器,是因为我们在第五章节中刚刚把原来备份的数据恢复到新的环境中。

现在我们只需要重启容器即可,使用如下命令:

docker-compose restart

未分类

现在我们来访问下刚刚恢复数据后的wordpress,如下:

未分类

未分类

通过上图,我们可以看出wordpress已经全部迁移过去了。

七、配置iptables规则

因为没有启用firewalld服务,所以这个牵涉到有关iptables规则的配置。

下面是正确配置的iptables规则,如下:

cat /etc/sysconfig/iptables

*nat

:PREROUTING ACCEPT [263:15384]

:INPUT ACCEPT [135:7704]

:OUTPUT ACCEPT [104:6272]

:POSTROUTING ACCEPT [232:13952]

:DOCKER - [0:0]

-A PREROUTING -m addrtype --dst-type LOCAL -j DOCKER

-A OUTPUT ! -d 127.0.0.0/8 -m addrtype --dst-type LOCAL -j DOCKER

-A POSTROUTING -s 172.17.0.1/16 ! -o docker0 -j MASQUERADE

COMMIT

*filter

:INPUT ACCEPT [0:0]

:FORWARD ACCEPT [0:0]

:OUTPUT ACCEPT [0:0]

:DOCKER - [0:0]

-A INPUT -i br-eaa791e079d2 -j ACCEPT

-A FORWARD -o br-eaa791e079d2 -j DOCKER

-A FORWARD -o br-eaa791e079d2 -m conntrack --ctstate RELATED,ESTABLISHED -j ACCEPT

-A FORWARD -i br-eaa791e079d2 ! -o br-eaa791e079d2 -j ACCEPT

-A FORWARD -i br-eaa791e079d2 -o br-eaa791e079d2 -j ACCEPT

-A INPUT -m state --state RELATED,ESTABLISHED -j ACCEPT

-A INPUT -p icmp -j ACCEPT

-A INPUT -i lo -j ACCEPT

-A INPUT -p tcp -m state --state NEW -m tcp --dport 80 -j ACCEPT

-A INPUT -p tcp -m state --state NEW -m tcp --dport 22022 -j ACCEPT

-A INPUT -j REJECT --reject-with icmp-host-prohibited

-A FORWARD -j REJECT --reject-with icmp-host-prohibited

COMMIT

未分类

上述iptables规则中,我们需要关注nat规则和filter规则,对于nat规则中我们只需要关注POSTROUTING中ip地址即可。

该ip地址就是docrer0网卡的ip地址,我们可以通过ip a命令进行查看,如下:

ip add

未分类

对于filter规则中,需要我们关注如下规则:

:DOCKER - [0:0]

-A FORWARD -o br-d63b827b6fc9 -j DOCKER

-A FORWARD -o br-d63b827b6fc9 -m conntrack --ctstate RELATED,ESTABLISHED -j ACCEPT

-A FORWARD -i br-d63b827b6fc9 ! -o br-d63b827b6fc9 -j ACCEPT

-A FORWARD -i br-d63b827b6fc9 -o br-d63b827b6fc9 -j ACCEPT

其中br-d63b827b6fc9为docker所在机器的桥接网卡地址,如果docker所在机器有多块网卡的话,我们可以通过登录进入docker容器查看ip地址,就可以得到该容器运行时所使用的宿主机的网卡。

示例如下:

docker exec -it ilanni_mysql /bin/bash

ip a    

未分类

八、配置wordpress上传图片权限

按照上述步骤迁移完毕后,在发布文章时,你会发现wordpress提示你没有上传图片的权限。

这个应该是wordpress镜像的一个bug,需要我们修改wordpress镜像的upload目录的权限,如下:

docker exec -it ilanni_wordpress /bin/bash

chown www-data:www-data -R wp-content/uploads/

未分类