Rhel7下NFS的配置以及使用

一、NFS概述

1. NFS概述

NFS 是Network File System的缩写,即网络文件系统。

一种使用于分散式文件系统的协定,由Sun公司开发,于1984年向外公布。

功能是通过网络让不同的机器、不同的操作系统能够彼此分享个别的数据,让应用程序在客户端通过网络访问位于服务器磁盘中的数据,是在类Unix系统间实现磁盘文件共享的一种方法。

NFS 的基本原则是”容许不同的客户端及服务端通过一组RPC分享相同的文件系统”,它是独立于操作系统,容许不同硬件及操作系统的系统共同进行文件的分享。

NFS在文件传送或信息传送过程中依赖于RPC协议。

RPC,远程过程调用 (Remote Procedure Call) 是能使客户端执行其他系统中程序的一种机制。

NFS本身是没有提供信息传输的协议和功能的,但NFS却能让我们通过网络进行资料的分享,这是因为NFS使用了一些其它的传输协议。而这些传输协议用到这个RPC功能的。可以说NFS本身就是使用RPC的一个程序。或者说NFS也是一个RPC SERVER。所以只要用到NFS的地方都要启动RPC服务,不论是NFS SERVER或者NFS CLIENT。这样SERVER和CLIENT才能通过RPC来实现PROGRAM PORT的对应。可以这么理解RPC和NFS的关系:NFS是一个文件系统,而RPC是负责负责信息的传输。

2. NFS的一些守护进程

NFS系统守护进程

nfsd:它是基本的NFS守护进程,主要功能是管理客户端是否能够登录服务器;

mountd:它是RPC安装守护进程,主要功能是管理NFS的文件系统。

当客户端顺利通过nfsd登录NFS服务器后,在使用NFS服务所提供的文件前,还必须通过文件使用权限的验证。它会读取NFS的配置文件/etc/exports来对比客户端权限。

rpcbind:主要功能是进行端口映射工作。

当客户端尝试连接并使用RPC服务器提供的服务(如NFS服务)时,rpcbind会将所管理的与服务对应的端口提供给客户端,从而使客户可以通过该端口向服务器请求服务。

二、测试机概述

server端:

  • 主机名:nfsserver
  • ip:192.168.0.110

client端:

  • 主机名:fundation10
  • ip:192.168.0.199

Operating System均为: Red Hat Enterprise Linux Server 7.0 (Maipo)

三、server端NFS服务的搭建

以下操作在server端:

1. 安装NFS服务

  • nfs-utils :包括基本的NFS命令与监控程序
  • rpcbind :支持安全NFS RPC服务的连接

所以需要安装rpcbind和nfs-utils两个包

yum install rpcbind nfs-utils -y

2. NFS服务器的配置

1)查看NFS服务的配置文件

rpm -qc nfs-utils

看到的内容是这些

/etc/nfsmount.conf 
/etc/request-key.d/id_resolver.conf 
/etc/sysconfig/nfs 
/var/lib/nfs/etab 
/var/lib/nfs/rmtab 
/var/lib/nfs/state 
/var/lib/nfs/xtab

但是/etc/exports才是nfs服务的主配置文件

这个文件是NFS的主要配置文件,不过系统并没有默认值,所以这个文件不一定会存在,可能要使用vim手动建立,然后在文件里面写入配置内容。

2)了解server端NFS服务主配置文件的输出目录以及输出属性
首先我们来看一下/etc/exports的格式

<输出目录> [客户端1选项(访问权限,用户映射,其他)] [客户端2选项(访问权限,用户映射,其他)]

其次,详细了解

##############输出目录:###################

输出目录是指NFS系统中需要共享给客户机使用的目录;

##############客户端:####################

客户端是指网络中可以访问这个NFS输出目录的计算机

#############客户端常用的指定方式###########

    指定ip地址的主机:192.168.0.200

    指定子网中的所有主机:192.168.0.0/24 192.168.0.0/255.255.255.0
    指定域名的主机:nfs.cnhzz.com
    指定域中的所有主机:*.cnhzz.com
    所有主机:*

##################选项:####################

选项用来设置输出目录的访问权限、用户映射等。

NFS主要有3类选项:
1)访问权限选项
    设置输出目录只读:ro
    设置输出目录读写:rw
2)用户映射选项
    all_squash:将远程访问的所有普通用户及所属组都映射为匿名用户或用户组(nfsnobody);
    no_all_squash:与all_squash取反(默认设置);
    root_squash:将root用户及所属组都映射为匿名用户或用户组(默认设置);
    no_root_squash:与rootsquash取反;
    anonuid=xxx:将远程访问的所有用户都映射为匿名用户,并指定该用户为本地用户(UID=xxx);
    anongid=xxx:将远程访问的所有用户组都映射为匿名用户组账户,并指定该匿名用户组账户为本地用户组账户(GID=xxx);
3)其它选项
    secure:限制客户端只能从小于1024的tcp/ip端口连接nfs服务器(默认设置);
    insecure:允许客户端从大于1024的tcp/ip端口连接服务器;
    sync:将数据同步写入内存缓冲区与磁盘中,效率低,但可以保证数据的一致性;
    async:将数据先保存在内存缓冲区中,必要时才写入磁盘;
    wdelay:检查是否有相关的写操作,如果有则将这些写操作一起执行,这样可以提高效率(默认设置);
    no_wdelay:若有写操作则立即执行,应与sync配合使用;
    subtree_check:若输出目录是一个子目录,则nfs服务器将检查其父目录的权限(默认设置);
    no_subtree_check:即使输出目录是一个子目录,nfs服务器也不检查其父目录的权限,这样可以提高效率;

3. 正式配置NFS服务的主配置文件

要求:

1.将/testdata作为输出目录(共享目录),
2.只共享给192.168.0网段的主机
3.客户端对该目录可读可写
4.数据要求同步
5.若输出目录是一个子目录,则nfs服务器将检查其父目录的权限(默认设置);

步骤:

1)建立/testdata

mkdir /testdata

2)写入配置文件

那么就要在server端写入以下:

/testdata 192.168.0.0/24(rw,sync,subtree_check)

!!!注意*和()之间没有空格

4. 开启服务rpcbind,nfs-utils

systemctl start rpcbind nfs

一定先启动rpcbind

5. 查看共享目录

用命令showmount或者exportfs

showmount -e 192.168.0.110
exportfs

未分类

6. 要求server端防火墙通过NFS服务

firewall-cmd --permanent --add-service=nfs
systemctl restart firewalld.service

或者直接关闭防火墙

四、client挂载NFS服务器共享的目录

1. 将NFS服务器共享的目录挂载至client本机的/mnt下

mount 192.168.0.110:/testdata /mnt

2. 尝试ls/touch,了解server端给自己打开了哪些权限
我以client端普通用户root挂载,普通用户没有挂载权限,得到以下结果

未分类

然后查看server端给我client端的权限,果然缺少wx权限

未分类

那么在server端给client端这样的权限,

未分类

再次尝试:

未分类

仍然无法touch,原因何在

未分类

no_root_squash 是让root保持权限,root_squash是将root映射成nobody,而服务器端并没有设置no_root_squash权限

那么我们设置no_root_squash 映射属性吧

未分类

这样就OK了,下面一项就是对它的解释

五、server端开放某些权限,以供client端使用

关于权限的分析

1、客户端连接时候,对普通用户的检查
如果明确设定了普通用户被压缩的身份,那么此时客户端用户的身份转换为指定用户;

如果NFS server上面有同名用户,那么此时客户端登录账户的身份转换为NFS server上面的同名用户;

如果没有明确指定,也没有同名用户,那么此时 用户身份被压缩成nfsnobody;

2、客户端连接的时候,对root的检查

如果设置no_root_squash,那么此时root用户的身份被压缩为NFS server上面的root;

如果设置了all_squash、anonuid、anongid,此时root 身份被压缩为指定用户;

如果没有明确指定,此时root用户被压缩为nfsnobody;

如果同时指定no_root_squash与all_squash 用户将被压缩为 nfsnobody,如果设置了anonuid、anongid将被压缩到所指定的用户与组;

六、客户端取消挂载

使用umount mountpoint

umount /mnt/

七、相关命令介绍

1、exportfs

如果我们在启动了NFS之后又修改了/etc/exports,是不是还要重新启动nfs呢?这个时候我们就可以用exportfs 命令来使改动立刻生效,该命令格式如下:

# exportfs [-aruv]
-a    # 全部挂载或卸载 /etc/exports中的内容
-r     #重新读取/etc/exports 中的信息 ,并同步更新/etc/exports、/var/lib/nfs/xtab
-u  #卸载单一目录(和-a一起使用为卸载所有/etc/exports文件中的目录)
-v     #在export的时候,将详细的信息输出到屏幕上。

具体例子:

[root@server ~]# exportfs -au #卸载所有共享目录

2、nfsstat

查看NFS的运行状态,对于调整NFS的运行有很大帮助。

3、rpcinfo

查看rpc执行信息,可以用于检测rpc运行情况的工具
rpcinfo -p看出RPC开启的端口所提供的程序有哪些。

4、showmount

-a 显示已经于客户端连接上的目录信息
-e IP或者hostname 显示此IP地址分享出来的目录
最后注意两点,虽然通过权限设置可以让普通用户访问,但是挂载的时候默认情况下只有root可以去挂载,普通用户可以执行sudo。

NFS server 关机的时候一点要确保NFS服务关闭,没有客户端处于连接状态!通过showmount -a 可以查看,如果有的话用kill killall pkill 来结束,(-9 强制结束)

八、处理showmount报错

如果使用showmount报错

类似clnt_create: RPC: Program not registered

解决方式

server端重启nfs,client端重新挂载,给server和client分别在/etc/hosts加上解析

server

192.168.0.110 nfsserver

client

192.168.0.199 fundation10

NFS网络文件系统

说明:以下配置都是以root用户角色执行的,并且基于RHEL7设置的,参考书籍《Linux就该这么学》。

什么是NFS?

NFS就是Network FileSystem的缩写,是由Sun公司发展出来的。其目的是让linux 机器之间彼此分享文档。NFS可以让服务器端共享的目录挂载到本地客户机上,对于本地客户机器来说,远程服务器上的目录就好像自己的一部分。NFS文件系统协议允许网络中的主机通过TCP/IP协议进行资源共享,能够让Linux客户端像使用本地资源一样读写远端NFS服务端的文件内容。

NFS有哪些作用?

它的功能是把NFS服务器(即Linux主机)的某个目录挂载到开发板的文件系统上。这样,开发板就可以执行该目录中的可执行程序。这样做的优点在于:不用将程序写入开发板的Flash,减少了对Flash的损害,同时也方便调试。

在嵌入式系统开发中主要用于NFS网络根文件系统启动或者网络加载调试应用程序。

NFS允许系统将其目录和文件共享给网络上的其他系统。通过NFS,用户和应用程序可以访问远程系统上的文件,就像它们是本地文件一样。那么NFS最值得注意的优点有:

(1)本地工作站可以使用更少的磁盘空间,因为常用数据可以被保存在一台机器上,并让网络上的其他机器可以访问它。

(2)不需要为用户在每台网络机器上放一个用户目录,因为用户目录可以在NFS服务器上设置并使其在整个网络上可用。

(3)存储设备如软盘、光驱及USB设备可以被网络上其它机器使用,这可能可以减少网络上移动设备的数量。

NFS运行机制:

NFS是通过网络进行数据传输,并且传输数据时使用的端口是随机的,但是唯一的限制就是端口小于1024。客户端怎么知道服务器使用的是哪个端口,此时就要用到远程过程调用RPC。

其实,NFS运行在SUN的RPC(Remote Procedure
Call,远程过程调用)基础上,RPC定义了一种与系统无关的方法来实现进程间通信,由此,NFS Server也可以看作是RPC
Server。正因为NFS是一个RPC服务程序,所以在使用它之前,先要映射好端口——通过portmap设定。比如:某个NFSClient发起NFS服务请求时,它需要先得到一个端口(port),所以它先通过portmap得到portnumber(不仅是NFS,所有的RPC服务程序启动之前,都需要先设定好portmap)。

注意:在启动RPC服务(比如NFS)之前,需要先启动portmap服务。

NFS具体配置步骤:

一、服务端配置

1、安装NFS服务

yum install nfs-utils

2、在NFS服务端主机上面建立用于NFS文件共享的目录,设置较大的权限来保证其他人也一样有写入的权限:

mkdir /nfsfile
chmod -Rf 777 /nfsfile
echo "This is a test file" > /nfsfile/readme

3、NFS服务程序的配置文件为/etc/exports,默认里面是空白没有内容的,可以按照共享目录的路径 允许访问的NFS资源客户端(共享权限参数)的格式来写入参数,定义要共享的目录与相应的权限。共享权限参数如下:

未分类

例如想要把/nfsfile目录共享给所有属于192.168.10.0/24这个网段的用户主机,并且让这些用户拥有读写权限,自动同步内存数据到本地硬盘,以及把对方root超级用户映射为本地的匿名用户等等特殊权限参数,那么就可以按照下面的格式来写入配置文件:

vim /etc/exports
/nfsfile 192.168.10.*(rw,sync,root_squash)

4、启动运行NFS共享服务程序,由于NFS服务在文件共享过程中是依赖RPC服务进行工作了,RPC服务用于把服务器地址和服务端口号等信息通知给客户端,因此要使用NFS共享服务的话,顺手也要把rpcbind服务程序启动,并且把这两个服务一起加入到开机启动项中:

systemctl restart rpcbind
systemctl enable rpcbind
systemctl start nfs-server
systemctl enable nfs-server

二、客户端配置

1、首先用showmount命令查询NFS服务端的远程共享信息,输出格式为“共享的目录名称 允许使用客户端地址”:

常用参数如下:

未分类

showmount -e 192.168.10.10  # 显示远程服务端共享的信息

2、然后在客户端系统上面创建一个挂载目录,使用mount命令的 -t 参数指定挂载文件系统的类型,以及后面写上服务端的IP地址,共享出去的目录以及挂载到系统本地的目录。

mkdir /nfsfile         # 创建本地用来挂载的文件夹
mount -t nfs 192.168.10.10:/nfsfile /nfsfile  # 挂载

3、最后挂载成功后,切换到本地目录就应该能够顺利查看到在服务端写入的文件内容了,如果希望远程NFS文件共享能一直有效,还可以写入到fstab文件中:

cat /nfsfile/readme  # 可以在本地目录查看到之前在服务端写入的文件内容
vim /etc/fstab       # 编辑fstab文件保证开机启动仍然有效
    192.168.10.10:/nfsfile /nfsfile nfs defaults 0 0    #具体写入的内容

MySQL跨表更新 多表update sql语句总结

MySQL跨表更新一直是大家所关心的话题,本文介绍mysql多表 update在实践中几种不同的写法,需要的朋友可以参考下。

假定我们有两张表,一张表为Product表存放产品信息,其中有产品价格列Price;另外一张表是ProductPrice表,我们要将ProductPrice表中的价格字段Price更新为Price表中价格字段的80%。

在MySQL中我们有几种手段可以做到这一点,一种是update table1 t1, table2 ts …的方式:

UPDATE product p, productPrice pp SET pp.price = pp.price * 0.8
WHERE p.productId = pp.productId AND p.dateCreated < '2004-01-01' 

另外一种方法是使用inner join然后更新:

UPDATE product p INNER JOIN productPrice pp ON p.productId = pp.productId
SET pp.price = pp.price * 0.8 WHERE p.dateCreated < '2004-01-01'

另外我们也可以使用left join来做多表update,比方说如果ProductPrice表中没有产品价格记录的话,将Product表的isDeleted字段置为1,如下sql语句:

UPDATE product p LEFT JOIN productPrice pp ON p.productId = pp.productId
SET p.deleted = 1 WHERE pp.productId IS null 

另外,上面的几个例子都是两张表之间做关联,但是只更新一张表中的记录,其实是可以同时更新两张表的,如下sql:

UPDATE product p INNER JOIN productPrice pp ON p.productId = pp.productId
SET pp.price = pp.price * 0.8, p.dateUpdate = CURDATE() WHERE p.dateCreated < '2004-01-01' 

两张表做关联,更新了ProductPrice表的price字段和Product表字段的dateUpdate两个字段。

一次由MySQL跨库操作所引发的主从复制中断

今天,所有MySQL从服务器上的主从复制都被异常中断了,登陆到其中一台上执行show slave statusG,发现如下错误:

Last_Error: Error 'Operation DROP USER failed for 'guest'@'localhost'' on query. Default database: 'work'. Query: 'drop user 'guest'@'localhost''

也就是说,是 drop user ‘guest’@’localhost’ 这条命令导致的,而这样的操作我们通常都只会在Master上进行,并且该操作应该只会影响到“mysql”这个系统数据库。之前这种操作进行了很多次,可为什么唯独这一次会出问题呢?

经过一番调查之后,最终找到了问题的根源,那就是,
“binlog-do-db, binlog-ignore-db, replicate-do-db, replicate-ignore-db” 这一类参数,并非想象中可靠!

通常,我们会以为只要设定了以上参数,MySQL的主从复制就会只对我们设定的数据库生效。但事实上,MySQL不是根据内容来判断的,而是很傻瓜的根据你执行了“use work”或在初始连接时指定的数据库来判断的。
而这次,我们在执行drop user之前,因为需要从“work”数据库select一些数据,就use work进入到了work数据库,而大家都知道在执行drop user的时候是不需要进入“mysql”这个系统数据库的,所以就直接执行了drop user,但因为MySQL的判断我们是在use work之后执行的,所以认为是针对“work”数据库的操作就同步了下去,而从服务上都是没有guest@localhost这样的用户的,所以就造成了错误,导致主从复制的中断。

因此,在有主从复制架构的MySQL服务器环境中,我们要尽量避免这样的跨库操作,确保是在执行了正确的use dbname之后再执行命令。

这类故障的恢复方案很简单,就是跳过这一条SQL。

stop slave;
set global sql_slave_skip_counter=1;
start slave;
show slave statusG

参考资料:
http://www.mysqlperformanceblog.com/2009/05/14/why-mysqls-binlog-do-db-option-is-dangerous/

通过MYSQL的二进制日志找回误删记录

同事在开发时,使用正式数据库测试功能,不小心误删了数据库中的一条数据。幸好数据库有开启Binlog(为了做主从复制),Binlog记录了数据库执行的每条SQL语句,抱着死马当活马医的心态,利用Binlog看能不能找回误删的数据。

数据大概是在14:20左右删除的,首先利用mysqlbinlog命令导出那段时间的日志,执行下面的命令:

mysqlbinlog --start-datetime="2017-10-13 14:15:00"  --stop-datetime="2017-10-13 14:25:00"  mysql_bin.xxxxxx > data.sql

将14:15至14:25的日志记录导出到data.sql文件中,打开data.sql文件,查找定位到被删除数据的表:

未分类

如上图就是一条SQL语句的执行记录,其中黄色字体部分就是实际执行的SQL语句,语句经过BASE64编码,可以使用-v参数,让mysqlbinlog将执行的语句通过注释的方式显示出来,再使用-base64-output=decode-rows参数让mysqlbinlog把看不懂的BASE64编码隐藏起来,最后执行的命令变成这样:

mysqlbinlog --base64-output=decode-rows -v --start-datetime="2017-10-13 14:15:00"  --stop-datetime="2017-10-13 14:25:00"  mysql_bin.xxxxxx > data.sql

打开data.sql文件,查找定位到被删除数据的表:

未分类

可以看到执行的删除语句了,而且日志还帮我们把被删除记录的每个字段值都记录下来了,只要复制这些字段的值,就可以恢复被删除的记录了!

MYSQL 表锁情况查看

查看锁表情况

mysql> show status like ‘Table%’; 
+—————————-+——–+ 
| Variable_name | Value | 
+—————————-+——–+ 
| Table_locks_immediate | 795505 | 
| Table_locks_waited | 0 | 
| Table_open_cache_hits | 0 | 
| Table_open_cache_misses | 0 | 
| Table_open_cache_overflows | 0 | 
+—————————-+——–+ 
5 rows in set (0.00 sec)
  • Table_locks_immediate 指的是能够立即获得表级锁的次数
  • Table_locks_waited 指的是不能立即获取表级锁而需要等待的次数,如果数量大,说明锁等待多,有锁争用情况

查看正在被锁定的的表

show OPEN TABLES where In_use > 0;
mysql> show OPEN TABLES where In_use > 0; 
+————–+—————+——–+————-+ 
| Database | Table | In_use | Name_locked | 
+————–+—————+——–+————-+ 
| music | class_record | 1 | 0 | 
| vipswoole | chat_message | 3 | 0 | 
| music | user_account | 1 | 0 | 
| music | sales_channel | 1 | 0 | 
| music | class_room | 5 | 0 | 
| music | user | 1 | 0 | 
| music_school | user | 1 | 0 | 
+————–+—————+——–+————-+ 
7 rows in set (0.00 sec)
mysql>

如果查看到锁争用情况严重,可以再查看当前执行的SQL :

mysql>show processlist

(mysqladmin -uroot -p -P 3306 processlist)

mysqladmin命令有一个debug参数,可以分析当前MySQL服务的状态信息,同时也可以用来帮助我们定位当前锁的详细情况,这里我们通过该命令分析一下当前MySQL服务的详细状态,执行mysqladmin命令如下:

[root@phpmysql02 data]# mysqladmin -ujss -p -S /data/3306/mysql.sock debug

Enter password:

debug会将状态信息生成到mysql的错误文件,一般锁的信息都会保存在最后几行,这里我们在操作系统层error log最后几行:

[root@phpmysql02 data]# tail -10 phpmysql02.err
Thread database.table_name Locked/Waiting Lock_type 
2 hdpic.t_wiki_zutu Waiting – write Highest priority write lock 
123890 hdpic.t_wiki_zutu_category Locked – read Low priority read lock 
123890 hdpic.t_wiki_zutu_photo Locked – read Low priority read lock 
123890 hdpic.t_wiki_zutu Locked – read Low priority read lock 
124906 hdpic.t_wiki_zutu Waiting – read Low priority read lock 

从上述信息可以看出,123890持有的读锁阻塞了2的写入和124906的读操作,这个状态符合我们的推论,接下来处理就比较单纯了,如果现状不可接受,不能继续等待,将123890杀掉,释放资源即可:

mysql> kill 123890;

Query OK, 0 rows affected (0.00 sec) 

再次执行show processlist查看:

使用系统表进行锁查询:

select r.trx_isolation_level, r.trx_id waiting_trx_id,r.trx_mysql_thread_id waiting_trx_thread, 
r.trx_state waiting_trx_state,lr.lock_mode waiting_trx_lock_mode,lr.lock_type waiting_trx_lock_type, 
lr.lock_table waiting_trx_lock_table,lr.lock_index waiting_trx_lock_index,r.trx_query waiting_trx_query, 
b.trx_id blocking_trx_id,b.trx_mysql_thread_id blocking_trx_thread,b.trx_state blocking_trx_state, 
lb.lock_mode blocking_trx_lock_mode,lb.lock_type blocking_trx_lock_type,lb.lock_table blocking_trx_lock_table, 
lb.lock_index blocking_trx_lock_index,b.trx_query blocking_query 
from information_schema.innodb_lock_waits w inner join information_schema.innodb_trx b on b.trx_id=w.blocking_trx_id 
inner join information_schema.innodb_trx r on r.trx_id=w.requesting_trx_id 
inner join information_schema.innodb_locks lb on lb.lock_trx_id=w.blocking_trx_id 
inner join information_schema.innodb_locks lr on lr.lock_trx_id=w.requesting_trx_id G

涉及的3张表说明:

information_shcema下的三张表(通过这三张表可以更新监控当前事物并且分析存在的锁问题)

  • innodb_trx ( 打印innodb内核中的当前活跃(ACTIVE)事务)

  • innodb_locks ( 打印当前状态产生的innodb锁 仅在有锁等待时打印)

  • innodb_lock_waits (打印当前状态产生的innodb锁等待 仅在有锁等待时打印)

1) innodb_trx表结构说明 (摘取最能说明问题的8个字段)

字段名                 说明

trx_id innodb          存储引擎内部唯一的事物ID 
trx_state              当前事物状态(running和lock wait两种状态) 
trx_started            事物的开始时间 
trx_requested_lock_id  等待事物的锁ID,如trx_state的状态为Lock wait,那么该值带表当前事物等待之前事物占用资源的ID,若trx_state不是Lock wait 则该值为NULL 
trx_wait_started       事物等待的开始时间 
trx_weight             事物的权重,在innodb存储引擎中,当发生死锁需要回滚的时,innodb存储引擎会选择该值最小的进行回滚 
trx_mysql_thread_id     mysql中的线程id, 即show processlist显示的结果 
trx_query               事物运行的SQL语句 

2)innodb_locks表结构说明

字段名       说明

lock_id      锁的ID 
lock_trx_id  事物的ID 
lock_mode    锁的模式(S锁与X锁两种模式) 
lock_type    锁的类型 表锁还是行锁(RECORD) 
lock_table   要加锁的表 
lock_index   锁住的索引 
lock_space   锁住对象的space id 
lock_page    事物锁定页的数量,若是表锁则该值为NULL 
lock_rec     事物锁定行的数量,若是表锁则该值为NULL 
lock_data    事物锁定记录主键值,若是表锁则该值为NULL(此选项不可信)

3)innodb_lock_waits表结构说明

字段名             说明 

requesting_trx_id  申请锁资源的事物ID 
requested_lock_id  申请的锁的ID 
blocking_trx_id    阻塞其他事物的事物ID 
blocking_lock_id   阻塞其他锁的锁ID

可以根据这三张表进行联合查询,得到更直观更清晰的结果,可以参考如下SQL(可根据自己的分析习惯适进行调整)

MySQL 开启远程连接

1、修改 MySQL 配置文件

MySQL 默认支队本地使用,没有开放远程连接,需要到配置文件中去修改

$ sudo vim /etc/mysql/my.cnf
Ubuntu 中为 sudo vim /etc/mysql/mysql.conf.d/mysqld.cnf

注释掉 bind-address = 127.0.0.1 这一行

2、进入数据库

mysql -u root -p

然后输入密码

3、授权一个叫 zhrq95 的账户(这个账户是 mysql 账户,不是 linux 系统的用户),并授予它远程连接的权力:

GRANT ALL PRIVILEGES ON *.* TO ‘zhrq95’@’%’ IDENTIFIED BY ‘123456’ WITH GRANT OPTION;

4、更新数据库:

FLUSH PRIVILEGES;

5、重启 MySQL 服务

systemctl restart mysql

然后就可以远程连接本机的 mysql 服务了。

Mysql 学习之EXPLAIN作用

一、MYSQL的索引

索引(Index):帮助Mysql高效获取数据的一种数据结构。用于提高查找效率,可以比作字典。可以简单理解为排好序的快速查找的数据结构。

索引的作用:便于查询和排序(所以添加索引会影响where 语句与 order by 排序语句)。

在数据之外,数据库还维护着满足特定查找算法的数据结构,这些数据结构以某种方式引用数据。这样就可以在这些数据结构上实现高级查找算法。这些数据结构就是索引。

索引本身也很大,不可能全部存储在内存中,所以索引往往以索引文件的形式存储在磁盘上。

我们平时所说的索引,如果没有特别指明,一般都是B树索引。(聚集索引、复合索引、前缀索引、唯一索引默认都是B+树索引),除了B树索引还有哈希索引。

优点:

A、提高数据检索效率,降低数据库的IO成本
B、通过索引列对数据进行排序,降低了数据排序成本,降低了CPU的消耗。

缺点:

A、索引也是一张表,该表保存了主键与索引字段,并指向实体表的记录,所以索引也是占用空间的。
B、对表进行INSERT、UPDATE、DELETE操作时,MYSQL不仅会更新数据,还要保存一下索引文件每次更新添加了索引列字段的相应信息。

在实际的生产环境中我们需要逐步分析,优化建立最优的索引,并要优化我们的查询条件。

索引的分类:

1、单值索引 一个索引只包含一个字段,一个表可以有多个单列索引。
2、唯一索引 索引列的值必须唯一,但允许有空值。
3、复合索引 一个索引包含多个列
一张表建议建立5个之内的索引

语法:

创建

1、CREATE [UNIQUE] INDEX indexName ON myTable (columnName(length));

2、ALTER myTable Add [UNIQUE] INDEX [indexName] ON (columnName(length));

删除:DROP INDEX [indexName] ON myTable;

查看: SHOW INDEX FROM table_nameG;

二、EXPLAIN 的作用

EXPLAIN :模拟Mysql优化器是如何执行SQL查询语句的,从而知道Mysql是如何处理你的SQL语句的。分析你的查询语句或是表结构的性能瓶颈。

mysql> explain select * from tb_user;
+----+-------------+---------+------+---------------+------+---------+------+------+-------+
| id | select_type | table   | type | possible_keys | key  | key_len | ref  | rows | Extra |
+----+-------------+---------+------+---------------+------+---------+------+------+-------+
|  1 | SIMPLE      | tb_user | ALL  | NULL          | NULL | NULL    | NULL |    1 | NULL  |
+----+-------------+---------+------+---------------+------+---------+------+------+-------+

(一)id列

(1)、id 相同执行顺序由上到下

mysql> explain  
    -> SELECT*FROM tb_order tb1
    -> LEFT JOIN tb_product tb2 ON tb1.tb_product_id = tb2.id
    -> LEFT JOIN tb_user tb3 ON tb1.tb_user_id = tb3.id;
+----+-------------+-------+--------+---------------+---------+---------+---------------------------+------+-------+
| id | select_type | table | type   | possible_keys | key     | key_len | ref                       | rows | Extra |
+----+-------------+-------+--------+---------------+---------+---------+---------------------------+------+-------+
|  1 | SIMPLE      | tb1   | ALL    | NULL          | NULL    | NULL    | NULL                      |    1 | NULL  |
|  1 | SIMPLE      | tb2   | eq_ref | PRIMARY       | PRIMARY | 4       | product.tb1.tb_product_id |    1 | NULL  |
|  1 | SIMPLE      | tb3   | eq_ref | PRIMARY       | PRIMARY | 4       | product.tb1.tb_user_id    |    1 | NULL  |
+----+-------------+-------+--------+---------------+---------+---------+---------------------------+------+-------+

(2)、如果是子查询,id序号会自增,id值越大优先级就越高,越先被执行。

mysql> EXPLAIN
    -> select * from tb_product tb1 where tb1.id = (select tb_product_id from  tb_order tb2 where id = tb2.id =1);
+----+-------------+-------+-------+---------------+---------+---------+-------+------+-------------+
| id | select_type | table | type  | possible_keys | key     | key_len | ref   | rows | Extra       |
+----+-------------+-------+-------+---------------+---------+---------+-------+------+-------------+
|  1 | PRIMARY     | tb1   | const | PRIMARY       | PRIMARY | 4       | const |    1 | NULL        |
|  2 | SUBQUERY    | tb2   | ALL   | NULL          | NULL    | NULL    | NULL  |    1 | Using where |
+----+-------------+-------+-------+---------------+---------+---------+-------+------+-------------+

(3)、id 相同与不同,同时存在

mysql> EXPLAIN 
    -> select * from(select * from tb_order tb1 where tb1.id =1) s1,tb_user tb2 where s1.tb_user_id = tb2.id;
+----+-------------+------------+--------+---------------+---------+---------+-------+------+-------+
| id | select_type | table      | type   | possible_keys | key     | key_len | ref   | rows | Extra |
+----+-------------+------------+--------+---------------+---------+---------+-------+------+-------+
|  1 | PRIMARY     | <derived2> | system | NULL          | NULL    | NULL    | NULL  |    1 | NULL  |
|  1 | PRIMARY     | tb2        | const  | PRIMARY       | PRIMARY | 4       | const |    1 | NULL  |
|  2 | DERIVED     | tb1        | const  | PRIMARY       | PRIMARY | 4       | const |    1 | NULL  |
+----+-------------+------------+--------+---------------+---------+---------+-------+------+-------+
derived2:衍生表   2表示衍生的是id=2的表 tb1

(二)select_type列:数据读取操作的操作类型

  
1、SIMPLE:简单的select 查询,SQL中不包含子查询或者UNION。
  
2、PRIMARY:查询中包含复杂的子查询部分,最外层查询被标记为PRIMARY
  
3、SUBQUERY:在select 或者WHERE 列表中包含了子查询
  
4、DERIVED:在FROM列表中包含的子查询会被标记为DERIVED(衍生表),MYSQL会递归执行这些子查询,把结果集放到零时表中。
  
5、UNION:如果第二个SELECT 出现在UNION之后,则被标记位UNION;如果UNION包含在FROM子句的子查询中,则外层SELECT 将被标记为DERIVED
  
6、UNION RESULT:从UNION表获取结果的select

(三)table列:该行数据是关于哪张表

(四)type列:访问类型 由好到差system > const > eq_ref > ref > range > index > ALL

1、system:表只有一条记录(等于系统表),这是const类型的特例,平时业务中不会出现。
  
2、const:通过索引一次查到数据,该类型主要用于比较primary key 或者unique 索引,因为只匹配一行数据,所以很快;如果将主键置于WHERE语句后面,Mysql就能将该查询转换为一个常量。
  
3、eq_ref:唯一索引扫描,对于每个索引键,表中只有一条记录与之匹配。常见于主键或者唯一索引扫描。
  
4、ref:非唯一索引扫描,返回匹配某个单独值得所有行,本质上是一种索引访问,它返回所有匹配某个单独值的行,就是说它可能会找到多条符合条件的数据,所以他是查找与扫描的混合体。
  
5、range:只检索给定范围的行,使用一个索引来选着行。key列显示使用了哪个索引。一般在你的WHERE 语句中出现between 、< 、> 、in 等查询,这种给定范围扫描比全表扫描要好。因为他只需要开始于索引的某一点,而结束于另一点,不用扫描全部索引。
  
6、index:FUll Index Scan 扫描遍历索引树(扫描全表的索引,从索引中获取数据)。
  
7、ALL 全表扫描 从磁盘中获取数据 百万级别的数据ALL类型的数据尽量优化。

(五)possible_keys列:显示可能应用在这张表的索引,一个或者多个

查询涉及到的字段若存在索引,则该索引将被列出,但不一定被查询实际使用。

(六)keys列:实际使用到的索引

如果为NULL,则没有使用索引。查询中如果使用了覆盖索引,则该索引仅出现在key列表中。覆盖索引:select 后的 字段与我们建立索引的字段个数一致。

(七)ken_len列:表示索引中使用的字节数,可通过该列计算查询中使用的索引长度

在不损失精确性的情况下,长度越短越好。key_len 显示的值为索引字段的最大可能长度,并非实际使用长度,即key_len是根据表定义计算而得,不是通过表内检索出来的。

(八)ref列:显示索引的哪一列被使用了,如果可能的话,是一个常数

哪些列或常量被用于查找索引列上的值。

(九)rows列(每张表有多少行被优化器查询):根据表统计信息及索引选用的情况,大致估算找到所需记录需要读取的行数

(十)Extra列:扩展属性,但是很重要的信息

1、 Using filesort(文件排序):mysql无法按照表内既定的索引顺序进行读取。

mysql> explain select order_number from tb_order order by order_money;
+----+-------------+----------+------+---------------+------+---------+------+------+----------------+
| id | select_type | table    | type | possible_keys | key  | key_len | ref  | rows | Extra          |
+----+-------------+----------+------+---------------+------+---------+------+------+----------------+
|  1 | SIMPLE      | tb_order | ALL  | NULL          | NULL | NULL    | NULL |    1 | Using filesort |
+----+-------------+----------+------+---------------+------+---------+------+------+----------------+
1 row in set (0.00 sec)

说明:order_number是表内的一个唯一索引列,但是order by 没有使用该索引列排序,所以mysql使用不得不另起一列进行排序。

2、Using temporary:Mysql使用了临时表保存中间结果,常见于排序order by 和分组查询 group by。

mysql> explain select order_number from tb_order group by order_money;
+----+-------------+----------+------+---------------+------+---------+------+------+---------------------------------+
| id | select_type | table    | type | possible_keys | key  | key_len | ref  | rows | Extra                           |
+----+-------------+----------+------+---------------+------+---------+------+------+---------------------------------+
|  1 | SIMPLE      | tb_order | ALL  | NULL          | NULL | NULL    | NULL |    1 | Using temporary; Using filesort |
+----+-------------+----------+------+---------------+------+---------+------+------+---------------------------------+
1 row in set (0.00 sec)

3、Using index 表示相应的select 操作使用了覆盖索引,避免访问了表的数据行,效率不错。

如果同时出现Using where ,表明索引被用来执行索引键值的查找。
如果没有同时出现using where 表明索引用来读取数据而非执行查找动作。

mysql> explain select order_number from tb_order group by order_number;
+----+-------------+----------+-------+--------------------+--------------------+---------+------+------+-------------+
| id | select_type | table    | type  | possible_keys      | key                | key_len | ref  | rows | Extra       |
+----+-------------+----------+-------+--------------------+--------------------+---------+------+------+-------------+
|  1 | SIMPLE      | tb_order | index | index_order_number | index_order_number | 99      | NULL |    1 | Using index |
+----+-------------+----------+-------+--------------------+--------------------+---------+------+------+-------------+
1 row in set (0.00 sec)

4、Using where 查找

5、Using join buffer :表示当前sql使用了连接缓存。

6、impossible where :where 字句 总是false ,mysql 无法获取数据行。

7、select tables optimized away

8、distinct

MySQL数据库一个字段对应多个值的模糊查询

当一个字段想模糊查询出多个内容的时候,正常情况下SQL语句一般会这么写

SELECT name FROM dev WHERE name LIKE 'PHP%' OR name LIKE '%SQL%'; // ... OR ...

未分类

未分类

但是上面的情况只能应对少量的模糊查询值,过多则会出现非常麻烦的SQL语句拼接

这时我们可以采用正则表达式进行匹配(关键字 REGEXP)

SELECT name FROM dev WHERE name  REGEXP 'PHP|SQL';  // REGEXP 'PHP|SQL|...'

未分类

MySQL开启慢查询

MYSQL慢查询配置

1. 慢查询有什么用?

它能记录下所有执行超过long_query_time时间的SQL语句, 帮你找到执行慢的SQL, 方便我们对这些SQL进行优化.

2. 如何开启慢查询?

首先我们先查看MYSQL服务器的慢查询状态是否开启.执行如下命令:

未分类

我们可以看到当前log_slow_queries状态为OFF, 说明当前并没有开启慢查询.

开启慢查询非常简单, 操作如下:

Linux下找到mysql的配置文件my.ini, 在mysqld下方加入慢查询的配置语句(注意:一定要在[mysqld]下的下方加入)

未分类

log-slow-queries: 代表MYSQL慢查询的日志存储目录, 此目录文件一定要有写权限;

Windows下需要写绝对路径,如:log-slow-queries=”C:/Program Files/MySQL/MySQL Server 5.5/log/mysql-slow.log”

long_query_time: 最长执行时间. (如图, MSYQL将记录下所有执行时间超过2条的SQL语句, 此处为测试时间, 时间不应太小最好在5-10秒之内, 当然可以根据自己的标准而定);

配置好以后重新启动一个MYSQL服务。