标签：NFS

说明：以下配置都是以root用户角色执行的，并且基于RHEL7设置的，参考书籍《Linux就该这么学》。

什么是NFS？

NFS就是Network FileSystem的缩写，是由Sun公司发展出来的。其目的是让linux 机器之间彼此分享文档。NFS可以让服务器端共享的目录挂载到本地客户机上，对于本地客户机器来说，远程服务器上的目录就好像自己的一部分。NFS文件系统协议允许网络中的主机通过TCP/IP协议进行资源共享，能够让Linux客户端像使用本地资源一样读写远端NFS服务端的文件内容。

NFS有哪些作用？

它的功能是把NFS服务器（即Linux主机）的某个目录挂载到开发板的文件系统上。这样，开发板就可以执行该目录中的可执行程序。这样做的优点在于:不用将程序写入开发板的Flash，减少了对Flash的损害，同时也方便调试。

在嵌入式系统开发中主要用于NFS网络根文件系统启动或者网络加载调试应用程序。

NFS允许系统将其目录和文件共享给网络上的其他系统。通过NFS，用户和应用程序可以访问远程系统上的文件，就像它们是本地文件一样。那么NFS最值得注意的优点有：

（1）本地工作站可以使用更少的磁盘空间，因为常用数据可以被保存在一台机器上，并让网络上的其他机器可以访问它。

（2）不需要为用户在每台网络机器上放一个用户目录，因为用户目录可以在NFS服务器上设置并使其在整个网络上可用。

（3）存储设备如软盘、光驱及USB设备可以被网络上其它机器使用，这可能可以减少网络上移动设备的数量。

NFS运行机制：

NFS是通过网络进行数据传输，并且传输数据时使用的端口是随机的，但是唯一的限制就是端口小于1024。客户端怎么知道服务器使用的是哪个端口，此时就要用到远程过程调用RPC。

其实，NFS运行在SUN的RPC（Remote Procedure
Call，远程过程调用）基础上，RPC定义了一种与系统无关的方法来实现进程间通信，由此，NFS Server也可以看作是RPC
Server。正因为NFS是一个RPC服务程序，所以在使用它之前，先要映射好端口——通过portmap设定。比如：某个NFSClient发起NFS服务请求时，它需要先得到一个端口(port)，所以它先通过portmap得到portnumber（不仅是NFS，所有的RPC服务程序启动之前，都需要先设定好portmap）。

注意：在启动RPC服务（比如NFS）之前，需要先启动portmap服务。

NFS具体配置步骤：

一、服务端配置

1、安装NFS服务

yum install nfs-utils

2、在NFS服务端主机上面建立用于NFS文件共享的目录，设置较大的权限来保证其他人也一样有写入的权限：

mkdir /nfsfile
chmod -Rf 777 /nfsfile
echo "This is a test file" > /nfsfile/readme

3、NFS服务程序的配置文件为/etc/exports，默认里面是空白没有内容的，可以按照共享目录的路径 允许访问的NFS资源客户端（共享权限参数）的格式来写入参数，定义要共享的目录与相应的权限。共享权限参数如下：

例如想要把/nfsfile目录共享给所有属于192.168.10.0/24这个网段的用户主机，并且让这些用户拥有读写权限，自动同步内存数据到本地硬盘，以及把对方root超级用户映射为本地的匿名用户等等特殊权限参数，那么就可以按照下面的格式来写入配置文件：

vim /etc/exports
/nfsfile 192.168.10.*(rw,sync,root_squash)

4、启动运行NFS共享服务程序，由于NFS服务在文件共享过程中是依赖RPC服务进行工作了，RPC服务用于把服务器地址和服务端口号等信息通知给客户端，因此要使用NFS共享服务的话，顺手也要把rpcbind服务程序启动，并且把这两个服务一起加入到开机启动项中：

systemctl restart rpcbind
systemctl enable rpcbind
systemctl start nfs-server
systemctl enable nfs-server

二、客户端配置

1、首先用showmount命令查询NFS服务端的远程共享信息，输出格式为“共享的目录名称 允许使用客户端地址”：

常用参数如下：

showmount -e 192.168.10.10  # 显示远程服务端共享的信息

2、然后在客户端系统上面创建一个挂载目录，使用mount命令的 -t 参数指定挂载文件系统的类型，以及后面写上服务端的IP地址，共享出去的目录以及挂载到系统本地的目录。

mkdir /nfsfile         # 创建本地用来挂载的文件夹
mount -t nfs 192.168.10.10:/nfsfile /nfsfile  # 挂载

3、最后挂载成功后，切换到本地目录就应该能够顺利查看到在服务端写入的文件内容了，如果希望远程NFS文件共享能一直有效，还可以写入到fstab文件中：

cat /nfsfile/readme  # 可以在本地目录查看到之前在服务端写入的文件内容
vim /etc/fstab       # 编辑fstab文件保证开机启动仍然有效
    192.168.10.10:/nfsfile /nfsfile nfs defaults 0 0    #具体写入的内容

在CentOS 6.9环境下搭建NFS共享，使用Yum安装

yum install nfs-utils -y

修改服务端配置文件/etc/exports如下：

# 格式：
# 作为共享的本地目录  主机A(权限)  主机B(权限)
# fsid=0表示客户端挂载时将/data/share映射为/根目录
/data/share 192.168.1.111(rw,sync,fsid=0,no_root_squash) 192.168.1.112(rw,sync,fsid=0,no_root_squash)

设置开机启动并启动服务

chkconfig rpcbind on
chkconfig nfs on
service rpcbind start
service nfs start

客户端也需要安装nfs-utils

yum install nfs-utils -y

客户端挂载直接使用mount命令即可，也可以加入/etc/fstab

不过还是建议放在/etc/rc.local，防止客户端服务器重启时
如果访问NFS服务器超时会导致客户端服务器启动慢或者无法启动

挂载命令

mount -t nfs4 -o rw,intr,hard,proto=tcp,noatime,nodev,noexec,nosuid 192.168.1.22:/ /data/web/wwwroot/upload/

客户端使用NFSv4协议挂载时，访问共享文件会特别慢，查看日志/var/log/message会报以下错误：

Aug 25 16:19:13 localhost nfsidmap[5617]: nss_getpwnam: name 'root@localhost' does not map into domain 'localdomain'
Aug 25 16:19:13 localhost nfsidmap[5619]: nss_name_to_gid: name 'root@localhost' does not map into domain 'localdomain'

如使用chown修改共享文件权限时会报以下错误：

idmapd errors about "localdomain", or chown failing on nfs4 mount, with "invalid argument"

Google后，找到问题解决办法：https://www.novell.com/support/kb/doc.php?id=7014266

原文摘录如下：

NFSv4 handles user identities differently than NFSv3. In v3, an nfs client would simply pass a UID number in chown (and other requests) and the nfs server would accept that (even if the nfs server did not know of an account with that UID number). However, v4 was designed to pass identities in the form of @. To function correctly, that normally requires idmapd (id mapping daemon) to be active at client and server, and for each to consider themselves part of the same id mapping domain.

Chown failures or idmapd errors like the ones documented above are typically a result of either:
1. The username is known to the client but not known to the server, or
2. The idmapd domain name is set differently on the client than it is on the server.

Therefore, this issue can be fixed by insuring that the nfs server and client are configured with the same idmapd domain name (/etc/idmapd.conf) and both have knowledge of the usernames / accounts in question.

However, it is often not convenient to insure that both sides have the same user account knowledge, especially if the nfs server is a filer. The NFS community has recognized that this idmapd feature of NFSv4 is often more troublesome that it is worth, so there are steps and modifications coming into effect to allow the NFSv3 behavior to work even under NFSv4.

SUSE NFS clients on SLES 11 SP2 or higher have this ability, but it is not necessarily always the default behavior. Setting the kernel module parameter as described in the "Resolution" section of this document is needed. In mainstream Linux, the default behavior changes in kernel 3.3, i.e. to already have nfs4_disable_idmapping set to 1. So eventually (as newer kernels come into SUSE products) setting this manually will not be needed.

NOTE: Some NFSv4 servers may not be prepared to accept this behavior, either. Both sides need to understand this change. If using a Linux NFSv4 server, it may be necessary to use a distribution with kernel 3.4 or higher (for example, openSUSE 12.2 or higher, or upcoming SLES 12). For 3rd party filers, check the nfs configuration for settings related to idmap, uids, etc.

原来是因为NFv4使用了idmapd来传递确保用户身份，必须确保服务器和客户度必须具有相同的idmapd域名（/etc/idmapd.conf），但通常服务端是不可控的
因此解决办法就是降级到NFSv3协议，或者是修改NFS服务器端参数nfs4_disable_idmapping改为True

在服务端执行关闭NFSv4的idmapping用户映射的命令，并将其添加到/etc/rc.local里以便下次开机自动关闭，问题解决

echo 1 > /sys/module/nfsd/parameters/nfs4_disable_idmapping

# /etc/init.d/nfs start
Starting NFS services:                                     [  OK  ]
Starting NFS mountd: rpc.mountd: svc_tli_create: could not open connection for udp6
rpc.mountd: svc_tli_create: could not open connection for tcp6
rpc.mountd: svc_tli_create: could not open connection for udp6
rpc.mountd: svc_tli_create: could not open connection for tcp6
rpc.mountd: svc_tli_create: could not open connection for udp6
rpc.mountd: svc_tli_create: could not open connection for tcp6
                                                           [FAILED]
Starting NFS daemon: rpc.nfsd: writing fd to kernel failed: errno 111 (Connection refused)
rpc.nfsd: address family inet6 not supported by protocol TCP
rpc.nfsd: unable to set any sockets for nfsd
                                                           [FAILED]

根据启动提示可以获知，inet6地址族不被支持，原因是当前主机没有加载ipv6的模块，可以重新加载一遍ipv6模块解决这个问题。

由于我的系统不需要ipv6的支持，所以还可以通过下面的操作，取消NFS的ipv6调用。

# cat /etc/netconfig
#
# The network configuration file. This file is currently only used in
# conjunction with the TI-RPC code in the libtirpc library.
#
# Entries consist of:
#
#       <network_id> <semantics> <flags> <protofamily> <protoname> 
#               <device> <nametoaddr_libs>
#
# The <device> and <nametoaddr_libs> fields are always empty in this
# implementation.
#
udp        tpi_clts      v     inet     udp     -       -
tcp        tpi_cots_ord  v     inet     tcp     -       -
udp6       tpi_clts      v     inet6    udp     -       -
tcp6       tpi_cots_ord  v     inet6    tcp     -       -
rawip      tpi_raw       -     inet      -      -       -
local      tpi_cots_ord  -     loopback  -      -       -
unix       tpi_cots_ord  -     loopback  -      -       -
注掉:udp6,tcp6后重启nfs

还是报错:

# /etc/init.d/nfs start
Starting NFS services:                                     [  OK  ]
Starting NFS mountd:                                       [FAILED]
Starting NFS daemon: rpc.nfsd: writing fd to kernel failed: errno 111 (Connection refused)
rpc.nfsd: unable to set any sockets for nfsd
                                                           [FAILED]

还没启动rpcbin

# /etc/init.d/rpc
rpcbind     rpcgssd     rpcidmapd   rpcsvcgssd 
[root@208LBT /]# /etc/init.d/rpcbind start
Starting rpcbind:                                          [  OK  ]
# /etc/init.d/nfs start
Starting NFS services:                                     [  OK  ]
Starting NFS mountd:                                       [  OK  ]
Starting NFS daemon:                                       [  OK  ]
Starting RPC idmapd:                                       [  OK  ]

之前开发时就碰到过nfs客户端卡住的情况，umount -f /mnt提示device is busy，并且尝试访问挂载目录、df -h等操作都会使终端卡住，ctrl+c也不能强行退出。

当时忙着赶进度，没研究这个问题。最近倒出功夫研究一下，顺便学习一下nfs的优化。
造成这种现象的原因是nfs服务器/网络挂了，nfs客户端默认采用hard-mount选项，而不是soft-mount。他们的区别是
soft-mount: 当客户端加载NFS不成功时，重试retrans设定的次数.如果retrans次都不成功，则放弃此操作，返回错误信息 “Connect time out”
hard-mount: 当客户端加载NFS不成功时,一直重试，直到NFS服务器有响应。hard-mount 是系统的缺省值。在选定hard-mount 时，最好同时选 intr , 允许中断系统的调用请求，避免引起系统的挂起。当NFS服务器不能响应NFS客户端的 hard-mount请求时， NFS客户端会显示
“NFS server hostname not responding, still trying”

下面列出mount关于nfs相关的参数

（1）-a：把/etc/fstab中列出的路径全部挂载。
（2）-t：需要mount的类型，如nfs等。
（3）-r：将mount的路径定为read only。
（4）-v mount：过程的每一个操作都有message传回到屏幕上。
（5）rsize=n：在NFS服务器读取文件时NFS使用的字节数，默认值是4096个字节。
（6）wsize=n：向NFS服务器写文件时NFS使用的字节数，默认值是4096个字节。
（7）timeo=n：从超时后到第1次重新传送占用的1/7秒的数目，默认值是7/7秒。
（8）retry=n：在放弃后台mount操作之前可以尝试的次数，默认值是7 000次。
（9）soft：使用软挂载的方式挂载系统，若Client的请求得不到回应，则重新请求并传回错误信息。
（10）hard：使用硬挂载的方式挂载系统，该值是默认值，重复请求直到NFS服务器回应。
（11）intr：允许NFS中断文件操作和向调用它的程序返回值，默认不允许文件操作被中断。
（12）fg：一直在提示符下执行重复挂载。
（13）bg：如果第1次挂载文件系统失败，继续在后台尝试执行挂载，默认值是失败后不在后台处理。
（14）tcp：对文件系统的挂载使用TCP，而不是默认的UDP。

如#mount -t nfs -o soft 192.168.1.2:/home/nfs /mnt

至于传输尺寸的选择，可以进行实际测试：

time dd if=/dev/zero of=/mnt/nfs.dat bs=16k count=16384

即向nfs服务器上的nfs.dat文件里写入16384个16KB的块（也有经验说文件大小可以设定为nfs服务器内存的2倍）。
得到输出如：

输出了 16384+0 个块
user    0m0.200s
输出了 66535+0 个块
user    0m0.420s
192.168.1.4:/mnt  /home/nfs  nfs   rsize=8192,wsize=8192,timeo=10,intr

重新挂载nfs服务器，调整读写块大小后重复上述过程，可以找到最佳传输尺寸。

NFS服务器的故障排除

故障排除思路:

NFS出现了故障，可以从以下几个方面着手检查。

（1）NFS客户机和服务器的负荷是否太高，服务器和客户端之间的网络是否正常。
（2）/etc/exports文件的正确性。
（3）必要时重新启动NFS或portmap服务。

运行下列命令重新启动portmap和NFS：

service portmap restart
service nfs start

（4）检查客户端中的mount命令或/etc/fstab的语法是否正确。
（5）查看内核是否支持NFS和RPC服务。

普通的内核应有的选项为CONFIG_NFS_FS=m、CONFIG_NFS_V3=y、CONFIG_ NFSD=m、CONFIG_NFSD_V3=y和CONFIG_SUNRPC=m。
我们可以使用常见的网络连接和测试工具ping及tracerroute来测试网络连接及速度是否正常，网络连接正常是NFS作用的基础。rpcinfo命令用于显示系统的RPC信息
，一般使用-p参数列出某台主机的RPC服务。用rpcinfo-p命令检查服务器时，应该能看到portmapper、status、mountd nfs和nlockmgr。用该命令检查客户端时，应
该至少能看到portmapper服务。

使用nfsstat命令查看NFS服务器状态

nfsstat命令显示关于NFS和到内核的远程过程调用（RPC）接口的统计信息，也可以使用该命令重新初始化该信息。如果未给定标志，默认是nfsstat -csnr命令。使用该命令显示每条信息，但不能重新初始化任何信息。

nfsstat命令的主要参数如下。

（1）-b：显示NFS V4服务器的其他统计信息。
（2）c：只显示客户机端的NFS和RPC信息，允许用户仅查看客户机数据的报告。nfsstat命令提供关于被客户机发送和拒绝的RPC和NFS调用数目的信息。
要只显示客户机NFS或者RPC信息，将该参数与-n或者-r参数结合。
（3）-d：显示与NFS V4授权相关的信息。
（4）-g：显示RPCSEC_GSS信息。
（5）-m：显示每个NFS文件系统的统计信息，该文件系统和服务器名称、地址、安装标志、当前读和写大小，以及重新传输计数
（6）-n：为客户机和服务器显示NFS信息。要只显示NFS客户机或服务器信息，将该参数与-c和-s参数结合。
（7）-r：显示RPC信息。
（8）-s：显示服务器信息。
（9）-t：显示与NFS标识映射子系统的转换请求相关的统计信息，要只显示NFS客户机或服务器信息，将-c和-s选项结合。
（10）-4：当与-c、-n、-s或-z参数组合使用时，将包含NFS V4客户机或服务器的信息，以及现有的NFS V2和V3数据。
（11）-z：重新初始化统计信息。该参数仅供root用户使用，并且在显示上面的标志后可以和那些标志中的任何一个组合到统计信息的零特殊集合。

要显示关于客户机发送和拒绝的RPC和NFS调用数目的信息，输入：

nfsstat -c

要显示和打印与客户机NFS调用相关的信息，输入如下命令：

nfsstat -cn

要显示和打印客户机和服务器的与RPC调用相关的信息，输入如下命令：

nfsstat -r

要显示关于服务器接收和拒绝的RPC和NFS调用数目的信息，输入如下命令：

nfsstat –s

一、NFS服务简介

NFS 是Network File System的缩写，即网络文件系统。一种使用于分散式文件系统的协定，由Sun公司开发，于1984年向外公布。功能是通过网络让不同的机器、不同的操作系统能够彼此分享个别的数据，让应用程序在客户端通过网络访问位于服务器磁盘中的数据，是在类Unix系统间实现磁盘文件共享的一种方法。

NFS 的基本原则是“容许不同的客户端及服务端通过一组RPC分享相同的文件系统”，它是独立于操作系统，容许不同硬件及操作系统的系统共同进行文件的分享。

NFS在文件传送或信息传送过程中依赖于RPC协议。RPC，远程过程调用 (Remote Procedure Call) 是能使客户端执行其他系统中程序的一种机制。NFS本身是没有提供信息传输的协议和功能的，但NFS却能让我们通过网络进行资料的分享，这是因为NFS使用了一些其它的传输协议。而这些传输协议用到这个RPC功能的。可以说NFS本身就是使用RPC的一个程序。或者说NFS也是一个RPC SERVER。所以只要用到NFS的地方都要启动RPC服务，不论是NFS SERVER或者NFS CLIENT。这样SERVER和CLIENT才能通过RPC来实现PROGRAM PORT的对应。可以这么理解RPC和NFS的关系：NFS是一个文件系统，而RPC是负责负责信息的传输。

二、系统环境

系统平台：CentOS release 6.6
NFS Server IP：192.168.11.100

NFS Client IP：192.168.11.110
防火墙已关闭/iptables
SELINUX=disabled

三、安装NFS服务

NFS的安装是非常简单的，只需要两个软件包即可，而且在通常情况下，是作为系统的默认包安装的。
nfs-utils-* ：包括基本的NFS命令与监控程序
rpcbind-* ：支持安全NFS RPC服务的连接

1、查看系统是否已安装NFS

2、如果没有安装NFS软件包，则可以手动安装

# yum -y install nfs-utils rpcbind

3、安装完成后启动服务。

 注：启动时要先启动rpcbind在启动nfs

4、停止服务时也要先停止nfs在停止rpcbind

四、NFS配置文件

NFS的常用目录

• /etc/exports NFS服务的主要配置文件

• /usr/sbin/exportfs NFS服务的管理命令

• /usr/sbin/showmount 客户端的查看命令

• /var/lib/nfs/etab 记录NFS分享出来的目录的完整权限设定值

• /var/lib/nfs/xtab 记录曾经登录过的客户端信息

4.1、NFS服务的配置文件为 /etc/exports，这个文件是NFS的主要配置文件，不过系统并没有默认值，所以这个文件不一定会存在，可能要使用vim手动建立，然后在文件里面写入配置内容。
/etc/exports文件内容格式：

[客户端1 选项（访问权限,用户映射,其他）] [客户端2 选项（访问权限,用户映射,其他）]

例：

vim /etc/exports

/home/data 192.168.11.0/24(rw,sync,no_root_squash)

4.2、常用配置项说明

访问权限选项
设置输出目录只读：ro
设置输出目录读写：rw

用户映射选项

• all_squash：将远程访问的所有普通用户及所属组都映射为匿名用户或用户组（nfsnobody）；

• no_all_squash：与all_squash取反（默认设置）；

• root_squash：将root用户及所属组都映射为匿名用户或用户组（默认设置）；

• no_root_squash：与rootsquash取反；

• anonuid=xxx：将远程访问的所有用户都映射为匿名用户，并指定该用户为本地用户（UID=xxx）；

• anongid=xxx：将远程访问的所有用户组都映射为匿名用户组账户，并指定该匿名用户组账户为本地用户组账户（GID=xxx）；

其它选项

• secure：限制客户端只能从小于1024的tcp/ip端口连接nfs服务器（默认设置）；

• insecure：允许客户端从大于1024的tcp/ip端口连接服务器；

• sync：将数据同步写入内存缓冲区与磁盘中，效率低，但可以保证数据的一致性；

• async：将数据先保存在内存缓冲区中，必要时才写入磁盘；

• wdelay：检查是否有相关的写操作，如果有则将这些写操作一起执行，这样可以提高效率（默认设置）；

• no_wdelay：若有写操作则立即执行，应与sync配合使用；

• subtree：若输出目录是一个子目录，则nfs服务器将检查其父目录的权限(默认设置)；

• no_subtree：即使输出目录是一个子目录，nfs服务器也不检查其父目录的权限，这样可以提高效率；

五、重启服务

 修改过配置文件后需要重启相关服务

#service rpcbind resatrt
#service nfs restart

六、客户端配置

6.1、客户端可通过showmount -e IP来查看NFS共享状态

6.2、客户端通过mount挂载

6.3、客户端取消挂载

umount /home/data
注：如遇到umount.nfs: /home/data: device is busy可使用-l参数来取消挂载
umount -l /home/data

6.4、挂载完成后，客户端和服务端做的修改都会及时同步

七、配置自动挂载nfs文件系统

 vim /etc/fstab

保存重启

八、有关权限的介绍

1. 客户端连接时候，对普通用户的检查

   a. 如果明确设定了普通用户被压缩的身份，那么此时客户端用户的身份转换为指定用户；

   b. 如果NFS server上面有同名用户，那么此时客户端登录账户的身份转换为NFS server上面的同名用户；

   c. 如果没有明确指定，也没有同名用户，那么此时 用户身份被压缩成nfsnobody；

2. 客户端连接的时候，对root的检查

   a. 如果设置no_root_squash，那么此时root用户的身份被压缩为NFS server上面的root；

   b. 如果设置了all_squash、anonuid、anongid，此时root 身份被压缩为指定用户；

   c. 如果没有明确指定，此时root用户被压缩为nfsnobody；

   d. 如果同时指定no_root_squash与all_squash 用户将被压缩为 nfsnobody，如果设置了anonuid、anongid将被压缩到所指定的用户与组；

九、相关命令

1、exportfs
如果我们在启动了NFS之后又修改了/etc/exports，是不是还要重新启动nfs呢？这个时候我们就可以用exportfs 命令来使改动立刻生效，该命令格式如下：

• exportfs [-aruv]

• -a 全部挂载或卸载 /etc/exports中的内容

• -r 重新读取/etc/exports 中的信息 ，并同步更新/etc/exports、/var/lib/nfs/xtab

• -u 卸载单一目录（和-a一起使用为卸载所有/etc/exports文件中的目录）

• -v 在export的时候，将详细的信息输出到屏幕上。

具体例子：

• exportfs -au 卸载所有共享目录

• exportfs -rv 重新共享所有目录并输出详细信息

2、nfsstat
查看NFS的运行状态，对于调整NFS的运行有很大帮助。

3、rpcinfo
查看rpc执行信息，可以用于检测rpc运行情况的工具，利用rpcinfo -p 可以查看出RPC开启的端口所提供的程序有哪些。

4、showmount

• -a 显示已经于客户端连接上的目录信息

• -e IP或者hostname 显示此IP地址分享出来的目录

5、netstat

• 可以查看出nfs服务开启的端口，其中nfs 开启的是2049，portmap 开启的是111，其余则是rpc开启的。

• 最后注意两点，虽然通过权限设置可以让普通用户访问，但是挂载的时候默认情况下只有root可以去挂载，普通用户可以执行sudo。

• NFS server 关机的时候一点要确保NFS服务关闭，没有客户端处于连接状态！通过showmount -a 可以查看，如果有的话用kill killall pkill 来结束，（-9 强制结束）