分类： LINUX
2005-12-13 11:11:02
一、相关知识(有机会再增加)
1、NFS—Network File System
2、由Sun Microsystems公司在1985年推出
3、是一种通用的文件共享方案
4、linux从1.2系列内核开始支持NFS版本2，在2.2.18版内核后支持NFS版本3 (我最近使用的2.14.3内核，发现已经支持NFS版本4了)
NFS协议从诞生到现在为止，已经有多个版本，如NFS V2（rfc1094）,NFS V3（rfc1813）（最新的版本是V4（rfc3010）
5、NFS版本3比NFS版本2运行速度更快，版本3的软件一定能与版本2实现互操作
6、V3相对V2的主要区别：
1>文件尺寸
V2最大只支持32BIT的文件大小(4G),而NFS V3新增加了支持64BIT文件大小的技术。
2>文件传输尺寸
V3没有限定传输尺寸，V2最多只能设定为8k，可以使用-rsize and -wsize 来进行设定。
3>完整的信息返回
V3增加和完善了许多错误和成功信息的返回，对于服务器的设置和管理能带来很大好处。
4>增加了对TCP传输协议的支持
V2只提供了对UDP协议的支持，在一些高要求的网络环境中有很大限制，V3增加了对TCP协议的支持
5>异步写入特性
异步写入特性（v3新增加）介绍：
NFS V3 能否使用异步写入，这是可选择的一种特性。NFS V3客户端发发送一个异步写入请求到服务器，在给客户端答复之前服务器并不是必须要将数据写入到存储器中（稳定的）。服务器能确定何时去写入数据或者将多个写入请求聚合到一起并加以处理，然后写入。客户端能保持一个数据的copy以防万一服务器不能完整的将数据写入。当客户端希望释放这个copy的时候，它会向服务器通过这个操作过程，以确保每个操作步骤的完整。异步写入能够使服务器去确定最好的同步数据的策略。使数据能尽可能的同步的提交何到达。与V2 比较来看，这样的机制能更好的实现数据缓冲和更多的平行（平衡）。而NFS V2的SERVER在将数据写入存储器之前不能再相应任何的写入请求。
6>改进了SERVER的mount性能
7>有更好的I/O WRITES 性能。
9>更强网络运行效能，使得网络运作更为有效。
10>更强的灾难恢复功能。
7、V4相对V3的改进：
1>改进了INTERNET上的存取和执行效能
2>在协议中增强了安全方面的特性
3>增强的跨平台特性
8、NFS运行在Sun的RPC协议之上，因此既可使用UDP也可用TCP作为下层的传输协议，但TCP具有更多的优势，由客户机决定选择TCP还是UDP
linux上的大多数NFS服务器不支持用TCP来传输
9、NFS文件上锁是个棘手问题，NFS服务器是无状态的，它们不知道哪台机器正在使用某个特定的文件
10、rquotad磁盘配额的方法已经过时
11、cookies与无状态安装
12、共享文件系统命名规则：最好提供一种深层次的结构（如：/home/share1），保证客户机的根目录下不会混乱
13、安全：禁止访问NFS使用的TCP和UDP 2049端口
阻止对portmap（该进程监听TCP和UDP的111端口）守护进程的访问
14、NFS服务器启动脚本的名字
RedHat /etc/init.d/nfs
SuSE /etc/init.d/nfsserver
Debian /etc/init.d/nfs-kernel-server /etc/init.d/nfs-common
15、mountd服务用于安装请求
nfsd是NFS运行的守护进程（如果客户机要导出自身文件系统，也必须运行nfsd）
通过uptime查看平均负载，调整nfsd线程的数目
通过nfsstat检查nfsd线程数量可能引发的性能问题
通过netstat -s监测UDP套接口溢出数目，增加nsfd线程数量使溢出数目降为0,再适当增加几个
可以编辑启动脚本来改变nfsd进程的数量
16、客户机安装文件系统和访问文件的过程是完全不同的，使用不同的协议，由不同的守护进程来提供服务：
nfsd(或rpc.nfsd) 用于文件服务
mountd(或rpc.mountd) 用于安装请求
portmap 使用SUN的RPC协议
17、基本监控程序
要顺利运行NFS，至少需要五个Linux服务，它们各有不同的功能，有的负责装载服务，有的保证远程命令指向正确的位置。这些服务通过/etc/rc.d/init.d目录中的nfs,nfslock和portmap脚本启动。下面简单介绍每个监控程序：
(1) 基本NFS
rpc.nfsd是NFS服务器监控程序，它通过/etc/rc.d/init.d目录中的nfs脚本启动。NFS监控程序还启动rpc.mountd装载监控程序，并导出共享目录。
(2) RPC装载
可以用mount命令连接本地目录或网络目录，但还需要一个装载NFS目录的特殊监控程序rpc.mountd
(3) 端口映射器
portmap监控程序只是定向RPC通信数据流，但它对于NFS服务很重要。如果不运行portmap，则NFS客户机无法找到从NFS服务器共享的目录。
(4) 重新启动与statd
当NFS服务需要中断或者重新启动时，rpc.statd监控程序和rpc.lockd在服务器重新启动之后使客户机恢复NFS连接。
(5) 锁定
通过共享NFS目录打开文件时，锁定可以使用户不能覆盖同一个文件。锁定通过nfslock脚本并使用rpc.lockd监控程序启动运行。
二、配置步骤
服务器端的配置及操作：
1、需要运行的守护进程
portmap
nfsd
rpc.mountd
rpc.rquotad
rpc.statd
lockd
启动NFS服务器需要启动portmap和nfs两个服务.并且portmap一定要优先于nfs启动
停止NFS服务器,需要先停止NFS服务再停止portmap服务!
停止：# /etc/rc.d/init.d/nfs stop
# /etc/rc.d/init.d/portmap stop
开始：# /etc/rc.d/init.d/portmap start
# /etc/rc.d/init.d/nfs start
2、配置文件
导出目录：当服务器让某个目录能为其它计算机所使用时，通常说这个服务器“导出(export)”了一个目录
/etc/exports 是导出目录的说明清单。
书写规则是：
每个共享规则一行，用反斜线可以续行
能够访问某个给定文件系统的客户机是用一个以空白隔开的列表来表示，每台客户机之后紧跟着用括号括起来，以逗号分隔的一系列选项。
如下所示：
导出目录 客户机(选项1,选项2,……) 客户机(选项1,选项2,……)
例如：
/mnt/cdrom *.abc.com(ro,sync) master.abc.com(rw,sync)
上面的规则代表将/mnt/cdrom目录以只读同步方式共享给*.abc.com域，并且以读写同步方式共享给master.abc.com主机。
/tmp *(rw,no_root_squash)
/home/public 192.168.0.*(rw) *(ro)
/home/test 192.168.0.100(rw)
/home/linux *.the9.com(rw,all_squash,anonuid=40,anongid=40)
/etc/exports 文件中客户机的说明
类型 语法 含义
主机名 hostname 单个主机
网络组 @groupname NIS网络组
通配符 *和? 具有通配符的FQDN(*不匹配.)
IP网络 ipaddr/mask CIDR风格的说明(如：128.138.92.128/25)
/etc/exports 文件中常用的导出选项
选项 说明
ro 只读访问
rw 读写访问
rw=list 大多数客户机为只读。list举出的主机允许以可写方式安装NFS；其它所有主机必须以只读方式安装
sync 所有数据在请求时写入共享
async NFS在写入数据前可以相应请求
sSecure NFS通过1024以下的安全TCP/IP端口发送
insecure NFS通过1024以上的端口发送
wdelay 如果多个用户要写入NFS目录，则归组写入（默认）
no_wdelay 如果多个用户要写入NFS目录，则立即写入，当使用async时，无需此设置。
hide 在NFS共享目录中不共享其子目录
no_hide 共享NFS目录的子目录
subtree_check 如果共享/usr/bin之类的子目录时，强制NFS检查父目录的权限（默认）
no_subtree_check 和上面相对，不检查父目录权限
all_squash 共享文件的UID和GID映射匿名用户anonymous，适合公用目录。用于支持PC和不可信的单用户主机
no_all_squash 保留共享文件的UID和GID（默认），运行root正常访问，这很危险
root_squash root用户的所有请求映射成如anonymous用户一样的权限（默认），将UID 0和GID 0映射（“压制”）成anonuid和anongid所制定的值
no_root_squas root用户具有根目录的完全管理访问权限
anonuid=xxx 指定远程root账号应被映射的UID号（该UID应在NFS服务器的/etc/passwd文件中存在）
anongid=xxx 指定远程root账号应被映射的GID号（该GID应在/etc/passwd文件中存在）
noaccess 防止访问这个目录及其子目录（用于嵌套导出）
另外，还需要查看系统的iptables、/etc/hosts.allow、/etc/hosts.deny是否设置了正确的NFS访问规则。
使用命令exportfs
exportfs命令：
如果我们在启动了NFS之后又修改了/etc/exports，是不是还要重新启动nfs呢？这个时候我们就可以用exportfs命令来使改动立刻生效，该命令格式如下：
exportfs [-aruv]
-a ：全部mount或者unmount /etc/exports中的内容
-r ：重新mount /etc/exports中分享出来的目录
-u ：umount 目录
-v ：在 export 的?r候，将详细的信息输出到屏幕上。
具体例子：
[root @test root]# exportfs -rv <==全部重新 export 一次！
exporting 192.168.0.100:/home/test
exporting 192.168.0.*:/home/public
exporting *.the9.com:/home/linux
exporting *:/home/public
exporting *:/tmp
reexporting 192.168.0.100:/home/test to kernel
exportfs -au <==全部都卸载了。
对配置文件的补充说明：
mountd 与 nfsd 共享一个访问控制数据库，除了内核内部的表之外，这个数据库的运行副本通常还保存在一个称为 /var/lib/nfs/xtab 的文件中。
因为xtab并不是供人阅读的所以要使用扶助命令来添加和修改其中的项，就是用exportfs
3、FAQ
1>如何进行NFS的磁盘限额?
对共享目录的属主和属组作限额即可
2> 如何转储NFS统计信息
# nfsstat -s //显示NFS服务器进程的统计信息
# nfsstat -c //显示与客户端操作相关的信息
客户端的配置及操作：(这里介绍了手动安装的方法，关于自动安装，在文章最后补充)
1、需要运行的守护进程
portmap
2、配置
安装NFS文件系统
mount nfs目录的方法：
mount -t nfs -o rw,hard,intr,bg hostname(orIP):/directory /mount/point
NFS的安装标志
标志 说明
rw 以读写方式安装文件系统（也必须要以相同的方式来导出）
ro 以只读方式安装文件系统
bg 如果安装失败（服务器没有响应），在后台一直尝试，继续发其它的安装请求
hard 以硬方式安装文件系统(这是默认情况)。如果服务器当机，让试图访问它的操作被阻塞，直到服务器恢复为止
soft 以软方式安装文件系统。如果服务器当机，让试图访问它的操作失败，返回一条出错消息。这项功能对于避免进程“挂”在无关紧要的安装操作上来说非常有用
intr 允许用户中断被阻塞的操作（并且让它们返回一条出错消息）
nointr 不允许用户中断
retrans=n 指定在以软方式安装的文件系统上，在返回一条出错消息之前重复发出请求的次数
timeo=n 设置请求的超时时间（以十分之一秒为单位）
rsize=n 设置读缓冲的大小为n字节。对TCP和UDP安装都适用，但最优值不一样（32K较好）。
wsize=n 设置写缓冲的大小为n字节。对TCP和UDP安装都适用，但最优值不一样（8K较好，默认是1K）。
nfsvers=n 设置NFS协议的版本 2 或者 3 （在正常情况下是自动的）
tcp 选择通过TCP来传输。默认选择UDP
fg 和bg正好相反，是默认的参数
mountport 设定mount的端口
port 根据server端export出的端口设定，例如如果server使用5555端口输出NFS,那客户端就需要使用这个参数进行同样的设定
udp 使用udp作为nfs的传输协议（NFS V2只支持UDP)
namlen=n 设定远程服务器所允许的最长文件名。这个值的默认是255
acregmin=n 设定最小的在文件更新之前cache时间，默认是3
acregmax=n 设定最大的在文件更新之前cache时间，默认是60
acdirmin=n 设定最小的在目录更新之前cache时间，默认是30
acdirmax=n 设定最大的在目录更新之前cache时间，默认是60
actimeo=n 将acregmin、acregmax、acdirmin、acdirmax设定为同一个数值，默认是没有启用。
retry=n 设定当网络传输出现故障的时候，尝试重新连接多少时间后不再尝试。默认的数值是10000 minutes
noac 关闭cache机制。
同时使用多个参数的方法：mount -t nfs -o timeo=3,udp,hard 192.168.0.30:/tmp /nfs
请注意，NFS客户机和服务器的选项并不一定完全相同，而且有的时候会有冲突。比如说服务器以只读的方式导出，客户端却以可写的方式mount,虽然可以成功mount上，但尝试写入的时候就会发生错误。一般服务器和客户端配置冲突的时候，会以服务器的配置为准。
具体例子：
Linux: mount -t nfs 192.168.0.1:/tmp /mnt/nfs
Solaris:mount -F nfs 192.168.0.1:/tmp /mnt/nfs
BSD: mount 192.168.0.1:/tmp /mnt/nfs
在启动时安装远程文件系统
/etc/fstab的设定方法
/etc/fstab的格式如下：
fs_spec mountpoint fs_type fs_options fs_dump fs_pass
fs_spec:该字段定义希望加载的文件系统所在的设备或远程文件系统,对于nfs这个参数一般设置为这样：192.168.0.1:/NFS
mountpoint:本地的挂载点，应确保用mkdir创建适当的目录作为安装点
fs_type：对于NFS来说这个字段只要设置成nfs就可以了
fs_options:挂载的参数，可以使用的参数可以参考上面的mount参数。
fs_dump - 该选项被"dump"命令使用来检查一个文件系统应该以多快频率进行转储，若不需要转储就设置该字段为0
fs_pass - 该字段被fsck命令用来决定在启动时需要被扫描的文件系统的顺序，根文件系统"/"对应该字段的值应该为1，其他文件系统应该为2。若该文件系统无需在启动时扫描则设置该字段为0 。
例如：
server1:/home/software /home/software nfs deaults 0 0
挂载上就可以象使用本地硬盘一样了
showmout命令对于NFS的操作和查错有很大的帮助，所以我们先来看一下showmount的用法
showmout
-a ：这个参数是一般在NFS SERVER上使用，是用来显示已经mount上本机nfs目录的cline机器。
-e ：显示指定的NFS SERVER上export出来的目录。
例如：
showmount -e 192.168.0.30
Export list for localhost:
/tmp *
/home/linux *.linux.org
/home/public (everyone)
/home/test 192.168.0.100
3、FAQ
1> WIN下能用上NFS共享出来的目录吗？
可以，需要在客户端另外安装一个软件Microsoft Service for UNIX。
2> 如何从客户机的角度来核实一台服务器已经正确的导出了它的文件系统
# showmount -e server
Export list for server
/home/boggs inura.toadranch.com
指出服务器server上的目录/home/boggs已经被导出给客户系统inura.toadranch.com
3> 如何更改输入队列的大小？
在linux 2.2和2.4内核里，默认的输入队列大小是64K，2.6内核是108K。下面将设置为较合理的值256K
# echo 262144 > /proc/sys/net/core/rmem_default
# echo 262144 > /proc/sys/net/core/rmem_max
4> 如何卸装NFS文件系统？
使用umount命令
如果卸装的时候，还有文件正好在用，会得到出错信息：device is busy，可以使用lsof找出打开文件的进程并杀死，然后卸装
用umount -f 强制文件系统被卸装
三、NFS调优
调优的步骤：
1、测量当前网络、服务器和每个客户端的执行效率。
2、分析收集来的数据并画出图表。查找出特殊情况，例如很高的磁盘和CPU占用、已经高的磁盘使用时间
3、调整服务器
4、重复第一到第三步直到达到你渴望的性能
与NFS性能有关的问题有很多，通常可以要考虑的有以下这些选择：
WSIZE,RSIZE参数来优化NFS的执行效能
WSIZE、RSIZE对于NFS的效能有很大的影响。
wsize和rsize设定了SERVER和CLIENT之间往来数据块的大小，这两个参数的合理设定与很多方面有关，不仅是软件方面也有硬件方面的因素会影响这两个参数的设定（例如LINUX KERNEL、网卡，交换机等等）。
下面这个命令可以测试NFS的执行效能，读和写的效能可以分别测试，分别找到合适的参数。对于要测试分散的大量的数据的读写可以通过编写脚本来进行测试。在每次测试的时候最好能重复的执行一次MOUNT和unmount。
time dd if=/dev/zero of=/mnt/home/testfile bs=16k count=16384
用于测试的WSIZE,RSIZE最好是1024的倍数，对于NFS V2来说8192是RSIZE和WSIZE的最大数值，如果使用的是NFS V3则可以尝试的最大数值是32768。
如果设置的值比较大的时候，应该最好在CLIENT上进入mount上的目录中，进行一些常规操作（LS,VI等等），看看有没有错误信息出现。有可能出现的典型问题有LS的时候文件不能完整的列出或者是出现错误信息，不同的操作系统有不同的最佳数值，所以对于不同的操作系统都要进行测试。
设定最佳的NFSD的线程数目。
一台不频繁使用的服务器，有8个 nfsd 线程就够了，数目少，一般不会出现性能问题。
随着nfsd数目的增加，平均负载会上升（可用uptime查看），就应减少nfsd数目。
linux中的NFSD的COPY数目是在/etc/rc.d/init.d/nfs这个启动文件中设置
# Number of servers to be started by default
[ -z "$RPCNFSDCOUNT" ] && RPCNFSDCOUNT=8
UDP and TCP
可以手动进行设置，也可以自动进行选择。
mount -t nfs -o sync,tcp,noatime,rsize=1024,wsize=1024 EXPORT_MACHINE:/EXPORTED_DIR /DIR
UDP 有着传输速度快，非连接传输的便捷特性，但是UDP在传输上没有TCP来的稳定，当网络不稳定或者黑客入侵的时候很容易使NFS的 Performance 大幅降低甚至使网络瘫痪。所以对于不同情况的网络要有针对的选择传输协议。nfs over tcp比较稳定，nfs over udp速度较快。在机器较少网络状况较好的情况下使用UDP协议能带来较好的性能，当机器较多，网络情况复杂时推荐使用TCP协议（V2只支持UDP协议）。在局域网中使用UDP协议较好，因为局域网有比较稳定的网络保证，使用UDP可以带来更好的性能，在广域网中推荐使用TCP协议，TCP协议能让 NFS在复杂的网络环境中保持最好的传输稳定性。可以参考这篇文章：http: //
补充：
UDP套接口溢出：在带有许多UDP客户机的一台NFS服务器上，当所有nfsd线程都在使用，而此时又有请求到达的时候，就会发生UDP套接口溢出。
可使用netstat -s命令监测溢出数目，增加更多的nfsd直到UDP套接口溢出数目降为0。
溢出表明服务器提供的守护进程数量不足，所以增加的nfsd要比通过这种方法测量出来的数目多几个。
版本的选择
V3作为默认的选择（RED HAT 8默认使用V2,SOLARIS 8以上默认使用V3），可以通过vers= mount option来进行选择。
LINUX通过mount option的nfsvers=n进行选择。
四、NFS故障解决
1、NFSD没有启动起来
首先要确认 NFS 输出列表存在，否则 nfsd 不会启动。可用 exportfs 命令来检查，如果 exportfs 命令没有结果返回或返回不正确，则需要检查 /etc/exports 文件。
2、mountd 进程没有启动
mountd 进程是一个远程过程调用 (RPC) ，其作用是对客户端要求安装（mount）文件系统的申请作出响应。mountd进程通过查找 /etc/xtab文件来获知哪些文件系统可以被远程客户端使用。另外，通过mountd进程，用户可以知道目前有哪些文件系统已被远程文件系统装配，并得知远程客户端的列表。查看mountd是否正常启动起来可以使用命令rpcinfo进行查看，在正常情况下在输出的列表中应该象这样的行：
100005 1 udp 1039 mountd
100005 1 tcp 1113 mountd
100005 2 udp 1039 mountd
100005 2 tcp 1113 mountd
100005 3 udp 1039 mountd
100005 3 tcp 1113 mountd
如果没有起来的话可以检查是否安装了PORTMAP组件。
rpm -qa|grep portmap
3、fs type nfs no supported by kernel
kernel不支持nfs文件系统，重新编译一下KERNEL就可以解决。
4、can't contact portmapper: RPC: Remote system error - Connection refused
出现这个错误信息是由于SEVER端的PORTMAP没有启动。
5、mount clntudp_create: RPC: Program not registered
NFS没有启动起来，可以用showmout -e host命令来检查NFS SERVER是否正常启动起来。
6、mount: localhost:/home/test failed, reason given by server: Permission denied
这个提示是当client要mount nfs server时可能出现的提示，意思是说本机没有权限去mount nfs server上的目录。解决方法当然是去修改NFS SERVER咯。
7、被防火墙阻挡
这个原因很多人都忽视了，在有严格要求的网络环境中，我们一般会关闭linux上的所有端口，当需要使用哪个端口的时候才会去打开。而NFS默认是使用111端口，所以我们先要检测是否打开了这个端口，另外也要检查TCP_Wrappers的设定。
五、NFS安全
NFS的不安全性主要体现于以下4个方面:
1、新手对NFS的访问控制机制难于做到得心应手,控制目标的精确性难以实现
2、NFS没有真正的用户验证机制,而只有对RPC/Mount请求的过程验证机制
3、较早的NFS可以使未授权用户获得有效的文件句柄
4、在RPC远程调用中,一个SUID的程序就具有超级用户权限.
加强NFS安全的方法：
1、合理的设定/etc/exports中共享出去的目录，最好能使用anonuid，anongid以使MOUNT到NFS SERVER的CLIENT仅仅有最小的权限，最好不要使用root_squash。
2、使用IPTABLE防火墙限制能够连接到NFS SERVER的机器范围
iptables -A INPUT -i eth0 -p TCP -s 192.168.0.0/24 --dport 111 -j ACCEPT
iptables -A INPUT -i eth0 -p UDP -s 192.168.0.0/24 --dport 111 -j ACCEPT
iptables -A INPUT -i eth0 -p TCP -s 140.0.0.0/8 --dport 111 -j ACCEPT
iptables -A INPUT -i eth0 -p UDP -s 140.0.0.0/8 --dport 111 -j ACCEPT
3、为了防止可能的Dos攻击，需要合理设定NFSD 的COPY数目。
4、修改/etc/hosts.allow和/etc/hosts.deny达到限制CLIENT的目的
/etc/hosts.allow
portmap: 192.168.0.0/255.255.255.0 : allow
portmap: 140.116.44.125 : allow
/etc/hosts.deny
portmap: ALL : deny
5、改变默认的NFS 端口
NFS默认使用的是111端口，但同时你也可以使用port参数来改变这个端口，这样就可以在一定程度上增强安全性。
6、使用Kerberos V5作为登陆验证系统
六、专用NFS文件服务器
专用NFS文件服务器已经有十几年的历史。与自制服务器的方法相比，它们提供的主机具有许多潜在的优势：
1、它们为文件服务进行了优化，往往能提供劲可能好的性能
2、随着存储要求的增加，它们能平滑地扩展支持TB字节的存储量和数百个用户
3、它们比linux主机更可靠，因为它们有简化的软件、冗余的硬件，并且利用了硬盘的镜像技术
4、它们往往既能为linux客户机也能为windows客户机提供文件服务。有些服务器甚至包含了集成的web和ftp服务器
5、它们比linux文件服务器更容易管理
6、它们往往提供了比普通linux系统更优越的备份和检查工具
提供专用文件服务器的比较知名的厂商：
Network Appliance()
Auspex
EMC
七、自动安装NFS文件系统
1、手动安装的缺点：
维护几百台机器上的/etc/fstab 文件枯燥乏味。且每个文件都有差别，需要逐个维护
如果是从不同主机上安装的，当其中有台服务器崩溃时，就会引发混乱。访问安装点的每条命令都会被挂起，不予执行
当一台重要服务器崩溃时，会致使用户无法访问一些重要分区。在这种情况下，如果能从备份服务器上暂时安装这些分区的一个副本，就好了
2、自动安装的优点
在文件系统被访问时自动安装；不需要就卸装
减少了安装点的数目
对用户透明
可提供副本，当一台主服务器不能使用时，网络仍能继续工作
3、两种常用的自动安装程序
automount 最初的自动安装程序。使用一种驻留内核的文件系统驱动程序autofs
amd 与automount相比，具有以下优点：
…………有机会再补充
