linux 常用SHELL
1.删除0字节文件
find -type f -size 0 -exec rm -rf {} \;
2.查看进程
按内存从大到小排列
ps -e -o "%C : %p : %z : %a"|sort -k5 -nr
3.按cpu利用率从大到小排列
ps -e -o "%C : %p : %z : %a"|sort -nr
4.打印说cache里的URL
grep -r -a jpg /data/cache/* | strings | grep "http:" | awk -F'http:' '{print "http:"$2;}'
5.查看http的并发请求数及其TCP连接状态：
netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'
6. sed -i '/Root/s/no/yes/' /etc/ssh/sshd_config sed在这个文里Root的一行，匹配Root一行，将no替换成yes.
7.1.如何杀掉mysql进程：
ps aux|grep mysql|grep -v grep|awk '{print $2}'|xargs kill -9 (从中了解到awk的用途)
killall -TERM mysqld
kill -9 `cat /usr/local/apache2/logs/httpd.pid` 试试查杀进程PID
8.显示运行3级别开启的服务:
ls /etc/rc3.d/S* |cut -c 15- (从中了解到cut的用途，截取数据)
9.如何在编写SHELL显示多个信息，用EOF
cat << EOF
+--------------------------------------------------------------+
| === Welcome to Tunoff services === |
+--------------------------------------------------------------+
EOF
10. for 的巧用(如给mysql建软链接)
cd /usr/local/mysql/bin
for i in *
do ln /usr/local/mysql/bin/$i /usr/bin/$i
done
11. 取IP地址：
ifconfig eth0 |grep "inet addr:" |awk '{print $2}'|cut -c 6- 或者
ifconfig | grep 'inet addr:'| grep -v '127.0.0.1' | cut -d: -f2 | awk '{ print $1}'
12.内存的大小:
free -m |grep "Mem" | awk '{print $2}'
13.
netstat -an -t | grep ":80" | grep ESTABLISHED | awk '{printf "%s %s\n",$5,$6}' | sort
14.查看Apache的并发请求数及其TCP连接状态：
netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'
15.因为同事要统计一下服务器下面所有的jpg的文件的大小,写了个shell给他来统计.原来用xargs实现,但他一次处理一部分,搞的有多个总和....,下面的命令就能解决啦.
find / -name *.jpg -exec wc -c {} \;|awk '{print $1}'|awk '{a+=$1}END{print a}'
CPU的数量（多核算多个CPU，cat /proc/cpuinfo |grep -c processor）越多，系统负载越低，每秒能处理的请求数也越多。
--------------------------------------------------------------------------------------------------------------------
16 CPU负载 # cat /proc/loadavg
检查前三个输出值是否超过了系统逻辑CPU的4倍。
18 CPU负载 #mpstat 1 1
检查%idle是否过低(比如小于5%)
19 内存空间 # free
检查free值是否过低 也可以用 # cat /proc/meminfo
20 swap空间 # free
检查swap used值是否过高 如果swap used值过高，进一步检查swap动作是否频繁：
# vmstat 1 5
观察si和so值是否较大
21 磁盘空间 # df -h
检查是否有分区使用率(Use%)过高(比如超过90%) 如发现某个分区空间接近用尽，可以进入该分区的挂载点，用以下命令找出占用空间最多的文件或目录：
# du -cks * | sort -rn | head -n 10
22 磁盘I/O负载 # iostat -x 1 2
检查I/O使用率(%util)是否超过100%
23 网络负载 # sar -n DEV
检查网络流量(rxbyt/s, txbyt/s)是否过高
24 网络错误 # netstat -i
检查是否有网络错误(drop fifo colls carrier) 也可以用命令：# cat /proc/net/dev
25 网络连接数目 # netstat -an | grep -E “^(tcp)” | cut -c 68- | sort | uniq -c | sort -n
26 进程总数 # ps aux | wc -l
检查进程个数是否正常 (比如超过250)
27 可运行进程数目 # vmwtat 1 5
列给出的是可运行进程的数目，检查其是否超过系统逻辑CPU的4倍
28 进程 # top -id 1
观察是否有异常进程出现
29 网络状态 检查DNS, 网关等是否可以正常连通
30 用户 # who | wc -l
检查登录用户是否过多 (比如超过50个) 也可以用命令：# uptime
31 系统日志 # cat /var/log/rflogview/*errors
检查是否有异常错误记录 也可以搜寻一些异常关键字，例如：
# grep -i error /var/log/messages
# grep -i fail /var/log/messages
32 核心日志 # dmesg
检查是否有异常错误记录
33 系统时间 # date
检查系统时间是否正确
34 打开文件数目 # lsof | wc -l
检查打开文件总数是否过多
35 日志 # logwatch –print 配置/etc/log.d/logwatch.conf，将 Mailto 设置为自己的email 地址，启动mail服务 (sendmail或者postfix)，这样就可以每天收到日志报告了。
缺省logwatch只报告昨天的日志，可以用# logwatch –print –range all 获得所有的日志分析结果。
可以用# logwatch –print –detail high 获得更具体的日志分析结果(而不仅仅是出错日志)。
36.杀掉80端口相关的进程
lsof -i :80|grep -v "PID"|awk '{print "kill -9",$2}'|sh
37.清除僵死进程。
ps -eal | awk '{ if ($2 == "Z") {print $4}}' | kill -9
38.tcpdump 抓包 ，用来防止80端口被人攻击时可以分析数据
# tcpdump -c 10000 -i eth0 -n dst port 80 > /root/pkts
39.然后检查IP的重复数 并从小到大排序 注意 "-t\ +0" 中间是两个空格
# less pkts | awk {'printf $3"\n"'} | cut -d. -f 1-4 | sort | uniq -c | awk {'printf $1" "$2"\n"'} | sort -n -t\ +0
40.查看有多少个活动的php-cgi进程
netstat -anp | grep php-cgi | grep ^tcp | wc -l
chkconfig --list | awk '{if ($5=="3:on") print $1}'
41.kudzu查看网卡型号
kudzu --probe --class=network
匹配中文字符的正则表达式： [\u4e00-\u9fa5]
评注：匹配中文还真是个头疼的事，有了这个表达式就好办了
匹配双字节字符(包括汉字在内)：[^\x00-\xff]
评注：可以用来计算字符串的长度（一个双字节字符长度计2，ASCII字符计1）
匹配空白行的正则表达式：\n\s*\r
评注：可以用来删除空白行
匹配HTML标记的正则表达式：<(\S*?)[^>]*>.*?|<.*? />
评注：网上流传的版本太糟糕，上面这个也仅仅能匹配部分，对于复杂的嵌套标记依旧无能为力
匹配首尾空白字符的正则表达式：^\s*|\s*$
评注：可以用来删除行首行尾的空白字符(包括空格、制表符、换页符等等)，非常有用的表达式
匹配Email地址的正则表达式：\w+([-+.]\w+)*@\w+([-.]\w+)*\.\w+([-.]\w+)*
评注：表单验证时很实用
匹配网址URL的正则表达式：[a-zA-z]+://[^\s]*
评注：网上流传的版本功能很有限，上面这个基本可以满足需求
匹配帐号是否合法(字母开头，允许5-16字节，允许字母数字下划线)：^[a-zA-Z][a-zA-Z0-9_]{4,15}$
评注：表单验证时很实用
匹配国内电话号码：\d{3}-\d{8}|\d{4}-\d{7}
评注：匹配形式如 0511-4405222 或 021-87888822
匹配腾讯QQ号：[1-9][0-9]{4,}
评注：腾讯QQ号从10000开始
匹配中国邮政编码：[1-9]\d{5}(?!\d)
评注：中国邮政编码为6位数字
匹配身份证：\d{15}|\d{18}
评注：中国的身份证为15位或18位
匹配ip地址：\d+\.\d+\.\d+\.\d+
评注：提取ip地址时有用
匹配特定数字：
^[1-9]\d*$ //匹配正整数
^-[1-9]\d*$ //匹配负整数
^-?[1-9]\d*$ //匹配整数
^[1-9]\d*|0$ //匹配非负整数（正整数 + 0）
^-[1-9]\d*|0$ //匹配非正整数（负整数 + 0）
^[1-9]\d*\.\d*|0\.\d*[1-9]\d*$ //匹配正浮点数
^-([1-9]\d*\.\d*|0\.\d*[1-9]\d*)$ //匹配负浮点数
^-?([1-9]\d*\.\d*|0\.\d*[1-9]\d*|0?\.0+|0)$ //匹配浮点数
^[1-9]\d*\.\d*|0\.\d*[1-9]\d*|0?\.0+|0$ //匹配非负浮点数（正浮点数 + 0）
^(-([1-9]\d*\.\d*|0\.\d*[1-9]\d*))|0?\.0+|0$ //匹配非正浮点数（负浮点数 + 0）
评注：处理大量数据时有用，具体应用时注意修正
匹配特定字符串：
^[A-Za-z]+$ //匹配由26个英文字母组成的字符串
^[A-Z]+$ //匹配由26个英文字母的大写组成的字符串
^[a-z]+$ //匹配由26个英文字母的小写组成的字符串
^[A-Za-z0-9]+$ //匹配由数字和26个英文字母组成的字符串
^\w+$ //匹配由数字、26个英文字母或者下划线组成的字符串
评注：最基本也是最常用的一些表达式
1.建立文件链接
(1)固定链接:
当删除其中的一个文件时其实只删除了该文件的链接，如果一个文件有多个文件链接，要真正删除这个文件必须删除这个文件的所有链接
例：为文件foo创建名为bar的固定文件链接
ln foo bar
显示文件链接信息
ls -i foo bar
(2)符号链接: 类似于windows中的快捷方式
ln -s 源文件名 目标文件名
2.查找文件
(1)find：按文件名来查找 优点是查找灵活，缺点是搜索时间过长
格式: find 路径 匹配表达式
find / -iname myfile*
说明：iname为匹配表达式，它有20多种选择
例：按大小查找
find / -size 53k
(2)locate：按文件名查找，但是按索引查找，所以速度比find快
例: locate *.ps
(3)whereis：查找的结果可同时显示该文件的二进制文件，源泉代码和说明文件的存放位置
例：whereis find
(4)grep 参数 字符串 文件名
3.归档命令:归档的作用就是将多个文件打包为一个文件，但它并不对每个文件进行压缩
格式：tar -参数 目标文件名 源文件
参数列表:
-c 建立归档文件
-f 存档到文件而不是磁带机
-v 在复制过程中，要加入的文件在屏幕上显示出来
-t 显示每个文件清单
-x 解开一个档案文件到相应的目录，与-c相反
-w 在每次建档／解开档案时对每一个文件进行确认，以免误操作覆盖文件
-z 建档和解档时通过gzip过滤
归档格式：tar -cvf 归档文件名 待归档的文件列表
例:tar -cvf vnc.tar /root
解档格式：tar -xvf 归档文件名
4.压缩和解压缩命令
gzip -参数 文件名
说明：gzip跟winzip软件不同，它只能对一个文件进行压缩，所以经常和tar命令配合使用，gzip一般不带任何参数，例如：
gzip mydoc.tar
将会在当前目录下产生mydoc.tar.gz的压缩文件
说明：可以使用tar -z对文件进行压缩，例如键入如下命令
tar -cvfz resarch.tar.gz /etc
以上命令将会对/etc下的文件归档为research.tar，然后使用gzip对其进行压缩生成research.tar.gz文件
与之相反，键入如下命令：
tar -xvfz research.tar.gz
5.RPM(Redhat Package Manager的简称)．它是Redhat开发的强有力的软件包管理软件
(1)安装程序软件包
rpm -i 软件包名
(2)卸载某一个软件包
rpm -e 软件包名
6.文件/目录的权限管理
-rw-r-r--l
以上文件权限除第一个字母之外的后面9个字母每三个一组，依次代表文件所有者，文件所有组和其他用户对文件的权限，其中r代表读的
权限，w代表写的权限，x代表执行的权限．对于目录，x代表搜索的权限。如上所示的文件权限表示对文件所属的用户而言，它有读和写的权限
；对于其他用户则只有读的权限。这也是一般文件的权限分配方式。
注意：目录的权限大于文件的权限
7.改变文件/目录权限
chmod 用户类别 +/- 权限 文件名
用户类别包括以下几种：
a 代表所有用户
g 代表文件所属用户组
o 代表文件所有组外的其他用户
权限包括：r,w,x
例：给myfile所属用户组以写的权限：
chmod g +w myfile
例：将所有用户均可执行mybatch文件
chmod a +x mybatch
8.Linux中的脚本文件的建立（类似于dos的bat文件）
跟dos不同的是，在dos中以扩展名来区分文件是否可执行，但在linux中通过加x权限来设置文件可执行
例：将脚本文件clear设置为可执行
chmod -u +x clear
9.改变文件的所属用户和所属组
chown 参数 用户:组 文件名
例：chown tlc:book destfile
将destfile的所属用户设置为tlc，所属用户组设置为book
10.进程的管理
在命令行方式下输入命令时，只要在命令后加一个&操作符，就可以使这个程序在后台运行。例如键入updatedb&可以使此任务在后台执行
ctrl+z 可以把这个程序调入后台，同时暂停执行
bg 使被挂起的继续执行
fg 使其在后台继续执行
ctrl+c 可以终止一个程序的运行
11.查看进程序状态：ps
ps -l 显示进程的详细信息
ps -f 显示进程树，用以表示进程间的上下级关系
ps -r 显示正在运行的进程
ps -m 显示内存的使用情况
12.显示系统的最高进程的程序top
k 杀死进程
q 退出
13.终止进程命令kill
14.管理用户和用户组
添加用户的一般命令格式
useradd 参数 用户名
例：useradd staff1 的作用是建立用户staff1，此时未设置口令，所以这时如果以此用户登录，不需要输入口令。默认的用户工作目录为/home/用户名
常用参数说明：
-u 用户id: 设置用户id，此值应大于99,并大于现有用户的最小id
-g 用户组名: 指定用户应属于的用户组
-d 工作目录：指定用户的工作目录
useradd -g guest -d /mydoc user
该命令建立一个用户user,它属于guest组（如果没有此组，则将创建它）。其工作目录为/mydoc（如果没有此目录，则创建之）
删除用户的格式：
userdel 参数 用户名
此命令只有一个参数-r，表示删除用户的同时删除用户的工作目录
15.创建和修改口令
在linux系统下除了root用户必须设置口令外，其他普通用户的口令从技术角度说是可以不设置的，但为了安全起见，一般都要设置一个口令。在Linux下设置口令的命令是passwd，它的一般格式是：
passwd -u 用户名
例: psswd wang1将修改用户wang1的口令
用一句shell语句实现：把当前目录下所有更新时间超过10天（包括子目录下）后缀为.a的文件的后缀改为.b
for i in $(find . -name '*.a' -a -mtime +10); do mv $i ${i%.*}.b; done
find . -name '*.a' -a -mtime +10 |xargs rename .a .b
或保险点儿
find . -name '*.a' -a -mtime +10 |xargs -n1 -i rename .a .b
find . -type f -name "*.b"|awk '{ cmd=sprintf("mv %s %s.a/",$1,substr($1,1,length($1)-2));system
(cmd) }'
for i in $(find . -name '*.a' -a -mtime +10); do mv $i [color=red]${i%.*}.b[/color]; done
shell编程,实现如下功能:
/tmp路径下有800个文件,文件名的格式是:filename_YYYYMMDD_序列号(从001到999).dat, 例
如:filename_20040108_089.dat
现在想把这些文件改名,新文件名的格式是:filename_TODAY(当前日期)_序列号(从500开始,到达
999之后从001开始).dat,
例如: 把filename_20040108_089.dat改为filename_20041222_589.dat,注意新文件名的序
列号的顺序需要和原来的一致,即要做排序处理.
#!/usr/bin/bash
DEST_FILE_PART2="_`date '+%Y%m%d'`_"
EXT_NAME=".dat"
SRC_FILE_LIST=`find /tmp -name "*_*_*$EXT_NAME" -print`
for each in $SRC_FILE_LIST; do
DEST_FILE_PART1=`echo $each | awk -F"_" '{print $1}'`
OLD_NUM=`echo $each | awk -F"_" '{print $3}' | awk -F"." '{print $1}'`
DEST_FILE_PART3=`expr $OLD_NUM + 500`
[ $DEST_FILE_PART3 -gt 999 ] && DEST_FILE_PART3=`expr $OLD_NUM - 499`
&& DEST_FILE_PART3=`printf %03d $DEST_FILE_PART3`
DEST_FILE=$DEST_FILE_PART1$DEST_FILE_PART2$DEST_FILE_PART3$EXT_NAME
echo "mv $each to $DEST_FILE"
mv $each $DEST_FILE
done
1. 从a.log文件中提取包含"WARNING"或"FATAL"，同时不包含"IGNOR"的行，然后提取以":"分割的第 5个
字段
2. 编写一个脚本，只想简单的减法运算，要求提示输入变量
3. Shell脚本阅读（解释下面执行的功能），请挑出下面程序或脚本中的错误，并说明错在哪里。
#!/bin/bash
#监控cpuser的point端口是否正常
logname="/home/forum/log/lpointlog.wf"
flagfile="/home/forum/log/lognum.txt"
lodnum=sed -n "1,1 p"$flagfile
newnum=wc -l ${logname}
echo $newnum >$flagfile
totalnum=expr $newnum -$oldnum
tail -n $totalnum $logname |grep "POINT_THREAD WARNING"
if [$?==0]
then
mail -s "cpuser point "端口异常,请处理!"
fi>
参考答案：
1。
grep -E 'warning|fatal' file | grep -v ignor | awk -F ":" '{print $5}'
awk '/as/ && !/end/ {print $1}; /bd/ && !/end/ {print $1};' in
/A/ {} 包含A的行
! /A/ 不包含A的行
/A/, /B/ 包含A，到包含B的行
/A/ && /B/ 包含A，并且包含B的行
/A/, /B/ && !/C/ 包含A，到包含B而不包含C的行
/A/ && !/B/, /C/ && !/B/ 包含A且不包含B，到包含C且不包含B的行
2.
#!/bin/sh
echo -n "input var1:"
read var1
echo -n "input var2:"
read var2
echo $(($var1 - $var2))
3.
(1) 命令行替换用反引号
`sed -n "1,1 p"$flagfile`
(2) if [$?==0] 应该写做if [ $? = 0 ]，用来判断上次命令是否执行成功
if [ $? = 0 ]
then
echo success
fi
(3)倒数第二行应该是>/dev/null，最后fi后面的>去掉
1. 变量扩展, 当环境变量没有用空白（空格或制表键）与周围文本分开时，
请使用更明确的花括号形式。
$ myvar='This is my environment variable!'
$ echo foo${myvar}bar
fooThis is my environment variable!bar
2. 用于从文件路径中提取文件名和路径名的命令basename, dirname
$ basename /usr/local/share/doc/foo/foo.txt
foo.txt
$ dirname /usr/local/share/doc/foo/foo.txt
/usr/local/share/doc/foo
3. 命令替换，将一个命令的执行结果赋值给一个变量，使用``, 或$()
$ MYDIR=`dirname /usr/local/share/doc/foo/foo.txt`
$ echo $MYDIR
/usr/local/share/doc/foo
$ MYDIR=$(dirname /usr/local/share/doc/foo/foo.txt)
$ echo $MYDIR
/usr/local/share/doc/foo
4. 字符串截断， ${MYVAR##*fo}， ${MYVAR#*fo}， ${MYVAR%%*fo}， ${MYVAR%*fo}
5. If 语句, 在 bash 中，所有布尔表达式都用方括号括起
if [ "${1##*.}" = "tar" ]
6. 引用, 全部需要引用处理的元字符如下：
* ? [ ] ' " \ $ ; & ( ) | ^ ! # newline tab
对于单个元字符， 可采用 \元字符 转义。
对于整个串，可以在字符串前后加上单引号(')，将使整个串中所有的元字符失去特殊含义。
对于整个串中有少数例外，采用双引号，双引号禁止除了$(变量)和`(反引号，命令域)以外的所有元字
符。
要求：在一个脚本中完成这个程序
1.从文件user.list中取出已给定的用户名和用户组，将这些用户和组按规则添加到系统中
2.从password.list中读取已经给定的用户密码。
user.list如下
zhangsan adminuser,dbuser,updatauser
lisi dbuser,updatauser
wanger updatauser,wheel
#!/bin/bash
#group add
for x in ‘awk ‘{print $2}’ user.list | sed ’s/,/\n/g’ | sort | uniq -c|sed ’s/[^a-zA-Z]//g”
do
groupadd $x &> /dev/null
done
#back message
if (($?==0))
then
echo “Group Ok!!”
else
exit 1
fi
#user add
for i in ‘awk ‘{print $1}’ user.list’
do
for y in ‘awk ‘{print $2}’ password.list’
do
useradd $i &> /dev/null
echo $y | passwd –stdin $i &> /dev/null
done
done
#back message
if (($?==0))
then
echo “User Ok!”
else
exit 1
fi
#add users to groups
for ((q=1;q<=3;q++))
do
usermod -G ‘awk “NR==$q {print $2}” user.list | awk ‘{print $2}” ‘awk “NR==$q {print $1}”
user.list | awk ‘{print $1}” &> /dev/null
done
if (($?==0))
then
echo “All Finished!”
fi
