[转载]shell编程范例之数值运算-exp07-ChinaUnix博客

shell编程范例之数值运算

    这一篇打算讨论一下shell编程中的基本数值运算，这类运算包括数值（包括整数和浮点数）间的加减乘除幂求模等，产生指定范围的随机数，产生指定范围的数列等。
    貌似shell本身（shell本身是一个解释程序，你可以在命令行打印SHELL变量找到当前的shell程序）只可以完成整数运算，一些复杂的运算可以通过外部命令实现，比如expr,bc,awk等。至于随机数，shell可以通过RANDOM环境变量产生一个从0到32767的随机数，一些外部工具，比如awk可以通过rand()函数产生随机数。而seq命令可以用来产生一个数列。
    下面分别进行介绍：

1、整数运算

1.1 概要示例：对某个数加一

Quote:

$ i=0;
$ ((i++))
$ echo $i
1
$ let i++
$ echo $i
2
$ expr $i + 1
3
$ echo $i
2
$ echo $i 1 | awk '{printf $1+$2}'
3

说明：expr之后的$i,+,1之间有空格分开；awk后面的$1和$2分别指$i和1,即从左往右的第1个和第二个数。

用shell的内置命令查看各个命令的类型如下：

Quote:

$ type type
type is a shell builtin
$ type let
let is a shell builtin
$ type expr
expr is hashed (/usr/bin/expr)
$ type bc
bc is hashed (/usr/bin/bc)
$ type awk
awk is /usr/bin/awk

从上面的演示可以看出：let是shell内置命令，其他几个是外部命令，都在/usr/bin目录下。而expr和bc因为我刚用过，已经加载在内存的hash表中。这个结果将有助于我们理解下面范例的结果。

补充：如果查看不同命令的帮助
对于let和type等shell内置命令，可以通过shell的一个内置命令help来查看相关帮助，而一些外部命令可以通过shell的一个外部命令man来查看帮助，用法诸如help let，man expr等。

1.2 范例演示：从1加到某个数值。

代码：
Code:

#!/bin/bash

# calc.sh

i=0;

while [ $i -lt 10000 ]

((i++))

done

echo $i

说明：这里通过while [ 条件表达式 ]; do .... done循环来实现。-lt是小于号(<)，具体见test命令的用法：man test。

如何执行该脚本？

第一种办法直接把脚本文件当成子shell(bash)的一个参数传入。

Quote:

$ bash calc.sh
$ type bash
bash is hashed (/bin/bash)

第二种办法是通过bash的内置命令.或source执行。

Quote:

$ . ./calc.sh
或
$ source ./calc.sh
$ type .
. is a shell builtin
$ type source
source is a shell builtin

第三种办法是修改文件为可执行，直接在当前shell下执行。

Quote:

$ chmod ./calc.sh
$ ./calc.sh

下面，逐一演示用其他方法计算变量加一，即把((i++))行替换成下面的某一个：
let i++;
i=$(expr $i + 1)
i=$(echo $i+1|bc)
i=$(echo "$i 1" | awk '{printf $1+$2;}')

比较计算时间如下：

Quote:

$ time calc.sh
10000

real    0m1.319s
user    0m1.056s
sys     0m0.036s
$ time calc_let.sh
10000

real    0m1.426s
user    0m1.176s
sys     0m0.032s
$ time calc_expr.sh
1000

real    0m27.425s
user    0m5.060s
sys     0m14.177s
$ time calc_bc.sh
1000

real    0m56.576s
user    0m9.353s
sys     0m24.618s
$ time ./calc_awk.sh
100

real    0m11.672s
user    0m2.604s
sys     0m2.660s

说明：time命令可以用来统计命令执行时间，这部分时间包括总的运行时间，用户空间执行时间，内核空间执行时间，它通过ptrace系统调用实现。

总结：通过上面的比较，我们发现(())的运算效率最高。而let作为shell内置命令，效率也很高，但是expr,bc,awk的计算效率就比较低。所以，在shell本身能够完成相关工作的情况下，建议优先使用shell本身提供的功能。但是shell本身好像无法完成浮点运算，所以就需要外部命令的帮助。

补充：let,expr,bc都可以用来求模，运算符都是%，而let和bc可以用来求幂，运算符不一样，前者是**，后者是^。例如：

Quote:

//求模
$ expr 5 % 2
1
$ let i=5%2
$ echo $i
1
$ echo 5 % 2 | bc
1
$ ((i=5%2))
$ echo $i
1
//求幂
$ let i=5**2
$ echo $i
25
$ ((i=5**2))
$ echo $i
25
$ echo "5^2" | bc
25

2. 浮点运算

let和expr都无法进行浮点运算，但是bc和awk可以。

2.1 概要示例：求1除以13，保留3位有效数字。

Quote:

$ echo "scale=3; 1/13" | bc
.076
$ echo "1 13" | awk '{printf("%0.3f\n",$1/$2)}'
0.077

说明：bc在进行浮点运算的时候需要指定小数点位数，否则默认为0，即进行浮点运算的时候，默认求出的结果只保留整数。而awk在控制小数位数的时候非常灵活，仅仅通过printf的格式控制就可以实现。

补充：在用bc进行运算的时候，如果不指定scale，而在bc后加上-l选项，也可以进行浮点运算，只不过这时的浮点运算的小数点默认是20位。例如：

Quote:

$ echo 1/13100 | bc -l
.00007633587786259541

2.2 范例演示：假如有这样一组数据，存放有某个村庄所有家庭的人数和月总收入，要求找出人均月收入最高的家庭。

在这里我随机产生了一组数据，文件名为income。

Quote:

1 3 4490
2 5 3896
3 4 3112
4 4 4716
5 4 4578
6 6 5399
7 3 5089
8 6 3029
9 4 6195
10 5 5145

说明：上面的三列数据分别是家庭编号、家庭人数、家庭月总收入。
分析：为了求出月均收入最高的家庭，我们需要对后面两列数进行除法运算，即求出每个家庭的月均收入，然后按照月均收入排序，找出收入最高的家庭。
实现：

Code:

#!/bin/bash

# genrandomdata.sh

for i in $(seq 1 10)

echo $i $(($RANDOM/8192+3)) $((RANDOM/10+3000))

done

说明：
[ $# -lt 1 ]: 要求用户至少收入一个参数，$#是shell中传入参数的个数
[ ! -f $1 ] : 要求用户传入的参数是一个文件，-f的用法见test命令，man test
income=$1:把用户传入的参数赋值给income变量，并在后面作为awk的参数，即需要处理的文件
awk....:用文件中的第三列除以第二列，求出月均收入，考虑到精确性，保留了两位有效数字。
sort -k 2 -n -r: 这里对结果的awk结果的第二列(-k 2)，即月均收入进行排序，按照数字排序(-n)，并按照递减的顺序排序（-r)。

演示：

Quote:

$ ./gettopfamily.sh income
7 1696.33
9 1548.75
1 1496.67
4 1179.00
5 1144.50
10 1029.00
6 899.83
2 779.20
3 778.00
8 504.83

补充：之前的income数据是随机产生的。在做一些实验时，往往需要随机产生一些数据，在下一小节，我们将详细介绍它。这里是产生income数据的脚本：
Code:

#!/bin/bash

# gettopfamily.sh

[ $# -lt 1 ] && echo "please input the file who store the income data" && exit -1

[ ! -f $1 ] && echo "$1 is not a file" && exit -1

income=$1

awk '{

printf("%d %0.2f\n", $1, $3/$2);

}' $income | sort -k 2 -n -r

说明：上述脚本中还用到seq命令产生从1到10的一列数，这个命令的详细用法在该篇最后一节也会进一步介绍。

3. 随机数

环境变量RANDOM产生0到32767的随机数，而awk的rand函数可以产生0到1之间的随机数。

3.1 概要示例：打印一个随机数

Quote:

$ echo $RANDOM
81
$ echo "" | awk '{srand(); printf("%f", rand());}'
0.237788

说明：srand在无参数时，采用当前时间作为rand随机数产生器的一个seed。

3.2 范例演示：随机产生一个从0到255之间的数字

3.2.1 可以通过RANDOM变量的缩放和awk中rand的放大来实现。

Quote:

$ expr $RANDOM / 128
$ echo "" | awk '{srand(); printf("%d\n", rand()*255);}'

思考：如果要随机产生某个IP段的IP地址，该如何做呢？

3.2.2 友善地获取一个可用的IP地址

这个脚本我在发过，具体的分析过程见《》

代码：
Code:

#!/bin/bash

# getip.sh -- get an usable ipaddress automatically

# author: falcon

# update: Tue Oct 30 23:46:17 CST 2007

# set your own network, default gateway, and the time out of "ping" command

net="192.168.1"

default_gateway="192.168.1.1"

over_time=2

# check the current ipaddress

ping -c 1 $default_gateway -W $over_time

[ $? -eq 0 ] && echo "the current ipaddress is okey\!" && exit -1;

while :; do

# clear the current configuration

ifconfig eth0 down

# configure the ipaddress of the eth0

ifconfig eth0 \

$net.$(($RANDOM /130 +2)) \

# configure the default gateway

route add default gw $default_gateway

# check the new configuration

ping -c 1 $default_gw -W $over_time

# if work, finish

[ $? -eq 0 ] && break

done

说明：如果网关地址不是1，那么用ifconfig配置地址时不能配置为网关地址，否则你的IP地址将和网关一样，导致整个网络出现问题。

4. 产生一序列数

其实我们通过一个循环就可以产生一序列数，但是有相关的小工具为什么不用呢！seq就是这么一个小工具，它可以产生一序列数，你可以指定数的递增间隔，也可以指定相邻两个数之间的分割符。

4.1 概要示例：演示seq，打印一序列数

Quote:

$ seq 5
1
2
3
4
5
$ seq 1 5
1
2
3
4
5
$ seq 1 2 5
1
3
5
$ seq -s: 1 2 5
1:3:5
$ seq 1 2 14
1
3
5
7
9
11
13
$ seq -w 1 2 14
01
03
05
07
09
11
13
$ $ seq -s: -w 1 2 14
01:03:05:07:09:11:13

补充：在bash版本3中，在for循环的in后面，可以直接通过{1..5}更简洁地产生自1到5的数字(注意，1和5之间只有两个点)，例如：

Quote:

$ for i in {1..5}; do echo -n "$i "; done
1 2 3 4 5

4.2 统计指定字符串(这里以单词为例)的个数

这个灵感来自《高级Bash脚本编程指南》“混杂命令”seq的实例之“字母统计”和CU上一篇统计字母和数字个数的帖子。

4.2.1 首先，我们统计某个文件中所有单词的个数。这里的单词我定义为：由字母组成的单个或者多个字符序列。所以，可以这样实现。

说明：为了方便演示，这里采用我的上一篇转载的日志happiness quotations里头的内容,请把内容复制下来保存为text文件。

Quote:

说明：
cat text: 显示text文件里的内容
sed -e "s/[^a-zA-Z]/\n/g": 把非字母的字符全部替换成空格，这样整个文本只剩下字母字符
grep -v ^$:去掉空行
sort: 排序
uniq -c：统计相同行的个数，即每个单词的个数
sort -n -k 1 -r：按照第一列(-k 1)的数字(-n)逆序(-r)排序
head -10：取出前十行

4.2.2 接着我们统计指定单词的个数，即输入需要统计的单词，并返回每个单词的个数。

可以考虑采取两种办法：
第一种：只统计那些需要统计的单词
第二种：用上面的算法把所有单词的个数都统计出来，然后再返回那些需要统计的单词给用户

不过，这两种办法都可以通过下面的结构来实现。

Code:

#!/bin/bash

# statistic_words.sh

if [ $# -lt 1 ]; then

echo "ERROR: you should input 2 words at least";

echo "Usage: basename $0 FILE WORDS ...."

exit -1

FILE=$1

((WORDS_NUM=$#-1))

for n in $(seq $WORDS_NUM)

shift

done

说明：
if 条件部分：要求用户输入至少两个参数，第一个是需要统计单词的文件名，第二之后的所有参数是需要统计的单词。
FILE=$1: 获取文件名，即脚本之后的第一个字符串。
((WORDS_NUM=$#-1))：获取单词个数，即总的参数个数($#)减去那个文件名参数(1个)
for 循环部分：首先通过seq产生需要统计的单词个数序列，shift是shell内置变量（请通过help shift获取帮助)，它把用户从命令行中传入的参数依次往后移动位置，并把当前参数作为第一个参数即$1，这样通过$1就可以遍历用户所有输入的单词 (仔细一想，这里貌似有数组下标的味道)。你可以考虑把shift之后的那句替换成echo $1测试shift的用法。

演示：

Quote:

$ chmod +x statistic_words.sh
$ ./statistic_words.sh text is Action happy
     45 is
      1 Action
     19 happy

采用第二种办法，我们只需要修改shift之后的那句即可。

Code:

#!/bin/bash

# statistic_words.sh

if [ $# -lt 1 ]; then

echo "ERROR: you should input 2 words at least";

echo "Usage: basename $0 FILE WORDS ...."

exit -1

FILE=$1

((WORDS_NUM=$#-1))

for n in $(seq $WORDS_NUM)

shift

done

演示：

Quote:

$ ./statistic_words.sh text is Action happy
     45 is
      1 Action
     19 happy

说明：很明显，采用第一种办法效率要高很多，因为第一种办法提前找出了需要统计的单词，然后再统计，而后者则不然。实际上，如果使用grep的-E选项，我们无须引入循环，而用一条命令就可以搞定：

Quote:

补充：在《高级Bash脚本编程指南》一书中还提到jot命令和factor命令，由于我机器上没有，所以没有测试，factor命令可以产生某个数的所有素数。如：
[quote]
$ factor 100
100: 2 2 5 5

5. 总结

到这里，shell编程范例之数值计算就结束啦。该篇主要介绍了：

* shell编程中的整数运算、浮点运算、随机数的产生、数列的产生
* shell的内置命令、外部命令的区别，以及如何查看他们的类型和帮助，关于内置命令和外部命令的比较，请参考：
* shell脚本的几种执行办法
* 几个常用的shell外部命令：sed,awk,grep,uniq,sort等
* 范例：数字递增；求月均收入；自动获取IP地址；统计单词个数
* 其他：相关的用法，比如命令列表，条件测试等，在上述范例中都已经涉及，请认真阅读之

如果您有时间，请温习之。

6. 参考资料和推荐资料

[1] 高级Bash脚本编程指南

[2] shell十三问

[3] shell基础十二篇

[4] 在linux下学习和工作

[5] 在linux下更高效的工作

[6] SED手册

[7] AWK使用手册

[8] 几个shell讨论区
兰大开源社区:
LinuxSir.org:
ChinaUnix.net:

如果合适，建议直接找对应的英文原版阅读！