Bash的陷阱

原帖:

         

感谢，他的new 30 days系列为我们带来了不少好文章。

今天想分析的是这篇, 介绍了一些bash编程中的经典错误。fcicq说可能不适合初学者，而我认为，正是bash编程的初学者才应该好好阅读一下这篇文章。

下面就逐个分析一下这篇文章中提到的错误。不是完全的翻译，有些没用的话就略过了，有些地方则加了些注释。

 

1. for i in `ls *.mp3`

常见的错误写法：

for i in `ls *.mp3`; do     # Wrong!

为什么错误呢？因为for...in语句是按照空白来分词的，包含空格的文件名会被拆成多个词。如遇到 01 - Don't Eat the Yellow Snow.mp3 时，i的值会依次取 01，-，Don't，等等。

用双引号也不行，它会将ls *.mp3的全部结果当成一个词来处理。

for i in "`ls *.mp3`"; do   # Wrong!

正确的写法是

for i in *.mp3; do

2. cp $file $target

这句话基本上正确，但同样有空格分词的问题。所以应当用双引号：

cp "$file" "$target"

但是如果凑巧文件名以 - 开头，这个文件名会被 cp 当作命令行选项来处理，依旧很头疼。可以试试下面这个。

cp -- "$file" "$target"

运气差点的再碰上一个不支持 -- 选项的系统，那只能用下面的方法了：使每个变量都以目录开头。

for i in ./*.mp3; do
  cp "$i" /target
  ...

3. [ $foo = "bar" ]

当$foo为空时，上面的命令就变成了

[ = "bar" ]

类似地，当$foo包含空格时：

[ multiple words here = "bar" ]

两者都会出错。所以应当用双引号将变量括起来：

[ "$foo" = bar ]      # 几乎完美了。

但是！当$foo以 - 开头时依然会有问题。在较新的bash中你可以用下面的方法来代替，[[ 关键字能正确处理空白、空格、带横线等问题。

[[ $foo = bar ]]      # 正确

旧版本bash中可以用这个技巧（虽然不好理解）：

[ x"$foo" = xbar ]    # 正确

或者干脆把变量放在右边，因为 [ 命令的等号右边即使是空白或是横线开头，依然能正常工作。（Java编程风格中也有类似的做法，虽然目的不一样。）

[ bar = "$foo" ]      # 正确

4. cd `dirname "$f"`

同样也存在空格问题。那么加上引号吧。

cd "`dirname "$f"`"

问题来了，是不是写错了？由于双引号的嵌套，你会认为`dirname 是第一个字符串，`是第二个字符串。错了，那是C语言。在bash中，命令替换（反引号``中的内容）里面的双引号会被正确地匹配到一起，不用特意去转义。

$()语法也相同，如下面的写法是正确的。

cd "$(dirname "$f")"

5. [ "$foo" = bar && "$bar" = foo ]

[ 中不能使用 && 符号！因为 [ 的实质是 test 命令，&& 会把这一行分成两个命令的。应该用以下的写法。

[ bar = "$foo" -a foo = "$bar" ]       # Right!
[ bar = "$foo" ] && [ foo = "$bar" ]   # Also right!
[[ $foo = bar && $bar = foo ]]         # Also right!

6. [[ $foo > 7 ]]

很可惜 [[ 只适用于字符串，不能做数字比较。数字比较应当这样写：

(( $foo > 7 ))

或者用经典的写法：

[ $foo -gt 7 ]

但上述使用 -gt 的写法有个问题，那就是当 $foo 不是数字时就会出错。你必须做好类型检验。

这样写也行。

[[ $foo -gt 7 ]]

7. grep foo bar | while read line; do ((count++) ); done

由于格式问题，标题中我多加了一个空格。实际的代码应该是这样的：

grep foo bar | while read line; do ((count++)); done         # 错误！

这行代码数出bar文件中包含foo的行数，虽然很麻烦（等同于grep -c foo bar或者 grep foo bar | wc -l）。乍一看没有问题，但执行之后count变量却没有值。因为管道中的每个命令都放到一个新的子shell中执行，所以子shell中定义的count变量无法传递出来。

#!/bin/sh

count=0
while read LINE
do
 count=`expr $count + 1`
done < file
echo $count
问题是这个程序能得到什么样的结果?仿佛很明显，能够统计文件file的行数，然而你若执行一下便知，无论file的行数是多少，该程序的输出始终是0！为什么？
原来如果使用for,while,until,if,case这些命令时用到了重定向，那么sh会产生一个子shell来运行它们。可以想象count在循环体中能够正确的计数，一旦while执行完毕，子shell完成，其内部的变量count就消失了。因而得到的结果是循环体外开始赋的值0！
可以避免吗？试试这样：
cat file|while read LINE
do
 count=`expr $count + 1`
done
echo $count
依然如此！怎么办？可以先关闭标准输入，然后以你要读取得文件重新打开它，这样就不需要对while命令的输入进行改向，也就不会用子shell的方式来运行它了。如下：execcount=0
while read LINE
do
 count=`expr $count + 1`
done
exec < /dev/tty
echo $count
也可以
exec 4<&0 0< file
count=0
while read LINE
do
 count=`expr $count + 1`
done
exec 0<&4
echo $count
如果还有怀疑的话可以试一下if：
#!/bin/sh

echo "abcd"|if [ "abcd" = "abcd" ]; then 
 var=7
fi
echo $var
输出当然是空。去掉echo "abcd"|就好了。
所以不了解这一点在编程时就会非常危险，试想while,for,case,if,until是多么的常用，与管道或重定向连着用也是很常见的，可是一旦在其内部使用了什么变量，就是有进无出，有去无回了。

首先，exec 3<&0 0

然后，通过read命令读取name.txt的第一行内容line1，第二行内容line2，通过Exec 0<&3关闭文件描述符3；

最后，用echo命令输出line1和line2。最好在终端运行一下这个脚本，亲自尝试一下。

8. if [grep foo myfile]

初学者常犯的错误，就是将 if 语句后面的 [ 当作if语法的一部分。实际上它是一个命令，相当于 test 命令，而不是 if 语法。这一点C程序员特别应当注意。

if 会将 if 到 then 之间的所有命令的返回值当作判断条件。因此上面的语句应当写成

if grep foo myfile > /dev/null; then

9. if [bar="$foo"]

同样，[ 是个命令，不是 if 语句的一部分，所以要注意空格。

if [ bar = "$foo" ]

10. if [ [ a = b ] && [ c = d ] ]

同样的问题，[ 不是 if 语句的一部分，当然也不是改变逻辑判断的括号。它是一个命令。可能C程序员比较容易犯这个错误？

if [ a = b ] && [ c = d ]        # 正确

11. cat file | sed s/foo/bar/ > file

你不能在同一条管道操作中同时读写一个文件。根据管道的实现方式，file要么被截断成0字节，要么会无限增长直到填满整个硬盘。如果想改变原文件的内容，只能先将输出写到临时文件中再用mv命令。

sed 's/foo/bar/g' file > tmpfile && mv tmpfile file

12. echo $foo

这句话还有什么错误码？一般来说是正确的，但下面的例子就有问题了。

MSG="Please enter a file name of the form *.zip"
echo $MSG         # 错误！

如果恰巧当前目录下有zip文件，就会显示成

Please enter a file name of the form freenfss.zip lw35nfss.zip

所以即使是echo也别忘记给变量加引号。

13. $foo=bar

变量赋值时无需加 $ 符号——这不是Perl或PHP。

14. foo = bar

变量赋值时等号两侧不能加空格——这不是C语言。

15. echo < here document是个好东西，它可以输出成段的文字而不用加引号也不用考虑换行符的处理问题。不过here document输出时应当使用cat而不是echo。

# This is wrong:
echo <

				

原文的意思是，这条基本上正确，但使用者的目的是要将 -c 'some command' 传给shell。而恰好 su 有个 -c 参数，所以su 只会将 'some command' 传给shell。所以应该这么写：

su root -c 'some command'

但是在我的平台上，man su 的结果中关于 -c 的解释为

-c, --commmand=COMMAND
            pass a single COMMAND to the shell with -c

也就是说，-c 'some command' 同样会将 -c 'some command' 这样一个字符串传递给shell，和这条就不符合了。不管怎样，先将这一条写在这里吧。

17. cd /foo; bar

cd有可能会出错，出错后 bar 命令就会在你预想不到的目录里执行了。所以一定要记得判断cd的返回值。

cd /foo && bar

如果你要根据cd的返回值执行多条命令，可以用 ||。

cd /foo || exit 1;
bar
baz

关于目录的一点题外话，假设你要在shell程序中频繁变换工作目录，如下面的代码：

find ... -type d | while read subdir; do
  cd "$subdir" && whatever && ... && cd -
done

不如这样写：

find ... -type d | while read subdir; do
  (cd "$subdir" && whatever && ...)
done

括号会强制启动一个子shell，这样在这个子shell中改变工作目录不会影响父shell（执行这个脚本的shell），就可以省掉cd - 的麻烦。

你也可以灵活运用 pushd、popd、dirs 等命令来控制工作目录。

18. [ bar == "$foo" ]

[ 命令中不能用 ==，应当写成

[ bar = "$foo" ] && echo yes
[[ bar == $foo ]] && echo yes

19. for i in {1..10}; do ./something &; done

& 后面不应该再放 ; ，因为 & 已经起到了语句分隔符的作用，无需再用;。

for i in {1..10}; do ./something & done

20. cmd1 && cmd2 || cmd3

有人喜欢用这种格式来代替 if...then...else 结构，但其实并不完全一样。如果cmd2返回一个非真值，那么cmd3则会被执行。所以还是老老实实地用 if cmd1; then cmd2; else cmd3 为好。

21. UTF-8的BOM(Byte-Order Marks)问题

UTF-8编码可以在文件开头用几个字节来表示编码的字节顺序，这几个字节称为BOM。但Unix格式的UTF-8编码不需要BOM。多余的BOM会影响shell解析，特别是开头的 #!/bin/sh 之类的指令将会无法识别。

MS-DOS格式的换行符(CRLF)也存在同样的问题。如果你将shell程序保存成DOS格式，脚本就无法执行了。

$ ./dos
-bash: ./dos: /bin/sh^M: bad interpreter: No such file or directory

22. echo "Hello World!"

交互执行这条命令会产生以下的错误：

-bash: !": event not found

因为 !" 会被当作命令行历史替换的符号来处理。不过在shell脚本中没有这样的问题。

不幸的是，你无法使用转义符来转义!：

$ echo "hi\!"
hi\!

解决方案之一，使用单引号，即

$ echo 'Hello, world!'

如果你必须使用双引号，可以试试通过 set +H 来取消命令行历史替换。

set +H
echo "Hello, world!"

23. for arg in $*

$*表示所有命令行参数，所以你可能想这样写来逐个处理参数，但参数中包含空格时就会失败。如：

#!/bin/bash
# Incorrect version
for x in $*; do
  echo "parameter: '$x'"
done
$ ./myscript 'arg 1' arg2 arg3
parameter: 'arg'
parameter: '1'
parameter: 'arg2'
parameter: 'arg3'

正确的方法是使用 "$@"。

#!/bin/bash
# Correct version
for x in "$@"; do
  echo "parameter: '$x'"
done
$ ./myscript 'arg 1' arg2 arg3
parameter: 'arg 1'
parameter: 'arg2'
parameter: 'arg3'

在 bash 的手册中对 $* 和 $@ 的说明如下：

*    Expands to the positional parameters, starting from one.  
     When the expansion occurs within double quotes, it 
     expands to a single word with the value of each parameter 
     separated by the first character of the IFS special variable.  
     That is, "$*" is equivalent to "$1c$2c...",
@    Expands to the positional parameters, starting from one. 
     When the expansion occurs within double quotes, each 
     parameter expands to a separate word.  That  is,  "$@"  
     is equivalent to "$1" "$2" ...  

可见，不加引号时 $* 和 $@ 是相同的，但"$*" 会被扩展成一个字符串，而 "$@" 会被扩展成每一个参数。

24. function foo()

在bash中没有问题，但其他shell中有可能出错。不要把 function 和括号一起使用。最为保险的做法是使用括号，即

foo() {
  ...
}

				

					25. netman shell13问笔记
				

				

					shell执行过程：
shell会依据IFS将command line所输入的文字扯为字段word，然后再针对特殊字符处理，最后重新组成command line
IFS 由  或  或  三者之一组成(我们常用 space )

' 单引号内没有任何通配符、参数和变量替换，它阻止 shell 检查引号里面。$echo '$HOME' ，显示$HOME 。
" 双引号：除 Dollar signs（$）， Back quotes(``)， Backslashes(\)外，所有内容留给应用解释，包括
IFS 和 CR 回车。
Backslash（\）：相当于将跟随字符用单引号处理。
so awk '{print $0}'==awk "{print \$0}" ==awk \{print\ \$0\}