shell基本概念

1、基本概念
  a、I/O重定向通常与 FD有关，shell的FD通常为10个，即 0～9；
  b、常用FD有3个，为0（stdin，标准输入）、1（stdout，标准输出）、2（stderr，标准错误输出），默认与keyboard、monitor、monitor有关；
  c、用 < 来改变读进的数据信道(stdin)，使之从指定的档案读进；
  d、用 > 来改变送出的数据信道(stdout, stderr)，使之输出到指定的档案；
  e、0 是 < 的默认值，因此 < 与 0<是一样的；同理，> 与 1> 是一样的；
  f、在IO重定向 中，stdout 与 stderr 的管道会先准备好，才会从 stdin 读进资料；
  g、管道“|”(pipe line):上一个命令的 stdout 接到下一个命令的 stdin;
  h、tee 命令是在不影响原本 I/O 的情况下，将 stdout 复制一份到档案去;
  i、bash（ksh）执行命令的过程：分析命令－变量求值－命令替代（``和$( )）－重定向－通配符展开－确定路径－执行命令；
  j、( )  将 command group 置于 sub-shell 去执行，也称 nested sub-shell，它有一点非常重要的特性是：继承父shell的Standard input, output, and error plus any other open file descriptors。
  k、exec 命令：常用来替代当前 shell 并重新启动一个 shell，换句话说，并没有启动子 shell。使用这一命令时任何现有环境都将会被清除，。exec 在对文件描述符进行操作的时候，也只有在这时，exec 不会覆盖你当前的 shell 环境。


2、基本IO
  cmd > file                        把 stdout 重定向到 file 文件中
  cmd >> file                        把 stdout 重定向到 file 文件中(追加)
  cmd 1> fiel                        把 stdout 重定向到 file 文件中
  cmd > file 2>&1                把 stdout 和 stderr 一起重定向到 file 文件中
  cmd 2> file                        把 stderr 重定向到 file 文件中
  cmd 2>> file                        把 stderr 重定向到 file 文件中(追加)
  cmd >> file 2>&1                把 stderr 和 stderr 一起重定向到 file 文件中
  cmd < file >file2                cmd 命令以 file 文件作为 stdin，以 file2 文件作为 stdout
  cat <>file                             以读写的方式打开 file
  cmd < file                        cmd 命令以 file 文件作为 stdin
  cmd << delimiter                Here document，从 stdin 中读入，直至遇到delimiter 分界符


3、进阶IO
  >&n                使用系统调用 dup (2) 复制文件描述符 n 并把结果用作标准输出
  <&n                标准输入复制自文件描述符 n
  <&-                关闭标准输入（键盘）
  >&-                关闭标准输出
  n<&-                表示将 n 号输入关闭
  n>&-                        表示将 n 号输出关闭
上述所有形式都可以前导一个数字，此时建立的文件描述符由这个数字指定而不是缺省的 0 或 1。如：
  ... 2>file        运行一个命令并把错误输出(文件描述符 2)定向到 file。
  ... 2>&1                运行一个命令并把它的标准输出和输出合并。(严格的说是通过复制文件描述符 1 来建立文件描述符 2 ，但效果通常是合并了两个流。)

  2>&1说明：2>&1 也就是 FD2＝FD1 ，这里并不是说FD2 的值 等于FD1的值，因为 > 是改变送出的数据信道，通俗的说是：把stderr并到stdout。
  但使用类似 cmd 1>&3 这样的形式时，原理相同，但往往不同于 2>&1 和 1>&2 通常用来合并的作用。
     
    注意：普通cmd命令的cmd n>&n 和exec n>&n 是有区别的。

    exec 0    exec 1>outfilename                # 打开文件outfilename作为stdout
    exec 2>errfilename                # 打开文件 errfilename作为 stderr
    exec 0<&-                                # 关闭 FD0
    exec 1>&-                                # 关闭 FD1
    exec 5>&-                                # 关闭 FD5

问：
如果关闭了 FD0、FD1、FD2，其后果是什么？
恢复 FD0、FD1、FD2与 关闭FD0、FD1、FD2 有什么区别？代码分别是什么？
打开了FD3～FD9，我们用完之后，你觉得是将他们关闭还是恢复？


下面是提示（例子来源于CU）：
  exec 6>&2 2>ver       # FD2(本来往monitor送的) 定向到文件ver
  command >>dev/null &   #丢弃FD1(stdout)
  exec 2>&6                 # 恢复 FD2


4、简单举例（其中 yes.txt存在，no.txt不存在）
  a、stdout 和stderr 都通过管道送给egrep了：
    (ls yes.txt 2>&1;ls no.txt 2>&1) 2>&1|egrep \* >file
    (ls yes.txt;ls  no.txt) 2>&1|egrep \* >file

###
  这个例子就是让大家：理解 命令执行顺序 和 管道“|”
    在命令执行前，先要进行重定向的处理，并将把 nested sub-shell 的stdout 接到 egrep 命令的 stdin。
    nested sub-shell ，在 ( ) 中的两个命令可以看作一个命令。其 stdout(FD1) 通过 “|” 作为 egrep 的 stdin，再加上 2>&1 时，初始 stdout 和 stderr 都往管道 “|” 送。
###

  b、没有任何东西通过管道送给egrep，全部送往monitor。
    (ls yes.txt 2>&1;ls no.txt 2>&1) >&2|egrep \* >file
    虽然在（）里面将 FD2转往FD1，但在（）外，遇到 >&2 ，结果所有的都送到monitor。


5、中阶例子（其中 you 这个文件是存在的，no 和 wu 这两个文件不存在）
r2007兄的：

条件：stderr通过管道送给egrep，正确消息仍然送给monitor（不变）

  exec 4>&1;(ls you no 2>&1 1>&4 4>&-;ls wu 2>&1 1>&4 4>&-)|egrep \* >file;exec 4>&-
  或者
  exec 4>&1;(ls you no;ls wu) 2>&1 1>&4 4>&-|egrep \* >file;exec 4>&-

r2007 兄在其贴已有详细说明，如果加两个条件：
  （1）要求cmd1和cmd2并行运行；
  （2）将cmd1的返回值赋给变量 ss。

则为：
  exec 3>&1;exec 4>&1
  ss=$(((ls you no 2>&1 1>&3 3>&-;echo $? >&4)|egrep \* >file) 4>&1)
  exec 3>&-;exec 4>&-

说明：
  exec 3>&1;4>&1
  ### 建立FD3，是用来将下面ls那条语句（子shell）中的FD1 恢复到正常FD1，即输出到monitor，你可以把FD3看作最初始的FD1的硬盘备份（即输出到monitor）；
  ### 建立FD4，到时用作保存ls的返回值（echo $?），你可以将FD4看作你考试时用于存放计算“echo $?”的草稿纸；

  (ls you no 2>&1 1>&3 3>&-;echo $? >&4)
  ### 大家还记得前面说的子shell和管道吧。这条命令首先会继承FD0、FD1、FD2、FD3、FD4，它位于管道前，所以在运行命令前会先把子shell自己的FD1和管道“|”相连。
  但是我们的条件是stderr通过管道送往egrep，stdout仍然输出到monitor。
  于是通过2>&1，先把 子shell的FD1 的管道“送给”FD2，于是子shell中的stderr送往管道“|”；
  再通过 1>&3，把以前的“硬盘备份”恢复给子shell的FD1，于是子shell中的FD1变成送到monitor了。
  再通过3>&- ，将3关闭；
  接着运行echo $? ，本来其输出值应该送往管道的，通过 >&4 ，将 输出 送往 “草稿纸”FD4，留以备用。

  ((ls you no 2>&1 1>&3 3>&-;echo $? >&4)|egrep \* >file)
  于是，stderr 通过管道送给 egrep ，stdout 送给monitor，但是，还有 FD4，它送到哪去了？
  $(((ls you no 2>&1 1>&3 3>&-;echo $? >&4)|egrep \* >file) 4>&1)
  最后的 4>&1 ，就是把FD4 重定向到 FD1。但由于其输出在 $( )中，其值就赋给变量ss了。

  最后一行关闭 FD3、FD4。


6、高阶例子
  lightspeed 版主大大的：Shell 经典问题之 [ I/O 重定向] （）
  [Q] 对于命令 cmd1, cmd2, cmd3, cmd4. 如何利用单向管道完成下列功能：
    1. 所有命令并行执行
    2. cmd1 和 cmd2 不需要 stdin
    3. cmd1 和 cmd2 的 stdout 定向到 cmd3 的 stdin
    4. cmd1 和 cmd2 的 stderr 定向到 cmd4 的 stdin
    5. cmd3 的 stdout 定向到文件 a, stderr 定向到屏幕
    6. cmd4 的 stdout 定向到文件 b, stderr 定向到屏幕
    7. cmd1 的返回码赋给变量 s
    8. 不能利用临时文件

  解决方法：
    exec 3>&1; exec 4>&1
    my_value=$(((((cmd1 1>&3 ; echo $? >&4 )| cmd2 ) 3>&1 | cmd3 >a 2>&3 ) 2>&1 | cmd4 >b ) 4>&1)
    exec 3>&-; exec 4>&-  

  解释：
          exec 3>&1; exec 4>&1
建立FD3 ，给cmd1恢复其FD1用和给cmd3 恢复其FD2用；
建立FD4，保存“echo $?”输出值的“草稿纸”

          第一对括号到第一个管道：(cmd1 1>&3 ; echo $? >&4 )|
    cmd1本身没有stdin，其stdout原要送往第一个管道，由于1>&3的作用，其stdout被送往FD3；而 >&4 的作用实际是将 cmd1 运行后的返回码送往 FD4。cmd1的stderr默认等待下一步处理。最后，没有往管道送任何东西；

          第二对括号到第二个管道：((cmd1 1>&3 ; echo $? >&4 )| cmd2) 3>&1|
    由于第一个括号中cmd1的 stdout 被送往 FD3，导致管道左端没有任何输入，cmd2 从而就没有stdin。cmd2 的stdout则为默认的；
    将第二对括号看出一个命令，其所有的stdout送往第二个管道“|”；同时由于3>&1的作用，原先cmd1的stdout在送往FD3 又与cmd2的stdout并到一起，所以cmd1 和 cmd2 的 stdout 都送往第二个管道“|”。而cmd1、cmd2的stderr仍然默认等待下一步处理；

          第三对括号到第三个管道：(((cmd1 1>&3 ; echo $? >&4 )| cmd2 ) 3>&1 | cmd3 >a 2>&3 ) 2>&1|
    cmd3 >a 2>&3：cmd3接收处理来自管道的stdin后，其 stdout 送给文件a，其stderr送往FD3，由于FD3继承FD1，实际上其stderr是送往monitor。如果没有“2>&3”，那么cmd3的stderr就会干扰cmd1和cmd2的错误输出，所以它是必须的;
    将第三个括号里完全看作一个命令，其stdout送往管道 “|”，由于2>&1，于是stderr也送往着管道。但由于cmd1、cmd2的stdout已经送给了cmd3处理，而cmd3的stdout输出到文件a，cmd3的stderr也送往monitor，所以实际上只有cmd1和cmd2的stderr送往管道。

          cmd4 >b：cmd4接收处理来自管道的stdin后，其stdout 定向到文件 b，stderr 默认输出到monitor。

          第四对括号：( (((cmd1 1>&3 ; echo $? >&4 )| cmd2 ) 3>&1 | cmd3 >a 2>&3 ) 2>&1|  cmd4 >b ) 4>&1
    四对括号里面所有命令的 FD1、FD2都处理完了，但是还有“echo $? >&4”没处理。“4>&1”的作用就是“将FD4并到stdout”，但由于其他命令的stdout都处理完了，实际上就只有 $? 的值。
    又由于 $() 会建立一个管道，输入端为()内命令，故 $? 的值被赋给变量 my_value。

          最后一行是关闭FD3和FD4。
    另：恢复重定向或关闭的stdout：exec 1>&2 ，恢复重定向或关闭的stderr：exec 2>&1。如果stdout和stderr全部都关闭了，又没有保存原来的FD，可以用：exec 1>/dev/tty 恢复。

＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋
我尝试回答下面的问题。如有错误，还请各位前辈指正！


7、在一个交互式的(Interactive) shell 中, 用 exec 进行 I/O 重定向.
  1）. Stdin, stderr 可以定向到文件中吗? 有什么结果?
    a、在交互式shell中，可以将stdin定向到文件。执行：exec 0结果为：in 文件中每一行均会被自动执行，并且在最后会再加执行一个 exit 命令，导致退出（或退回到正常shell下）。
如 in 文件内容：$ more in
date
read lsp
echo hahha
echo "this is $lsp"

在提示符下执行命令：$ exec 0$ date
Tue Jan 18 18:29:07 HKT 2005
$ read lsp                # 其下面本应有的那句“ echo hahha ”的 “hahaha” 已经被读入到变量 lsp 中了
$ echo "this is $lsp"
this is echo hahha
$ exit

    b、在交互式shell中，可以将stderr定向到文件。执行：exec 2>err
结果为：命令提示符PS被屏蔽，输入的命令也被屏蔽。但是命令执行的结果，如果是stdout 则会回显到屏幕上，如果是 stderr 则不会回显到屏幕上。其中，命令提示符、命令、stderr均会保存到文件 err 中。如：
$ exec 2>err
err  in  out                                                # 执行 ls 命令
Tue Jan 18 18:55:58 HKT 2005                        # 执行 date 命令，而后执行了“ ls nofile”，nofile这个文件不存在
$                                                                 # 执行 exit 命令

现在让我们查看 err文件：
$ more err
[lsp@ii lsp]$ ls
[lsp@ii lsp]$ date
[lsp@ii lsp]$ ls nofile
ls: nofile: No such file or directory
[lsp@ii lsp]$ exit
exit

    c、在交互式shell中，可以将stdout定向到文件。这个使我们常用到的。就不说了。就是将错误的输出内容定向到文件中。正确的输出内容并不受影响。

  2）. Stdin, Stderr 可以关闭吗? 有什么结果?
在交互式shell中，如果关闭stdin，如：exec 0<&- ，其结果是退出（或退回到正常shell下）。
在交互式shell中，如果关闭stderr，如：exec 2>&- ，状态同stderr定向到文件，唯一不同的是没有保存下来。
在交互式shell中，如果关闭stdoutr，如：exec 1>&- ，只要执行有stdout或stderr内容送往 monitor 的命令，如ls、date这类命令，均会报错：“ls: write error: Bad file descriptor”。其他如cd、mkdir、……这类命令不受影响。

  3）. 如果 stdin, stdout, stderr 进行了重定向或关闭, 但没有保存原来的 FD, 可以将其恢复到 default 状态吗?
*** 如果关闭了stdin，因为会导致退出，那肯定不能恢复。
*** 如果重定向或关闭 stdout和stderr其中之一，可以恢复，因为他们默认均是送往monitor（但不知会否有其他影响）。如恢复重定向或关闭的stdout：exec 1>&2 ，恢复重定向或关闭的stderr：exec 2>&1。
*** 如果stdout和stderr全部都关闭了，又没有保存原来的FD，可以用：exec 1>/dev/tty 恢复。

＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋
下面参考了 r2007 兄的回复！谨以致谢！
＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋

8、cmd >a 2>a 和 cmd >a 2>&1 为什么不同？
    cmd >a 2>a ：stdout和stderr都直接送往文件 a ，a文件会被打开两遍，由此导致stdout和stderr互相覆盖。
    cmd >a 2>&1 ：stdout直接送往文件a ，stderr是继承了FD1的管道之后，再被送往文件a 。a文件只被打开一遍，就是FD1将其打开。

    他们的不同点在于：
    cmd >a 2>a 相当于使用了FD1、FD2两个互相竞争使用文件 a 的管道；
    而cmd >a 2>&1 只使用了一个管道FD1，但已经包括了stdout和stderr。
    从IO效率上来讲，cmd >a 2>&1的效率更高。

 

 

 

 

 

 

 

 

 

 

2.shell中的变量
  (1)常用系统变量
     $ #        :保存程序命令行参数的数目
     $ ?        :保存前一个命令的返回码
     $ 0        :保存程序名
     $ *        :以("$1 $2...")的形式保存所有输入的命令行参数
     $ @        :以("$1""$2"...)的形式保存所有输入的命令行参数
  (2)定义变量
   shell语言是非类型的解释型语言,不象用C++/JAVA语言编程时需要事先声明变量.给一
个变量赋值,实际上就是定义了变量.
   在linux支持的所有shell中,都可以用赋值符号(=)为变量赋值.
如:
  abc=9  (bash/pdksh不能在等号两侧留下空格 )
  set abc = 9 (tcsh/csh)
   由于shell程序的变量是无类型的,所以用户可以使用同一个变量时而存放字符时而存放
整数.
如:
  name=abc  (bash/pdksh)
  set name = abc (tcsh)
  在变量赋值之后,只需在变量前面加一个$去引用.
如:
  echo $abc
  (3)位置变量
  当运行一个支持多个命令行参数的shell程序时,这些变量的值将分别存放在位置变量里.
其中第一个参数存放在位置变量1,第二个参数存放在位置变量2,依次类推...,shell保留
这些变量,不允许用户以令外的方式定义他们.同别的变量,用$符号引用他们.

3.shell中引号的使用方法
  shell使用引号(单引号/双引号)和反斜线("\")用于向shell解释器屏蔽一些特殊字符.
反引号(")对shell则有特殊意义.
如:
abc="how are you"  (bash/pdksh)
  set abc = "how are you"  (tcsh)
这个命令行把三个单词组成的字符串how are you作为一个整体赋值给变量abc.
  abc1='@LOGNAME,how are you!' (bash/pdksh)
  set abc1='$LOGNAME,how are you!' (tcsh)
  abc2="$LOGNAME,how are you!" (bash/pdksh)
  set abc2="$LOGNAME,how are you!" (tcsh)
LOGNAME变量是保存当前用户名的shell变量,假设他的当前值是:wang.执行完两条命令后,
abc1的内容是:$LOGNAME, how are you!.而abc2的内容是;wang, how are you!.
象单引号一样,反斜线也能屏蔽所有特殊字符.但是他一次只能屏蔽一个字符.而不能屏蔽
一组字符.
反引号的功能不同于以上的三种符号.他不具有屏蔽特殊字符的功能.但是可以通过他将
一个命令的运行结果传递给另外一个命令.
如:
  contents=`ls` (bash/pdksh)
  set contents = `ls` (tcsh)
4.shell程序中的test命令
  在bash/pdksh中,命令test用于计算一个条件表达式的值.他们经常在条件语句和循环
语句中被用来判断某些条件是否满足.
test命令的语法格式:
  test expression
  或者
  [expression]

在test命令中,可以使用很多shell的内部操作符.这些操作符介绍如下:
(1)字符串操作符  用于计算字符串表达式
  test命令    |    含义
  -----------------------------------------
  Str1 = str2 | 当str1与str2相同时,返回True
  Str1! = str2| 当str1与str2不同时,返回True
     Str      | 当str不是空字符时,返回True
    -n str    | 当str的长度大于0时,返回True
    -z str    | 当str的长度是0时,返回True
  -----------------------------------------
  (2)整数操作符具有和字符操作符类似的功能.只是他们的操作是针对整数
  test表达式   |    含义
  ---------------------------------------------
  Int1 -eq int2|当int1等于int2时,返回True
  Int1 -ge int2|当int1大于/等于int2时,返回True
  Int1 -le int2|当int1小于/等于int2时,返回True
  Int1 -gt int2|当int1大于int2时,返回True
  Int1 -ne int2|当int1不等于int2时,返回True
  -----------------------------------------
  (3)用于文件操作的操作符,他们能检查:文件是否存在,文件类型等
  test表达式   |    含义
  ------------------------------------------------
  -d file      |当file是一个目录时,返回 True
  -f file      |当file是一个普通文件时,返回 True
  -r file      |当file是一个刻读文件时,返回 True
  -s file      |当file文件长度大于0时,返回 True
  -w file      |当file是一个可写文件时,返回 True
  -x file      |当file是一个可执行文件时,返回 True
  ------------------------------------------------
(4)shell的逻辑操作符用于修饰/连接包含整数,字符串,文件操作符的表达式
  test表达式    |    含义
  ----------------------------------------------------------
  ! expr        |当expr的值是False时,返回True
  Expr1 -a expr2|当expr1,expr2值同为True时,返回True
  Expr1 -o expr2|当expr1,expr2的值至少有一个为True时,返回True
  -----------------------------------------------------------
注意:
tcsh shell 不使用test命令,但是tcsh中的表达式同样能承担相同的功能.tcsh
支持的表达式于C中的表达式相同.通常使用在if和while命令中.
  tcsh表达式    |    含义
  -------------------------------------------------------
  Int1 <= int2  |当int1小于/等于int2时,返回True
  Int1 >= int2  |当int1大于/等于int2时,返回True
  Int1 < int2   |当int1小于int2时,返回True
  Int1 > int2   |当int1大于int2时,返回True
  Str1 == str2  |当str1与str2相同时,返回True
  Str1 != str2  |当str1与str2不同时,返回True
  -r file       |当file是一个可读文件时,返回True
  -w file       |当file是一个可写文件时,返回True
  -x file       |当file是一个可执行文件时,返回True
  -e file       |当file存在时,返回True
  -o file       |当file文件的所有者是当前用户时,返回True
  -z file       |当file长度为0时,返回True
  -f file       |当file是一个普通文件时,返回True
  -d file       |当file是一个目录时,返回True
  Exp1 || exp2  |当exp1和exp2的值至少一个为True时,返回True
  Exp1 && exp2  |当exp1和exp2的值同为True时,