Ubuntu工作内容（九）数据流重定向

数据流重定向
你可能对重定向这个概念感到些许陌生，但你应该在前面的课程中多次见过>或>>操作了，并知道他们分别是将标准输出导向到一个文件或追加到一个文件中。
这其实就是重定向，将原本输出到标准输出的数据重定向到一个文件中，因为标准输出(/dev/stdout)本身也是一个文件
我们将命令输出导向到另一个文件自然也是没有任何问题的。


下面我们简单的回顾一下我们前面经常用到的两个重定向操作：

[root@localhost ~]# echo 'hello li123' > redirect
[root@localhost ~]# echo 'www' >> redirect
[root@localhost ~]# cat redirect
hello li123
www

当然前面没有用到<和<<操作也是没有问题的，如你理解的一样，它们的区别在于重定向的方向不一致而已，>表示是从左到右，<右到左


简单的重定向
在更多了解linux的重定向之前，我们需要先知道一些基本的东西，前面我们已经提到过linux默认提供了三个特殊设备，用于终端的显示和输出
分别为stdin(标准输入,对应于你在终端的输入)，stdout（标准输出，对应于终端的输出），stderr(标准错误输出，对应于终端的输出)。



文件描述符        设备文件      说明
    0                /dev/stdin    标准输入
    1               /dev/stdout   标准输出
    2                /dev/stderr   标准错误
文件描述符：文件描述符在形式上是一个非负整数。实际上，它是一个索引值，指向内核为每一个进程所维护的该进程打开文件的记录表。
当程序打开一个现有文件或者创建一个新文件时，内核向进程返回一个文件描述符。在程序设计中，一些涉及底层的程序编写往往会围绕着文件描述符展开。
但是文件描述符这一概念往往只适用于UNIX、Linux这样的操作系统，Windows下叫文件句柄。


我们可以这样使用这些文件描述符


# 默认使用终端的标准输入作为命令的输入和标准输出作为命令的输出

[root@localhost ~]# cat

# 将一个文件作为命令的输入，标准输出作为命令的输出

[root@localhost ~]# cat Documents/test.c\~

# 将echo命令通过管道传过来的数据作为cat命令的输入，将标准输出作为命令的输出

[root@localhost ~]# echo 'hi' | cat
hi

# 将echo命令的输出从默认的标准输出重定向到一个普通文件

[root@localhost ~]# echo 'hello li123' > redirect
[root@localhost ~]# cat redirect
hello li123

初学者这里要注意不要将管道和重定向混淆
管道：默认是连接前一个命令的输出到下一个命令的输入
重定向：通常是需要一个文件来建立两个命令的连接，你可以仔细体会一下上述第三个操作和最后两个操作的异同点。


标准错误重定向
重定向标准输出到文件，这是一个很实用的操作，另一个很实用的操作是将标准错误重定向，标准输出和标准错误都被指向伪终端的屏幕显示
所以我们经常看到的一个命令的输出通常是同时包含了标准输出和标准错误的结果的。

比如下面的操作：
# 使用cat 命令同时读取两个文件，其中一个存在，另一个不存在

[root@localhost ~]# cat a.txt ss.txt
sdfsdfsdfsdf
cat: ss.txt: No such file or directory

# 你可以看到除了正确输出了前一个文件的内容，还在末尾出现了一条错误信息

# 下面我们将输出重定向到一个文件，根据我们前面的经验，这里将在看不到任何输出了

[root@localhost ~]# cat a.txt bb.txt >dd.txt
cat: bb.txt: No such file or directory

遗憾的是，这里依然出现了那条错误信息，这正是因为如我上面说的那样，标准输出和标准错误虽然都指向终端屏幕，实际它们并不一样。
那有的时候我们就是要可以隐藏某些错误或者警告，那又该怎么做呢。这就需要用到我们前面讲的文件描述符了


# 将标准错误重定向到标准输出，再将标准输出重定向到文件，注意要将重定向到文件写到前面

[root@localhost ~]# cat a.txt bb.txt >dd.txt  2>&1
[root@localhost ~]#

# 或者只用bash提供的特殊的重定向符号"&"将标准错误和标准输出同时重定向到文件

[root@localhost ~]# cat a.txt bb.txt &>dd.txt

注意你应该在输出重定向文件描述符前加上&,否则shell会当做重定向到一个文件名为1的文件中


使用tee命令同时重定向到多个文件
经常你可能还有这样的需求，除了将需要将输出重定向到文件之外也需要将信息打印在终端，那么你可以使用tee命令来实现

[root@localhost ~]# echo 'hello li123' | tee hello
hello li123

永久重定向
你应该可以看出我们前面的重定向操作都只是临时性的，即只对当前命令有效，那如何做到“永久”有效呢，比如在一个脚本中
你需要某一部分的命令的输出全部进行重定向，难道要让你在每个命令上面加上临时重定向的操作嘛，当然不需要
我们可以使用exec命令实现“永久”重定向。
exec命令的作用是使用指定的命令替换当前的shell，及使用一个进程替换当前进程，或者指定新的重定向


# 先开启一个子shell
$ zsh
# 使用exec替换当前进程的重定向，将标准输出重定向到一个文件
$ exec 1>somefile
# 后面你执行的命令都输出到将被重定向到文件中,直到你退出当前子shell，或取消exec的重定向
$ ls
$ exit
$ cat somefile




创建输出文件描述符
默认在shell中可以有9个打开的文件描述符，上面我们使用的也是它默认提供的0,1,2号文件描述符
另外我们还可以使用3-8的文件描述符，只是它们默认没有打开而已，你可以使用下面命令查看当前shell进程中打开的文件描述符

[root@localhost ~]# cd /dev/fd/;ls -Al
total 0
lrwx------. 1 root root 64 Feb  9 11:58 0 -> /dev/pts/0
lrwx------. 1 root root 64 Feb  9 11:58 1 -> /dev/pts/0
lrwx------. 1 root root 64 Feb  9 11:58 2 -> /dev/pts/0
lrwx------. 1 root root 64 Feb  9 15:36 255 -> /dev/pts/0

同样使用exec命令可以创建新的文件描述符


$ zsh
$ exec 3>somefile
# 先进入目录，再查看，否则你可能得不到正确的结果，然后再回到上一次的目录
$ cd /dev/fd/;ls -Al;cd -
$ echo "this is test" > &3
$ cat somefile
$ exit




关闭文件描述符
正如上面我们打开的3号文件描述符，可以使用如下操作将它关闭
$ exec 3>&-
$ cd /dev/fd;ls -Al;cd -



完全屏蔽命令的输出
在linux中有一个被称为“黑洞”的设备文件,所有导入它的数据都将被“吞噬”.


在类Unix系统中，/dev/null，或称空设备，是一个特殊的设备文件，它通常被用于丢弃不需要的输出流，或作为用于输入流的空文件
这些操作通常由重定向完成。读取它则会立即得到一个EOF。
我们可以利用这个/dev/null屏蔽命令的输出

[root@localhost fd]# cat a.txt ff.txt >/dev/null  2>&1

像上面这样的操作将使你得不到任何输出结果



使用xargs分割参数列表
xargs是一条Unix和类Unix操作系统的常用命令。它的作用是将参数列表转换成小块分段传递给其他命令，以避免参数列表过长的问题。
这个命令在有些时候十分有用，特别是当用来处理产生大量输出结果的命令如find,locate和grep的结果，详细用法请参看man文档


$ cut -d: -f1 < /etc/passwd | sort | xargs echo
上面这个命令用于将/etc/passwd文件安:分割取第一个字段排序后，使用echo命令生成一个列表