paramiko和select的实验

最近看了点paramiko 的一段代码，本来想把这段代码用select 改下的。所以做了以下实验
原始代码如下：我本来想把那两段recv(512) 然后判断长度的代码改成用select 实现。

ssh = paramiko.SSHClient()
ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy())
ssh.connect('127.0.0.1',username='root',password='passw0rd')

output=""
err_str=""

cli_channel=ssh.get_transport().open_channel('session')
cli_channel.settimeout(600)
#default timeout 3600 seconds
cli_channel.exec_command("/usr/bin/cp /root/names.txt /tmp/names.txt.before")
#cli_channel.exec_command("/usr/bin/cp /root/names.txt /tmp/names.txt.before; echo good bye; sleep 1; ls -al /dev; grep -Ev '^[[:space:]]*#' /usr/local/src/py/network/paramiko_2.py")
try:
    out=cli_channel.recv(512)
    while len(out) > 0:
        output+=out.decode()
        out=cli_channel.recv(512)

    out=cli_channel.recv_stderr(512)
    while len(out) > 0:
        err_str+=out.decode()
        out=cli_channel.recv_stderr(512)

except socket.timeout:
    print("Operation time out. Ouput might not be complete.")
rc=cli_channel.recv_exit_status()
print(rc)
print(output)
print(err_str)
print ("Command done, closing SSH connection")
ssh.close()

其实最tricky的地方就在于我用的这两段shell。 
/usr/bin/cp /root/names.txt /tmp/names.txt.before： 这一段cp的路径应该是/bin/cp，应该报ret code 127,  bash: /usr/bin/cp: No such file or directory
/usr/bin/cp /root/names.txt /tmp/names.txt.before; echo good bye; sleep 1; ls -al /dev; grep -Ev '^[[:space:]]*#' /usr/local/src/py/network/paramiko_2.py： 
这个更加复杂，执行了第一个命令报错，但是因为冒号";", return code会被丢弃，继续向后面执行，最后还有个 grep -Ev 这里面我并不知道会不会出现特殊字符替换什么的。但是我发现上述代码执行的没有问题。

改写的第一个select 版本。

ssh = paramiko.SSHClient()
ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy())
ssh.connect('127.0.0.1',username='root',password='passw0rd')

output=""
err_str=""

cli_channel=ssh.get_transport().open_channel('session')
cli_channel.settimeout(3600)
stdout = cli_channel.exec_command("/usr/bin/cp /root/names.txt /tmp/names.txt.before")

#output=cli_channel.recv(512).decode()
#err_str=cli_channel.recv_stderr(512).decode()
try:
    while not cli_channel.exit_status_ready():
        rl, wl, xl = select.select([cli_channel], [], [], 0.0)
        if len(rl) > 0:
            output+=cli_channel.recv(512).decode()
            err_str+=cli_channel.recv_stderr(512).decode()
except socket.timeout:
    print("Operation time out. Ouput might not be complete.")

rc=cli_channel.recv_exit_status()
print(rc)
print(output)
print(err_str)

print ("Command done, closing SSH connection")
ssh.close()

请注意我注释掉掉的两行： 当这两行被注释掉时运行的结果让我大跌眼镜。return code没有问题，但是stderr 哪里去了？ 有时候有，有时候没有。只有这两行都在的情况下，才能正确的打印出stderr.
当然这是因为我是在对loopback 做ssh的操作，实际上很少有人这么干吧。

root@kali:/usr/local/src/py/network# ./paramiko_2_exp1.py
127

bash: /usr/bin/cp: No such file or directory

Command done, closing SSH connection
root@kali:/usr/local/src/py/network# ./paramiko_2_exp1.py
127


Command done, closing SSH connection

下面是稍微修改下的版本。

ssh = paramiko.SSHClient()
ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy())
ssh.connect('127.0.0.1',username='root',password='passw0rd')

output=""
err_str=""

cli_channel=ssh.get_transport().open_channel('session')
cli_channel.settimeout(3600)
#stdout = cli_channel.exec_command("/usr/bin/cp /root/names.txt /tmp/names.txt.before")
cli_channel.exec_command("/usr/bin/cp /root/names.txt /tmp/names.txt.before; echo yes; sleep 1; echo good bye; sleep 1; ls -al /dev")

output=cli_channel.recv(512).decode()
err_str=cli_channel.recv_stderr(512).decode()
try:
    while not cli_channel.exit_status_ready():
        rl, wl, xl = select.select([cli_channel], [], [], 0.0)
        if len(rl) > 0:
            output+=cli_channel.recv(512).decode()
            err_str+=cli_channel.recv_stderr(512).decode()
except socket.timeout:
    print("Operation time out. Ouput might not be complete.")

rc=cli_channel.recv_exit_status()
print(rc)
print(output)
print(err_str)

print ("Command done, closing SSH connection")
ssh.close()

执行结果如下：你永远不知道分号这个东西";"能带来多少不确定性。而且 ls -al /dev根本没有任何输出。

root@kali:/usr/local/src/py/network# ./paramiko_2_exp2.py
0
yes
good bye

bash: /usr/bin/cp: No such file or directory

Command done, closing SSH connection
root@kali:/usr/local/src/py/network# ./paramiko_2_exp2.py
0
yes
good bye

bash: /usr/bin/cp: No such file or directory

Command done, closing SSH connection

所以这么看，我在使用channel对象的exec_command()的时候，应该一次执行一个命令，而不是尝试多个shell命令用";"连在一起执行。当然我没有尝试&& 和 || . 

最后两个还是老实一点吧： 不使用select 的例子如下

ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy())
ssh.connect('127.0.0.1',username='root',password='passw0rd')
output=""
err_str=""

cli_channel=ssh.get_transport().open_channel('session')
cli_channel.settimeout(600)


try:
    out=cli_channel.recv(512)
    while len(out) > 0:
        output+=out.decode()
        out=cli_channel.recv(512)

    out=cli_channel.recv_stderr(512)
    while len(out) > 0:
        err_str+=out.decode()
        out=cli_channel.recv_stderr(512)

except socket.timeout:
        print("Operation time out. Ouput might not be complete.")
rc=cli_channel.recv_exit_status()
print(rc)
print(output)
print(err_str)

print ("Command done, closing SSH connection")
ssh.close()

最后的一个例子，使用了select, 传入了get_pty=True

ssh = paramiko.SSHClient()
ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy())
ssh.connect('127.0.0.1',username='root',password='passw0rd')

output=""
err_str=""

#cli_channel=ssh.get_transport().open_channel('session')
#cli_channel.settimeout(3600)
#cli_channel.get_pty()
#cli_channel.invoke_shell()

stdin, stdout, stderr = ssh.exec_command("/usr/bin/cp /root/names.txt /tmp/names.txt.before",get_pty=True)
#stdin, stdout, stderr=ssh.exec_command("/usr/bin/cp /root/names.txt /tmp/names.txt.before; echo good bye; sleep 1; ls -al /dev; grep -Ev '^[[:space:]]*#' /usr/local/src/py/network/paramiko_2.py",get_pty=True)

output=stdout.channel.recv(8192).decode()
try:
    while not stdout.channel.exit_status_ready():
        rl, wl, xl = select.select([stdout.channel], [], [], 0.0)
        if len(rl) > 0:
            output+=stdout.channel.recv(8192).decode()
except socket.timeout:
    print("Operation time out. Ouput might not be complete.")

rc=stdout.channel.recv_exit_status()
print(rc)
print(output)
print(err_str)

print ("Command done, closing SSH connection")
ssh.close()

0
bash: /usr/bin/cp: No such file or directory
good bye
total 4
drwxr-xr-x 20 root root 3200 Nov 14 09:19 .
drwxr-xr-x 22 root root 4096 Oct 18 22:26 ..
crw------- 1 root root 10, 235 Nov 14 09:19 autofs
drwxr-xr-x 2 root root 140 Nov 14 17:19 block

综上我基本上有了这么几点体会：
select很难用
在对loopback 网络执行完exec_command()要去recv，否则stdout 或者stderr 可能会被遗漏。 在对外部IP执行SSH操作的时候应该不是问题。
其实第一个版本也没有看起来那么乱，而我用select 来尝试实现的时候，有时候直接用client对象的exec_command(） 方法，有时候用channel的exec_command()方法，而在client 对象的exec_command()里面加入get_ptry=True 这个参数，会让脚本的输出更像shell的输出。channel 类有类似的方法，get_pty() 和invoke_shell()方法，但是如果使用了这两个方法后，我觉得就不应该再调用channel的exec_command()方法了。
使用paramiko 最好命令不要组合，分号意味着shell输入了多个命令，只是前面命令的return code 被遗弃了。 只有最后一个命令的return code 被返回。
这里会不会让你想起 bash的pipefail 特性。
使用管道连接命令是将整个命令作为一个整体返回最后一个命令的返回值，set -o pipefail 则会使管道命令失败会返回失败命令的值。