scp从多台机器上批量下载文件到本机

对于运维来说，同时管理多台机器是很辛苦的事情，特别是CDN运维需要把1000台机器上的日志下载到一台机器上，靠人工一个个下载非常费劲，为此我写了一个从多台机器批量下载到本机的小程序。

下载完后把文件放到自动按照ip生成的目录。

其中用到了expect:

  Expect在这个程序里就是用来帮助自动输入scp的密码,Expect主要用于把需要人工交互的程序变为程序自动化完成，这个对于运维批量部署系统,批量无人值守安装，批量执行命令，批量上传下载

　现代的Shell对程序提供了最小限度的控制(开始，停止，等等)，而把交互的特性留给了用户。 这意味着有些程序，你不能非交互的运行，比如说passwd。 有一些程序可以非交互的运行，但在很大程度上丧失了灵活性，比如说fsck。这表明Unix的工具构造逻辑开始出现问题。Expect恰恰填补了其中的一些裂痕，解决了在Unix环境中长期存在着的一些问题。

　　Expect使用Tcl作为语言核心。不仅如此，不管程序是交互和还是非交互的，Expect都能运用。

1.multi_scp_download.sh的源代码

#用来通过scp批量下载目标机器文件或者目录到指定目录

#下载完毕后分别把文件在指定目录下按照ssh_host的ip生成目录里

#例如：/root/download/1.1.1.1/a.txt /root/download/2.2.2.2/a.txt

#配置文件格式：

#ssh_hosts=("1.1.1.1" "2.2.2.2")

#ssh_ports=("22" "22")

#ssh_users=("root" "root")

#ssh_passwords=("23" "322")

#执行：sh multi_scp_download.sh conf_file_path target local_dir



if [ -z "$3" ]

then

echo "sh multi_scp_download.sh conf_file_path target local_dir";

exit;

fi



#upload shell script file path

scp_upload=scp_upload.sh



#configure file path

conf_file=$1



#remote host'target file or dir path

scp_target=$2



#then local file path or dir path

scp_local_dir=$3



#判断conf_file配置文件是存在

if [ ! -e "$conf_file" ]

then

echo "$conf_file is not exists";

exit;

fi



if [ ! -d "$scp_local_dir" ]

then

echo "$scp_local_dir is not exists and must be a dir";

exit;

fi



#read configure file

source $conf_file



for((i=0;i<${#ssh_hosts[@]};i++))

do

#remote ssh host

ssh_host=${ssh_hosts[$i]};



if [ "$ssh_host" != "" ]

then

#remote ssh port

ssh_port=${ssh_ports[$i]};

#remote ssh user

ssh_user=${ssh_users[$i]};

#remote ssh password

ssh_password=${ssh_passwords[$i]};



scp_local_dir_host=$scp_local_dir/$ssh_host/

mkdir -p $scp_local_dir_host



echo "["`date +"%F %T"`"] (scp -r $ssh_user@$ssh_host:$ssh_port:$scp_target $scp_local_dir_host) start"

#scp file or dir

/usr/bin/expect scp_download.sh "$ssh_host" "$ssh_port" "$ssh_user" "$ssh_password" "$scp_target" "$scp_local_dir_host"

echo "["`date +"%F %T"`"] (scp -r $ssh_user@$ssh_host:$ssh_port:$scp_target $scp_local_dir_host) end"

echo ""

else

echo "ssh_host[$i]=null"

fi

done

2.scp_download.sh的源代码

#!/usr/bin/expect

#host

set scphost "[lindex $argv 0]"

#ssh端口

set port "[lindex $argv 1]"

#ssh用户名

set scpuser "[lindex $argv 2]"

#ssh密码

set scppw "[lindex $argv 3]"

#要在远程机器上的要下载到本地的文件名或者目录

set target "[lindex $argv 4]"



#要下载的文件名或者目录

set file "[lindex $argv 5]"



spawn scp -r -P $port $scpuser@$scphost:$target $file

#设置超时时间，防止远程机器防火墙没有开，而挂起

set timeout 30

expect {

#respose: "root@1.2.3.4's password:",自动输入密码

"*password*" {

set timeout 30

send "$scppw\r"

}

#the first connect will respose "Are you sure you want to continue connecting (yes/no)? yes"

"*yes*" {

set timeout 30

send "yes\r"

set timeout 30

expect "*password*"

set timeout 30

send "$scppw\r"

}

busy {send_user "\n";exit;}

failed {send_user "\n";exit;}

timeout {send_user "\n";exit;}

}

#Permission denied not try again,回报出错信息

expect {

"*denied*" {

send_user "\n"

exit

}

"*No such file*" {

send_user "\n"

exit

}

busy {send_user "\n";exit;}

failed {send_user "\n";exit;}

timeout {send_user "\n";exit;}

}

exit

3.配置文件格式scp.conf

ssh_hosts=("1.1.1.1" "2.2.2.2")
ssh_ports=("22" "22")
ssh_users=("root" "root")
ssh_passwords=(’abc' 'efg')

4.运行代码

找一台机器可以和要上传的机器联通，安装好expact

把scp_download.sh,multi_download.sh,scp.conf放到同一个目录下，运行multi_scp_download.sh即可

5.运行效果

《scp批量上传文件到多台机器上》：

http://blog.chinaunix.net/space.php?uid=11121450&do=blog&id=285727

 

大家多多支持，下周我会再发《scp批量在多台机器上执行命令》