Chinaunix首页 | 论坛 | 博客
  • 博客访问: 4166385
  • 博文数量: 291
  • 博客积分: 8003
  • 博客等级: 大校
  • 技术积分: 4275
  • 用 户 组: 普通用户
  • 注册时间: 2010-10-30 18:28
文章分类

全部博文(291)

文章存档

2017年(1)

2013年(47)

2012年(115)

2011年(121)

2010年(7)

分类: LINUX

2011-05-18 12:29:13

对之前的版本进行升级,增加支持密码从命令行输入方式,增加提示那些机器上传成功或者失败提示

对于运维来说,同时管理多台机器是很辛苦的事情,特别是CDN运维需要把1000台机器上的日志下载到一台机器上,靠人工一个个下载非常费劲,为此我写了一个从多台机器批量下载到本机的小程序。

下载完后把文件放到自动按照ip生成的目录。

其中用到了expect:

  Expect在这个程序里就是用来帮助自动输入scp的密码,Expect主要用于把需要人工交互的程序变为程序自动化完成,这个对于运维批量部署系统,批量无人值守安装,批量执行命令,批量上传下载
 现代的Shell对程序提供了最小限度的控制(开始,停止,等等),而把交互的特性留给了用户。 这意味着有些程序,你不能非交互的运行,比如说passwd。 有一些程序可以非交互的运行,但在很大程度上丧失了灵活性,比如说fsck。这表明Unix的工具构造逻辑开始出现问题。Expect恰恰填补了其中的一些裂痕,解决了在Unix环境中长期存在着的一些问题。

  Expect使用Tcl作为语言核心。不仅如此,不管程序是交互和还是非交互的,Expect都能运用。

1.multi_scp_download.sh的源代码
  1. #!/bin/bash
    #author: yifangyou
    #create time:2011-05-17
  2. #用来通过scp批量下载目标机器文件或者目录到指定目录
  3. #下载完毕后分别把文件在指定目录下按照ssh_host的ip生成目录里
  4. #例如:/root/download/1.1.1.1/a.txt /root/download/2.2.2.2/a.txt
  5. #配置文件格式:
  6. #ssh_hosts=("1.1.1.1" "2.2.2.2")
  7. #ssh_ports=("22" "22") 这个可以缺省,缺省值为22,或者个数比ssh_hosts少时,使用缺省值
  8. #ssh_users=("root" "root") 这个可以缺省,缺省值为root,,或者个数比ssh_hosts少时,使用缺省值
  9. #ssh_passwords=("323" "222") 这个可以缺省,缺省的话需要从命令行输入,或者个数比ssh_hosts少时,使用命令行输入
  10. #执行:sh multi_scp_download.sh conf_file_path target local_dir
  11. if [ -z "$3" ]
  12. then
  13. echo "sh multi_scp_download.sh conf_file_path target local_dir";
  14. exit;
  15. fi
  16. default_ssh_user="root"
  17. default_ssh_port="22";
  18. #upload shell script file path
  19. scp_upload=scp_upload.sh
  20. #configure file path
  21. conf_file=$1
  22. #remote host'target file or dir path
  23. scp_target=$2
  24. #then local file path or dir path
  25. scp_local_dir=$3
  26. #判断conf_file配置文件是存在
  27. if [ ! -e "$conf_file" ]
  28. then
  29. echo "$conf_file is not exists";
  30. exit;
  31. fi
  32. if [ ! -d "$scp_local_dir" ]
  33. then
  34. echo "$scp_local_dir is not exists and must be a dir";
  35. exit;
  36. fi
  37. #read configure file
  38. source $conf_file
  39. #若是没有在配置文件里提供密码,则在命令行输入
  40. if [ "${#ssh_passwords[@]}" = "0" ] || [ "${#ssh_passwords[@]}" -lt "${#ssh_hosts[@]}" ]
  41. then
  42. read -p "please input password:" -s default_ssh_password
  43. fi
  44. for((i=0;i<${#ssh_hosts[@]};i++))
  45. do
  46. #remote ssh host
  47. ssh_host=${ssh_hosts[$i]};
  48. if [ "$ssh_host" != "" ]
  49. then
  50. #remote ssh port
  51. ssh_port=${ssh_ports[$i]};
  52. if [ "$ssh_port" = "" ]
  53. then
  54. ssh_port=$default_ssh_port; #use default value
  55. fi
  56. #remote ssh user
  57. ssh_user=${ssh_users[$i]};
  58. if [ "$ssh_user" = "" ]
  59. then
  60. ssh_user=$default_ssh_user; #use default value
  61. fi
  62. #remote ssh password
  63. ssh_password=${ssh_passwords[$i]};
  64. if [ "$ssh_password" = "" ]
  65. then
  66. ssh_password=$default_ssh_password; #use default value
  67. fi
  68. scp_local_dir_host=$scp_local_dir/$ssh_host/
  69. mkdir -p $scp_local_dir_host
  70. echo "["`date +"%F %T"`"] (scp -r $ssh_user@$ssh_host:$ssh_port:$scp_target $scp_local_dir_host) start"
  71. #scp file or dir
  72. /usr/bin/expect scp_download.sh "$ssh_host" "$ssh_port" "$ssh_user" "$ssh_password" "$scp_target" "$scp_local_dir_host"
  73. echo "["`date +"%F %T"`"] (scp -r $ssh_user@$ssh_host:$ssh_port:$scp_target $scp_local_dir_host) end"
  74. echo ""
  75. else
  76. echo "ssh_host[$i]=null"
  77. fi
  78. done
2.scp_download.sh的源代码
  1. #!/usr/bin/expect
  2. #author: yifangyou
  3. #create time:2011-05-17
  4. #host
  5. set scphost "[lindex $argv 0]"
  6. #ssh端口
  7. set port "[lindex $argv 1]"
  8. #ssh用户名
  9. set scpuser "[lindex $argv 2]"
  10. #ssh密码
  11. set scppw "[lindex $argv 3]"
  12. #要在远程机器上的要下载到本地的文件名或者目录
  13. set target "[lindex $argv 4]"
  14. #要下载的文件名或者目录
  15. set file "[lindex $argv 5]"
  16. spawn scp -r -P $port $scpuser@$scphost:$target $file
  17. #设置超时时间,防止远程机器防火墙没有开,而挂起
  18. set timeout 30
  19. expect {
  20. #respose: "root@1.2.3.4's password:",自动输入密码
  21. "*password*" {
  22. set timeout 30
  23. send "$scppw\r"
  24. }
  25. #the first connect will respose "Are you sure you want to continue connecting (yes/no)? yes"
  26. "*yes*" {
  27. set timeout 30
  28. send "yes\r"
  29. set timeout 30
  30. expect "*password*"
  31. set timeout 30
  32. send "$scppw\r"
  33. }
  34. busy {send_user "\n";exit 1;}
  35. failed {send_user "\n";exit 2;}
  36. timeout {send_user "\n";exit 3;}
  37. }
  38. #Permission denied not try again,回报出错信息
  39. expect {
  40. "*denied*" {
  41. send_user "\n"
  42. exit 4
  43. }
  44. "*No such file*" {
  45. send_user "\n"
  46. exit 5
  47. }
  48. busy {send_user "\n";exit 6;}
  49. failed {send_user "\n";exit 7;}
  50. timeout {send_user "\n";exit 8;}
  51. }
  52. exit 0
3.配置文件格式scp.conf
  1. #ssh_hosts=("1.1.1.1" "2.2.2.2")
  2. #ssh_ports=("22" "22") #wheen port_num < host_num use default=22,or ssh_ports is undefined use 22 as default value
  3. #ssh_users=("root" "root") #wheen user_num < host_num use default=root,or ssh_users is undefined use root as default value
  4. #ssh_passwords=("323" "222") #wheen password_num < host_num use default=input password,or ssh_users is undefined use input password
4.运行代码
找一台机器可以和要上传的机器联通,安装好expact
把scp_download.sh,multi_download.sh,scp.conf放到同一个目录下,运行multi_scp_download.sh即可
5.运行效果

end
阅读(1862) | 评论(0) | 转发(1) |
给主人留下些什么吧!~~