openssh 妙用之远程执行命令---自动下载apache日志文件

应用，一切都是应用！

本文介绍了2个点:一个是利用ssh直接登陆别的机器（不需要密码了），另外一个就是配置apache每隔一段时间自动切换日志文件。这一切通过一个autosftp.sh.v2的脚本这个实例来介绍。

openssh 妙用之远程执行命令---自动下载apache日志文件

一. 前期准备

目标： 需要把多台机器上的apache日志自动下载到本地进行分析

背景:
    1. web主机共有3台，分别为web1 web2 web3 均为solaris系统
    2. 本地机器traffic为linux 7.3
    3. 整个过程需要自动执行不需要人工干预
    4. 考虑采用安全的ssh协议来传输日志文件
   
思路:
    1. 配置traffic和web主机之间ssh工具可以直接登陆
    2. 配置web主机上的apache每天自动切换日志，不再往前一天日志写入。
    3. traffic上执行脚本自动压缩web主机上的日志文件，然后下载到本地
    4. traffic执行本地命令解压缩下载下来的日志文件
   
二. 实施过程

    1. 配置traffic和web主机之间ssh工具可以直接登陆
   
       1.1 编辑traffic的hosts文件增加web主机条目
      
           ......
           203.81.*.*            web1
           203.81.*.*            web2
           203.81.*.*            web3
       1.2 生成ssh客户密匙

           #ssh-keygen -t rsa

           屏幕显示（为生成公匙密匙文件和等，全部回车即可）
           Generating public/private rsa key pair.
           Enter file in which to save the key (/root/.ssh/id_rsa):  

           Enter passphrase (empty for no passphrase):
           Enter same passphrase again:
           Your identification has been saved in /root/.ssh/id_rsa.
           Your public key has been saved in /root/.ssh/id_rsa.pub.
           The key fingerprint is:
           d1:69:34:80:56:2a:2d:df:70:2d:10:ac:63:5e:1e:1c
         
        1.3 生成后，将本地的id_rsa.pub复制到远程的./ssh目录下，更改名称为authorized_keys2

            sftp
            sftp web1
            Connecting to web1
            password: （输入密码）
            sftp>
            sftp>cd .ssh
            sftp>put id_rsa.pub  authorized_keys2
            Uploading id_rsa.pub to /.ssh/authorized_keys2
           
        1.4 测试是否成功
       
            scp web1:/usr/local/apache2/logs/hoho /root/    复制远程的hoho文件到本地的/root/.ssh目录下，无需输入密码
            hoho        100%   40KB  40.2KB/s   00:00 (屏显状态值，显示已传输完毕,文件可正常使用）
        1.5 补遗或者注解
       
            a. 第一次登陆web1，ssh会提示将web1加入自己know_hosts里面。
            b. 直接登陆验证是区别用户的，authorized_keys2文件是分用户的。
    
     2. 配置web主机的每天自动切换日志文件
    
        在配置文件中加入下面两句，如果有虚拟主机就加到虚拟主机的配置里面
       
        CustomLog "|/usr/local/apache2/bin/rotatelogs /usr/local/apache2/logs/mytestsite-access_log.%Y%m%d 86400" combined

        TransferLog "|/usr/local/apache2/bin/rotatelogs /usr/local/apache2/logs/mytestsite-access_log.%Y%m%d 86400
   
     3. traffic上自动执行的脚本
    
 #!/bin/bash
# This script is for auto download the log life of apache
# editor anwei,green
# version 2.0
# add 2 parameters GateWay & LogFile
# add more information for debug
# add The starting time & the ending of time

#  step 1 : parameters setting ,add default gateway
Dest_dir=/data/logs
Sour_dir=/usr/local/apache2/logs
LogFile=mytestsite-access_log
Host_table="web1 web2 web3"
Date=`date +%Y%m%d -d '-1 day'`
GateWay=192.168.1.1
echo Beginning:`date +'%Y/%m/%d %H:%M'`
/sbin/route add default gw $GateWay
#  step 2 : compress log file

for loop in $Host_table

  do

    ssh $loop "/usr/bin/gzip $Sour_dir/$LogFile.$Date " && echo $loop : compress apache log file complete.

  done

#  step 3 : download form web server

for loop in $Host_table

  do

    scp $loop:$Sour_dir/$LogFile.$Date.gz $Dest_dir/$loop && echo $loop : download apache log file complete.

  done

#  step 4 : uncompress log files

for  loop in $Host_table

  do

    /bin/gzip -df $Dest_dir/$loop/$LogFile.$Date.gz
    /bin/cat   $Dest_dir/$loop/$LogFile.$Date > $Dest_dir/$loop/$LogFile && echo $loop : log files Ready now.

  done

/sbin/route delete default gw $GateWay
echo End:`date +'%Y/%m/%d %H:%M'`
      
     4. traffic上面部署cron任务自动执行
    
        15 8 * * * /tools/autosftp.sh.v2 >> /tools/sftp.log 2>&1
       
       
     5. 每天可以通过检查sftp.log的内容查看脚本的执行情况
    
        实际运行一周以来，全部顺利执行结束，下面是sftp.log的片断
       
Beginning:2005/11/06 08:15
web1 : compress apache log file complete.
web2 : compress apache log file complete.
web3 : compress apache log file complete.
web1 : download apache log file complete.
web2 : download apache log file complete.
web3 : download apache log file complete.
web1 : log files Ready now.
web2 : log files Ready now.
web3 : log files Ready now.
End:2005/11/06 08:46