Chinaunix首页 | 论坛 | 博客

feiyangpkit.blog.chinaunix.net

首页　| 　博文目录　| 　关于我

pk-feiyang

  • 博客访问： 931366
  • 博文数量： 245
  • 博客积分： 11429
  • 博客等级： 上将
  • 技术积分： 2662
  • 用 户 组： 普通用户
  • 注册时间： 2009-08-15 00:16
文章分类

全部博文（245）

文章存档

2011年（56）

2010年（174）

2009年（15）

我的朋友
最近访客
推荐博文
相关博文
一个简单的防爬虫脚本 【收藏】

分类： LINUX

2011-04-08 16:05:27

1.检测user-agent
2.设定一个阀值，如果超过这个访问阀值，就进入灰名单，某个时间段联系两次进入灰名单，就干掉这个ip
3.检测开发提供的特殊连点，查过阀值并访问特殊连点，也限制它。
4.判断reffer，如果为空的链接记录数大于整体访问的某个阀值，也限制该IP
  1. #!/bin/bash

  3. PATH="/var/PROGRAM/MANAGEMENT/modules/xbash:/bin:/sbin:/usr/bin:/usr/sbin:/usr/local/bin:/usr/local/sbin:"
  4. LANG=zh_CN
  5. export PATH LANG
  6. PATTERN_MIN=30
  7. PORT=8080 #暂时不需要
  8. MROOT="/data/resin-pro-3.1.6"
  9. ACCESS_LOG=$MROOT"/logs/access.log"
  10. IPTABLE="/tmp/.iptablestore"
  11. LIMITIPLOG=$MROOT"/logs/limitIP.log"
  12. CRITICAL=30 #系统并发数的阀值 当系统的连接数超过该值才运行脚本
  13. PY_ACCESS="/var/PROGRAM/MANAGEMENT/modules/xbash/access.py"
  14. SORT_D="/tmp/.sortd" #临时放置排序的选出来的段
  15. SORT_S="/tmp/.sorts" #临时放置排序的选出来的IP

  17. cd $MROOT

  19. now_time_hour=$(date +%H)
  20. now_time_min=$(date +%M)

  22. case $now_time_hour in
  23.   01|02|03|04|05|06|07|08|09)
  24.   now_time_hour=`echo $now_time_hour |  awk ' BEGIN { FS="0"} {print $2}'`
  25.   ;;
  26.   00)
  27.   now_time_min=0
  28.   ;;
  29. esac

  31. case $now_time_min in
  32.   01|02|03|04|05|06|07|08|09)
  33.   now_time_min=`echo $now_time_min |  awk ' BEGIN { FS="0"} {print $2}'`
  34.   ;;
  35.   00)
  36.   now_time_min=0
  37.   ;;
  38. esac

  40. now_year=$(date +%Y)
  41. now_month=$(date +%m)
  42. now_day=$(date +%d)


  45. if [[ $now_time_min -ge 0 && $now_time_min -le 20 && $now_time_hour -eq 8 && -e $IPTABLE ]] ; then
  46.   
  47.      
  48.    mv $MROOT/logs/limitIP.log $MROOT/logs/limitIP.log.$now_year$now_month$now_day
  49.    if [[ "$now_day" == "15" ]] ; then
  50.   
  51.        tar -cvf $MROOT/logs/limitIP.log.tar $MROOT/logs/limitIP.log.[0-9][0-9]*
  52.        rm  -f $MROOT/logs/limitIP.log.[0-9][0-9]*
  53.    fi
  54.    echo "@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@" >> $LIMITIPLOG
  55.    echo "复制iptables" >> $LIMITIPLOG
  56.     iptables-restore < $IPTABLE
  57.   echo "@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@" >> $LIMITIPLOG
  58.   rm -f $IPTABLE
  59.   exit
  60. fi


  63. if [[ $now_time_min -ge 0  && $now_time_min -le 50 && $now_time_hour -eq 2 ]] ; then
  64.   iptables-save > $IPTABLE
  65.   echo "@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@" >> $LIMITIPLOG
  66.   echo "已备份iptables" >> $LIMITIPLOG
  67.   echo "@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@" >> $LIMITIPLOG
  68.   iptables -F
  69.   exit
  70. fi
  71. connect=$(netstat -st | awk '/connections established/{print $1}')

  73. [[ $connect -lt $CRITICAL ]] && exit  #如果连接数少于阀值就退出

  75. BLACK=/tmp/.black #存储符合黑名单的IP和IP段
  76. GRAY=/tmp/.gray  #灰名单
  77. LIST=/tmp/.list  #存储符合相应条件的日志信息
  78. LISTT=/tmp/.listt #临时存储变量，存储不是ip段的IP
  79. LOGPID=/tmp/.sclogpid #存储灰名单的版本
  80. BFB=100 #百分比的分母
  81. FZ=2    #百分比的分子
  82. TOTALLINE=15000 #选取的总数
  83. #临时存放灰名单的IP
  84. patternGrayIP=""


  87. pattern_year=$(date +%Y)
  88. pattern_hour=$(date +%k)
  89. now_patter_hour=0
  90. min=`echo $PATTERN_MIN | awk ' BEGIN { FS="0"} {print $1}'`
  91. i=0
  92. head_min=`date +%M | awk '{print substr($1,1,1)}'`
  93. real_min=$head_min
  94. pattern_tap=0
  95. while [ $i -lt $min ]
  96. do
  97.    if [[ real_min -eq 0 ]] ; then
  98.    
  99.       if [[ "$pattern_hour" == " 0" ]] ; then
  100.       
  101.        pattern_hour=24
  102.       fi
  103.       pattern_hour=$(($pattern_hour-1))
  104.       head_min=6
  105.       pattern_tap=1
  106.    fi

  108.     if [[ $pattern_tap -eq 0 ]] ; then
  109.       
  110.        real_min=$(($head_min-$i-1))
  111.      else
  112.        real_min=$(($head_min+$i-$min))   
  113.     fi   

  115.      case $pattern_hour in
  116.         " 0"|" 1"|" 2"|" 3"|" 4"|" 5"|" 6"|" 7"|" 8"|" 9")
  117.         now_pattern_hour=`echo $pattern_hour | awk '{print substr($1,1,1)}'`
  118.         now_pattern_hour="0$now_pattern_hour"
  119.         ;;
  120.         0|1|2|3|4|5|6|7|8|9)
  121.         now_pattern_hour="0$pattern_hour"
  122.         ;;
  123.         *)
  124.         now_pattern_hour="$pattern_hour"
  125.         ;;
  126.         esac  
  127.     if [[ $i -lt $(($min-1)) ]] ; then
  128.       pattern_min="$pattern_min$pattern_year:$now_pattern_hour:$real_min|"
  129.      else
  130.       pattern_min="$pattern_min$pattern_year:$now_pattern_hour:$real_min"
  131.     fi
  132.     i=$(($i+1))  
  133. done

  135. time_pattern="$pattern_min"


  138. ############
  139. # 主机信息 #
  140. ############
  141. INTF=$(netstat -rn | tail -1 | awk '{print $NF}')
  142. IP=$(ifconfig $INTF | awk '/inet addr/{ split($2,tmp,":") ; print tmp[2] }')
  143. HOST_NAME=$(hostname --short)
  144. ###########
  145. ##########
  146. # 邮件环境#
  147. ##########
  148. #CHARTSET="zh_CN."
  149. MAIL_CLIENT=""
  150. MAIL_SENDER=""
  151. MAIL_SERVER=""
  152. case $IP in
  153.         192.168.230.*|192.168.1[0-1].*|192.168.238.*|202.*)
  154.         MAIL_SERVER=""
  155.         ;;
  156.         *)
  157.         MAIL_SERVER=""
  158.         ;;
  159. esac
  160. ##########
  161. LINECOUNT=0

  163. rm -f $LIST
  164. rm -f $LISTT

  166. testline=`wc -l $ACCESS_LOG | awk '{print $1}'`

  168. #### 以下是有时间匹配的样本数据的获取
  169. #tail -$TOTALLINE $ACCESS_LOG | grep -E "$time_pattern" > $LIST
  170. grep -E "$time_pattern" $ACCESS_LOG > $LIST
  171. TOTALLINE=`wc -l $LIST | awk '{print $1}'`
  172. if [[ -e $LIST ]]  ; then
  173. patternLINE=`wc -l $LIST | awk '{print $1}'`
  174. BFB=$(($patternLINE/$BFB))
  175. FZ=$(($FZ*$BFB))
  176. echo "##########################################################" >> $LIMITIPLOG
  177. date >> $LIMITIPLOG
  178. echo "匹配的时间模式是:"$time_pattern >> $LIMITIPLOG
  179. echo "Access_LOG的数据总数是:"$testline >> $LIMITIPLOG
  180. echo "获取的数据的总数是:"$TOTALLINE >> $LIMITIPLOG
  181. echo "阀值是:"$FZ >> $LIMITIPLOG
  182. else
  183. echo "##########################################################" >> $LIMITIPLOG
  184. date >> $LIMITIPLOG
  185. echo "-----------------------------------------------------------" >> $LIMITIPLOG
  186. echo "没有获取到样本数据" >> $LIMITIPLOG
  187. exit
  188. fi




  193. # 把agent中含有爬虫类代表的字符的先清除到黑名单中
  194. cat $LIST | \
  195. grep -iEv "googlebot|baiduspider" |grep -E "spider|bot|Yahoo|archiver|yodaoice" | awk '{print $1}' | sort | uniq  > $BLACK


  198. #缓存通过第一个条件的log数据
  199. cat $LIST | \
  200. #选取不包含特殊字符的数据
  201. grep  -Eiv "googlebot|archiver|spider|bot|Yahoo" | \
  202. #选取例外IP之外的数据
  203. grep -Ev "192.168.*.*|xx|127.0.0.1" > $LISTT
  204. cat $LISTT > $LIST
  205. rm -f $LISTT



  209. if [[ -e $BLACK ]] ; then
  210. spiderNum=`wc -l $BLACK | awk '{print $1}'`

  212. if [[ $spiderNum -gt 0 ]] ; then
  213. echo "-------------以下IP包含Spider等特殊字符--------------" >> $LIMITIPLOG
  214. cat $BLACK >> $LIMITIPLOG
  215. limitIP_num=`wc -l $BLACK | awk '{print($1)}'`

  217. cat $BLACK | sort | uniq -c > /tmp/.tmp_black

  219.     if [[ -e /tmp/.tmp_black ]] ; then
  220.         #########发送邮件############
  221.          env MAILRC=/dev/null charset="$CHARTSET" from="$MAIL_SENDER" smtp="$MAIL_SERVER" \
  222.          nail -n -s "$HOST_NAME($IP)含有爬虫等关键字名单的IP" $MAIL_CLIENT < /tmp/.tmp_black
  223.    fi

  225. fi

  227. fi


  230. cat $LIST | \
  231. $PY_ACCESS G -gh | \
  232. awk '{if( NR>2 && $1~/[0-9]+/&&"-"!~$2 && $3!="" )  print $1,$3}' | \
  233. while read num ip
  234. do
  235.   if [[ $num -gt $FZ ]]
  236.    then
  237.        echo "$ip"  >> $GRAY
  238.    else
  239.           continue
  240.    fi

  242. done









  252. if [[ -e $GRAY ]] ; then
  253. tmp_gray_line=`wc -l $GRAY | awk '{print $1}'`
  254. if [[ $tmp_gray_line -gt 0 ]] ; then
  255.   if [[ -e $LOGPID ]] ; then
  256.    last_hour=`cat $LOGPID | awk '{print $1}'`

  258.     if (( now_time_hour - last_now > 1 ))
  259.       then
  260.       cat $GRAY | sort | uniq -c | awk '{print($1,$2)}' | \
  261.        while read num ip
  262.        do
  263.          if [[ $num -gt 1 ]]
  264.            then
  265.            echo "$ip"
  266.          fi
  267.        done > $LISTT
  268.       
  269.      if [[ -e $LISTT ]] ; then  
  270.        logcount=`wc -l $LISTT | awk '{print($1)}'`
  271.    
  272.        if [[ $logcount -gt 0 ]] ; then
  273.          #########发送邮件############
  274.          env MAILRC=/dev/null charset="$CHARTSET" from="$MAIL_SENDER" smtp="$MAIL_SERVER" \
  275.          nail -n -s "$HOST_NAME($IP)两次连续进入灰名单名单的IP" $MAIL_CLIENT < $LISTT

  277.          echo "-------------以下字符是两次连续进入灰名单的------" >> $LIMITIPLOG
  278.          cat $LISTT >> $LIMITIPLOG
  279.          cat $LISTT > $GRAY
  280.          ############封灰名单##################
  281.      cat $GRAY >> $BLACK
  282.      cat $GRAY >>  $MROOT/logs/gray.log ####暂时存放灰名单IP用于观察
  283.        fi
  284.      fi

  286.     fi   

  288.   else
  289.      echo $now_time_hour > $LOGPID
  290.   fi
  291. fi
  292. fi


  295. rm -f $LISTT

  297.      echo "检查特殊文件的存在" >> $LIMITIPLOG

  299. if [[ $# -eq 0 ]]
  300.      then
  301.            echo "没有设置特殊连点文件,跳过特殊连点检查" >> $LIMITIPLOG
  302.      else
  303.             graylinecount=`wc -l $GRAY | awk '{print $1}'`
  304.             i=0
  305.         if [[ $graylinecount -gt 1 ]] ; then
  306.             cat $GRAY | awk '{print $1}' | \
  307.             while read ip
  308.             do
  309.               if [[ "$ip" ]] ; then
  310.                      
  311.                 cat $1 | awk '{print($1)}' | \
  312.                 while read limitedUrl
  313.                   do
  314.                    tap=`cat $LIST | access.py FG -gr -h $ip | grep -E "$limitedYrl" | awk '{if( NR>2 && $1~/[0-9]+/&&"-"!~$2 && $3!="" && $1>0  )  print $3}' | wc -l | awk '{print $1}'`
  315.                    if [[ tap -gt 0 ]] ; then
  316.                       echo $ip >> $LISTT
  317.                    fi
  318.                    done
  319.                
  320.               fi
  321.             done
  322.             if [[ -e $LISTT ]] ; then
  323.                cat $LISTT | uniq -c | awk '{print($2)}' > /tmp/.gray_tsld
  324.             tsldEmailTap=`wc -l /tmp/.gray_tsld | awk '{print $1}'`
  325.          if [[ $tsldEmailTap -gt 0 ]] ; then
  326.              #########发送邮件############
  327.          env MAILRC=/dev/null charset="$CHARTSET" from="$MAIL_SENDER" smtp="$MAIL_SERVER" \
  328.          nail -n -s "$HOST_NAME ($IP)爬虫检查过程中在灰名单发现有特殊连接的IP" $MAIL_CLIENT < /tmp/.gray_tsld
  329.             echo "----------------爬虫检查过程中在灰名单发现有特殊连接的IP-------------------" >> $LIMITIPLOG
  330.             cat /tmp/.gray_tsld >> $LIMITIPLOG
  331.             rm -f /tmp/.gray_tsld
  332.           fi
  333.          fi
  334.          fi

  336. fi


  339. rm -f $LISTT
  340. rm -f $LIST
  341. cat $BLACK | awk ' BEGIN { FS="."} {printf "%d.%d.%d\n",$1,$2,$3}' | uniq -c | \
  342. awk '{print($1,$2)}' | \
  343. while read num ip
  344. do
  345.   if [[ $num -gt 1 ]]
  346.   then
  347.     echo "$ip"
  348.     LINECOUNT=$(($LINECOUNT+$num))
  349.   else
  350.     LINECOUNT=$(($LINECOUNT+$num))
  351.     head -n "$LINECOUNT" $BLACK | tail -1 >> $LIST
  352.   fi
  353. done > $LISTT



  357. if [[ -e $LIST ]] ; then
  358. cat $LIST | awk '{print($1)}' | \
  359. # 封锁判断为异常的ip
  360. while read ip
  361. do
  362.     continuetap=`iptables -nL | grep $ip | wc -l | awk '{print $1}'`
  363.     if [[ $continuetap -gt 0 ]] ; then
  364.        continue
  365.     fi
  366.         diptap=`echo $ip | awk '{print($1".0/24")}'`
  367.         dtap=`iptables -nL | grep $diptap | wc -l | awk '{print $1}'`
  368.         if [[ dtap -gt 0 ]] ; then
  369.           continue
  370.         fi
  371.      #iptables -A INPUT -s $ip -p tcp --dport $PORT -j REJECT --reject-with tcp-reset
  372.      iptables -A INPUT -s $ip -p tcp -j DROP
  373. done
  374. fi


  377. # 封锁异常ip段

  379. if [[ -e $LISTT ]]  ; then
  380. cat $LISTT | awk '{print($1".0/24\n")}'  | \
  381. while read ip
  382. do
  383.     if [[ "$ip" ]] ; then

  385.        continuetap=`iptables -nL | grep $ip | wc -l | awk '{print $1}'`
  386.        if [[ $continuetap -gt 0 ]] ; then
  387.        continue
  388.        fi
  389.       #iptables -A INPUT -s $ip -p tcp --dport $PORT  -j REJECT --reject-with tcp-reset
  390.       iptables -A INPUT -s $ip -p tcp -j DROP
  391.     fi
  392. done
  393. fi




  398. if [[ $now_time_hour -eq 12 ]] ; then



  402.   ############排序iptables表###################
  403.   #选出超过数量1从而作为网段处理
  404.   iptables -nL | awk '/DROP/{print $4}' | awk -F"." '{print $1"."$2"."$3}' | sort | uniq -c | awk '{if($1>1) print $2}' > $SORT_D
  405.   iptables -nL | awk '/DROP/{print $4}'  | \
  406.   while read ip
  407.   do
  408.       ltmp=`echo $ip | awk -F"." '{print $1"."$2"."$3}'`
  409.      if  cat $SORT_D | grep -q "$ltmp"
  410.        then
  411.        echo $ip > /dev/null
  412.      else
  413.        echo $ip >> $SORT_S
  414.      fi
  415.   done

  417. iptables -F

  419. if [[ -e $SORT_S ]] ; then
  420.   cat $SORT_S | awk '{print($1)}' | \
  421.   # 封锁判断为异常的ip
  422. while read ip
  423. do
  424.      #iptables -A INPUT -s $ip -p tcp --dport $PORT -j REJECT --reject-with tcp-reset
  425.      iptables -A INPUT -s $ip -p tcp -j DROP
  426. done
  427. fi


  430. # 封锁异常ip段

  432. if [[ -e $SORT_D ]]  ; then
  433.    cat $SORT_D | awk '{print($1".0/24")}'  | \
  434. while read ip
  435. do
  436.       #iptables -A INPUT -s $ip -p tcp --dport $PORT  -j REJECT --reject-with tcp-reset
  437.       iptables -A INPUT -s $ip -p tcp -j DROP
  438. done
  439. fi


  442. rm -f $SORT_D
  443. rm -f $SORT_S

  445. fi
阅读(898) | 评论(0) | 转发(0) |
0

上一篇：学习系统管理员常用工具之---系统运行迟缓[收藏]

下一篇：清明节放假，回家照了些照片，以防搬迁不能再看到了

给主人留下些什么吧！~~
关于我们 | 关于IT168 | 联系方式 | 广告合作 | 法律声明 | 免费注册

Copyright 2001-2010 ChinaUnix.net All Rights Reserved 北京皓辰网域网络信息技术有限公司. 版权所有

感谢所有关心和支持过ChinaUnix的朋友们

16024965号-6