linux rsyslog

WEB服务器多的时候检查日志是一件痛苦的事情，用 perl 脚本登录到服务器上grep一些错误信息两次之后就觉得是纯体力活，想办法偷懒。
准备弄一台统一的日志服务器，将登录认证，系统日志等全部发送到这台日志服务器上，可以做监控分析，也能即时获取最新日志。
系 统自带的 syslogd 能实现远程日志服务，只要在 /etc/syslogconfig/syslog 文件中 SYSLOGD_OPTIONS参数中加上 -r 选项后就可以接受远程机器发过来的日志，比较省事。就这样用了几天，发现每天的日志量都比较大，grep 日志文件也是件痛苦的事情。
于是寻找系统自带 syslog 的替代品，发现 rsyslog 和 syslog-ng 都还不错，也有很多人使用。在 这个地方的对比之后决定选择 rsyslog ，在找资料的同时发现 fedra 已经正式将rsyslog替换掉系统自带的syslog () 。
简单说我选择 rsyslog 的理由如下：
引用内容:

1. 后端存查日志支持的客户端多，当然 MySQL是我的首选。
2. 在同一台机器上支持多直rsyslogd进程，可以监听在不同端口。
3. 直接兼容系统自带的syslog.conf 配置文件。
4. 可将消息过滤后再次转发。
5. 配置文件中可以写简单的逻辑判断
    6. 有现成的前端web展示程序

当然这里面说的功能syslog-ng也都差不多有，但syslog-ng的免费版本是closed source的。
下面是安装rsyslog的简单记录
引用内容:

操作系统为 RHEL 5.2 x64
1. 安装 MySQL
a. ./configure --prefix=/usr/local/mysql  --with-charset=utf8
b. make install
2. 配置 MySQL，增加一个只写的账号和一个只读的账号，只写的账号是给rsyslog往mysql里面写日志，只读的账号是前端web页面用的
GRANT INSERT ON Syslog.* TO 'rsyslog_write'@'localhost' IDENTIFIED BY 'password_123456';
GRANT SELECT ON Syslog.* TO 'rsyslog_read'@'localhost' IDENTIFIED BY 'password_234567';
3. 安装 rsyslog
a. 上下载最新版本
b. PATH=$ PATH:/usr/local/mysql/bin  # 因为MySQL手工安装，不在环境变量中，而rsyslog的configure会从环境变量中找MySQL的lib
c. ./configure --prefix=/usr/local/rsyslog --enable-mysql  # 打开MySQL支持，将日志写到MySQL中可以在前端web上直接展示，报表
d. Make install
e. Mysql -u root -p < ./plugins/ommysql/createDB.sql      # 导入db结构
f. Cp rsyslog.conf /etc/                                                              # 默配置文件
g. ln -s /usr/local/rsyslog/sbin/rsyslogd /sbin/rsyslogd      # 这一步可用可不用
4. 配置rsyslog
a. 在/etc/rsyslog.conf最上面加上 $ ModLoad ommysql 载入mysql支持的模块
b. 去掉/etc/rsyslog.conf内以下两行前的#号，打开udp监听端口
$ ModLoad imudp.so  # provides UDP syslog reception
$ UDPServerRun 514  # start a UDP syslog server at standard port 514
c. 增加/etc/rsyslog.conf下面两行，将local7和user的日志写到mysql中
local7.*  :ommysql:127.0.0.1,Syslog,rsyslog_write,password_123456
user.*    :ommysql:127.0.0.1,Syslog,rsyslog_write,password_123456
d. 去掉链接错的日志示例
:msg, contains, "error: connect"  ~
5. 替换 syslog 为rsyslog
a. 由于rsyslog没有附带启动脚本，我做了如下修改
b. Cp /etc/init.d/syslog /etc/init.d/syslogd  #保留老的的syslog启动文件，以备要恢复时使用
c. 编辑 /etc/init.d/syslog 将里面路径有关的全改成/usr/local/rsyslog/sbin/rsyslogd 如果你上面3.g这一步做了链接，就可以只把syslog改为rsyslogd
d. 这样修改完后就是先停掉老的syslog，再启用新的rsyslog了
e. /etc/init.d/syslogd  stop;  # 停掉系统自带的
f. /etc/init.d/syslog start      # 启用新的 rsyslog
6. 修改 iptables ，增加udp54端口出入，防止被人强x
a. Iptables -A RH-Firewall-1-INPUT -s 1.2.0.0/255.255.0.0 -p udp -m udp --dport 514 -j ACCEPT
b. Iptables -A RH-Firewall-1-INPUT -s 3.4.0.0/255.255.0.0 -p udp -m udp --dport 514 -j ACCEPT
7. 安装phplogcon
a. 上下载最新版本
b. 解压到某个目录，并配置好apache的vhost，这些步骤就不写了，比较平常的操作
c. 访问 安装，填上 mysql的账号和密码就行了，其他选项都默认。
8. 配置日志客户端
a. 在web服务器上echo 'kern.*;user.*  @1.2.3.4' >> /etc/syslog.conf
b. /etc/init.d/syslog reload #重启syslogd

至此已做完所有工作，检验一下，访问 ，效果图如下

==========================================================================

==========================================================================

 

这次为了把交换机及路由器的日志文件集中放置,并方便调试,安装了rsyslog,并对其进行配置,使其可记录网络设备传来的syslog,并将之存入 Mysql数据中,以便我们集中管理,下面是具体的配置过程:

1、首先从下载并安装最新版本的 rsyslog

2、安装时很容易

（1）把源代码解压，并进入源代码树中执行：

./configure --enable-mysql

这 里要注意，你的mysql要安装正确，特别是版本，比如我的mysql版本是：5.0.22，系统是redhat,那么我就要安装有MySQL- client-standard-5.0.22-0.rhel4.i386.rpm，总之如果这一步执行出错，比如我的刚开始是提示错 误：checking for mysql_init in -lmysqlclient 在这一步有问题，后来重新安装了MySQL-client-standard-5.0.22-0.rhel4.i386.rpm就ok了

(2)依次执行：make和make install就ok

3、配置rsyslog.conf

在源代码树下有一个示例文件，把它拷贝到/etc下

（1）如果你要接受远程设备的syslog则要把以下三行的#去掉：

# UDP Syslog Server:
#$ModLoad imudp.so  # provides UDP syslog reception
#$UDPServerRun 514 # start a UDP syslog server at standard port 514

并同时在iptables中开放514端口

（2）配置rsyslog自动启动

由于rsyslog没有为redhat准备启动脚本，所以要我们自己建，其实也很简单，我直接把syslog的启动脚本改了下，把里面的syslog改为 rsyslog,如下所示:

more /etc/init.d/syslog

#!/bin/bash
#
#
# chkconfig: 2345 12 88
# description: Syslog is the facility by which many daemons use to log \
# messages to various system log files.  It is a good idea to always \
# run syslog.
### BEGIN INIT INFO
# Provides: $syslog
### END INIT INFO

# Source function library.
. /etc/init.d/functions

[ -f /usr/local/sbin/rsyslogd ] || exit 0
[ -f /sbin/klogd ] || exit 0

# Source config

RETVAL=0

start() {
        echo -n $"Starting rsyslog: "
        /usr/local/sbin/rsyslogd
        RETVAL=$?
        echo
        echo -n $"Starting kernel logger: "
        daemon klogd $KLOGD_OPTIONS
        echo
        [ $RETVAL -eq 0 ] && touch /var/lock/subsys/rsyslog
        return $RETVAL
}
stop() {
        echo -n $"Shutting down kernel logger: "
        killproc klogd
        echo
        echo -n $"Shutting down rsyslog: "
        killproc rsyslogd
        RETVAL=$?
        echo
        [ $RETVAL -eq 0 ] && rm -f /var/lock/subsys/rsyslog
        return $RETVAL
}
rhstatus() {
        status rsyslogd
        status klogd
}
restart() {
        stop
        start
}

case "$1" in
  start)
        start
        ;;
  stop)
        stop
        ;;
  status)
        rhstatus
        ;;
  restart)
        restart
        ;;
  condrestart)
        [ -f /var/lock/subsys/rsyslog ] && restart || :
        ;;
  *)
        echo $"Usage: $0 {start|stop|status|restart|condrestart}"
        exit 1
esac

exit $?

就只改了一点点，名字也没变，这样出不用ln来建链接了，都用原来的

(3)记录到mysql

如果要使用sql来记录日志则先要建表，找到rsyslog-3.20.0\plugins\ommysql下的createDB.sql文件，打开它， 把里面的建表语句在你的数据库里执行，当然你也可以自建一个新数据库，一切由你

之 后加载mysql模块，当然你一定要确认ommysql.so在lib文件夹里存在，如果你之前使用./configure --enable-mysql进行配置则会在/usr/local/lib/rsyslog下存在ommysql.so文件（操作系统不同，目录可能不一 样）,然后在rsyslog.conf文件中加上：

$ModLoad ommysql

local4.*     :ommysql:127.0.0.1,yourdb,yourname,yourpass;

注意我是local4来接受远程的syslog

在交换机上的配置：

华为的：

info-center loghost 1.1.1.1 facility local4 //local4要和rsyslog.conf 里配置的一致,1.1.1.1为你的syslog服务器地址记得要改啊
info-center loghost source Vlan-interface 11//你的网管VLAN接口，要改的
info-center source SHELL channel loghost log level notifications//我只想要操作日志，其他的不关心，如果你想要更多，请更改

思科的：

logging   1.1.1.1（配置 syslog服务器地址,可以定义多个） 
service timestamps debug datetime localtime show-timezone msec
service timestamps log datetime localtime show-timezone msec   （syslog 信息包含时间戳）
logging facility local4   （定义 facility 级别,缺省为local7,可以设置从 local0 到 local7）
logging trap warning   （定义severity 级别缺省为 infor 级别）

到这里，一切基本ok了，

到你的mysql服务器是看看：

select * from SystemEvents

应该已经记录有日志了

但这里还有个小bug，我们会发现fromhost的这个字段不对，并不是你的交换机的地址，这是rsyslog的一个bug，怎么解决？？请参考：， 而我的解决方案是自定义模板，而不能用其默认的模板了！我定义了一个模板:MySQLInsert并用它来执行sql语句，关于模板的概念，请参考这 里有详细的解释

参考我的rsyslog.conf:

# UDP Syslog Server:
$ModLoad imudp.so  # provides UDP syslog reception
$UDPServerRun 514 # start a UDP syslog server at standard port 514
# MySQL log
$ModLoad ommysql
$template MySQLInsert,"insert into SystemEvents( ReceivedAt,DeviceReportedTime,message,FromHost,syslogtag) values('%timegenerated:::
date-mysql%','%timereported:::date-mysql%','%msg%','%fromhost-ip%','%syslogtag%')", SQL

local4.*     :ommysql:127.0.0.1,syslogdatabase,syslogusername,syslogpass;MySQLInsert

注意我使用了%fromhost-ip%，而不是%HOSTNAME%

好了，基本上就这样了，以上就是我配置rsyslog的一些经过，希望对大家有帮助。

摘自：

==========================================================================

==========================================================================

 

1. rsyslogd 服务

1.1 查看当前rsyslogd服务的状态

     在Fedora 9开始，负责写入日志信息的服务是rsyslogd，它的配置文件为：/etc/rsyslog.conf。我们检测一下当前这个服务是不是在运行。

[flagonxia@airhouse etc]$ ps -ef | grep -v grep | grep rsyslog
     root      1584     1  0 10:33 ?        00:00:00 rsyslogd -c 3

      从上面命令的输出结果看到rsyslogd执行时使用的参数是-c 3。这个输入参数在文件/etc/sysconfig/rsyslog中指定。

[flagonxia@airhouse sysconfig]$ less rsyslog
      # Options to syslogd
      # syslogd options are deprecated in rsyslog v3
      # if you want to use them, switch to compatibility mode 2 by "-c 2"
      SYSLOGD_OPTIONS="-c 3"

      也可以通过另一种方式，查看当前运行级别中，rsyslogd是否运行。

[flagonxia@airhouse sysconfig]$ sudo chkconfig --list rsyslog
rsyslog         0:off   1:off   2:on    3:on    4:on    5:on    6:off

      注意，这里的服务名是rsyslog。

1.2 配置文件/etc/rsyslog.conf

1.2.1 配置文件的基本信息

      配置文件/etc/rsyslog.conf中有很多内容，但最主要的是指定需要记录哪些服务和需要记录什么等级的信息。

      下面是rsyslog.conf的内容。

      # /etc/rsyslog.conf

      ... ...

      #### RULES ####

      # Log all kernel messages to the console.
      # Logging much else clutters up the screen.
      #kern.*                                                 /dev/console

      # Log anything (except mail) of level info or higher.
      # Don't log private authentication messages!
A    *.info;mail.none;authpriv.none;cron.none                /var/log/messages

      # The authpriv file has restricted access.
      authpriv.*                                              /var/log/secure

      # Log all the mail messages in one place.
B    mail.*                                                  -/var/log/maillog

      # Log cron stuff
      cron.*                                                  /var/log/cron

      # Everybody gets emergency messages
C      *.emerg                                                 *

      # Save news errors of level crit and higher in a special file.
D    uucp,news.crit                                       /var/log/spooler

      # Save boot messages also to boot.log
      local7.*                                                /var/log/boot.log     

     【注释】

A：把所有大于info级别的信息都记录到/var/log/messages中，但不要记录mail，authpriv和cron服务产生的信息；

B：把mail产生的信息都记录到/var/log/maillog中

C：把所有服务输出的“大于”emergy级别的信息显示给每个在线的人，通过wall工具

D：把uucp和news输出的大雨crit级别的信息记录到/var/log/spooler中

1.2.2 信息的等级及其在配置文件中指定的方式

     A 七种信息等级

        1）info

        2）notice

        3）warning或warn

        4）err或error

        5）crit

        6）alert

        7）emerg或panic：导致系统几乎要死机

     B 信息等级的指定方式

        1）. xxx: 表示大于xxx级别的信息

        2）.=xxx：表示等于xxx级别的信息

        3）.!xxx：表示在xxx之外的等级的信息

2. logrotate服务

2.1 logrotate服务的启动方式

logrotate是一个日志管理程序，用来把旧的日志文件删除（备份），并创建新的日志文件，这个过程称为“转储”。我们可以根据日志的大小，或者根据其使用的天数来转储。

       logrotate的执行由crond服务实现。在/etc/cron.daily目录中，有个文件logrotate，它实际上是个shell script，用来启动logrotate。logrotate程序每天由cron在指定的时间（/etc/crontab）启动。

[flagonxia@airhouse cron.daily]$ less logrotate
#!/bin/sh

       /usr/sbin/logrotate /etc/logrotate.conf
       EXITVALUE=$?
       if [ $EXITVALUE != 0 ]; then
       /usr/bin/logger -t logrotate "ALERT exited abnormally with [$EXITVALUE]"
       fi
       exit 0

       因此，使用ps是无法查看到logrotate的。如果它没有起来，就要查看一下crond服务有没有在运行。

[flagonxia@airhouse logrotate.d]$ ps -ef | grep -v grep | grep cron
       root      1984     1  0 10:34 ?        00:00:00 crond

2.2 logrotate的配置文件/etc/logrotate.conf

在执行logrotate时，需要指定其配置文件/etc/logrotate.conf。这个文件定义了如何转储日志文件的规则。如下：

       # see "man logrotate" for details
       # rotate log files weekly
       weekly

       # keep 4 weeks worth of backlogs
       rotate 4

       # create new (empty) log files after rotating old ones
       create

       # use date as a suffix of the rotated file
       dateext

       # uncomment this if you want your log files compressed
       #compress

       # RPM packages drop log rotation information into this directory
include /etc/logrotate.d

       # no packages own wtmp and btmp -- we'll rotate them here
       /var/log/wtmp {
              monthly
              create 0664 root utmp
              rotate 1
        }

        /var/log/btmp {
              missingok
              monthly
              create 0600 root utmp
              rotate 1
         }

         # system-specific logs may be also be configured here.

      这个配置文件的注释写得很清楚，没有必要再罗嗦了。只想强调下面这行，它的作用包含存放在/etc/logrotate.d目录下面的配置文件，不可或 缺。如果你安装了一个新的服务，它的日志转储的规则可以建立一个专门的配置文件，放在/etc/logrotate.d下面。它其实也因为下面的这句话， 在logrotate服务启动时被读取。

       include /etc/logrotate.d

       这里有个例子：/etc/logrotate.d/syslog

/var/log/messages /var/log/secure /var/log/maillog /var/log/spooler /var/log/boot.log /var/log/cron {
             sharedscripts
             postrotate
                  /bin/kill -HUP `cat /var/run/rsyslogd.pid 2> /dev/null` 2> /dev/null || true
             endscript
       }

      上面的配置对于/var/log/messages, /var/log/secure, /var/log/mailog/ /var/log/spooler, /var/log/boot.log, /var/log/cron都是适用的。

      注意，prerotate和postrotate必须和sharescripts...endscript一起用。上面的信息表示日志文件转储后，重启rsyslogd服务。

      每个存放在/etc/logrotate.d目录里的文件，都有上面格式的配置信息。在{}中定义的规则，如果与logrotate.conf中的冲突，以/etc/logrotatate.d/中的文件定义的为准。