Nov 14

[原]使用php-syslog-ng查看syslog-ng的信息 晴

linuxing , 13:13 , 网络服务 » 性能监控 , 评论(26) , 引用(0) , 阅读(220105) , Via 本站原创 | |


7、配置syslog-ng
其配置文件在:/etc/syslog-ng.conf,加入:
引用
destination d_mysql {
       pipe("/var/log/mysql.pipe"
       template("INSERT INTO logs
       (host, facility, priority, level, tag, datetime, program, msg)
       VALUES ( '$HOST', '$FACILITY', '$PRIORITY', '$LEVEL', '$TAG', '$YEAR-$MONTH-$DAY $HOUR:$MIN:$SEC','$PROGRAM', '$MSG' );\n") template-escape(yes));
};

log {
       source(s_sys);
       destination(d_mysql);
};

或使用scripts的脚本:
# cat syslog.conf  >> /etc/syslog-ng/syslog-ng.conf

※注意:需把源驱动器的s_all修改为s_sys。

8、创建mysql的pipe通道
首先确认一下scripts目录中,syslog2mysql.sh脚本来的配置文件路径是否正确,若没问题,运行它:
# /var/www/html/php-syslog-ng/scripts/syslog2mysql.sh >> /var/log/php-syslog-ng/mysql.log 2>&1 &

若日志没有报错,即可。

9、重启syslog-ng服务
若syslog未关闭,请执行:
# service syslog stop
# service syslog-ng start
# chkconfig syslog off
# chkconfig --level 2345 syslog-ng on

从Web进入php-syslog-ng,应可正常使用:
点击在新窗口中浏览此图片

四、配置计划任务
若使用php-syslog-ng对日志进行集中管理,其数据量可能是相当巨大的,必须考虑日志循环的问题。可以使用计划任务实现。
1、配置计划任务
使用crontab -e加入:
引用
# PHP-Syslog-NG
@daily php /var/www/html/php-syslog-ng/scripts/logrotate.php >> /var/log/php-syslog-ng/logrotate.log
@daily find /var/www/html/php-syslog-ng/html/jpcache/ -type f -atime 1 -exec rm -f '{}' ';'
@reboot /var/www/html/php-syslog-ng/scripts/syslog2mysql.sh >> /var/log/php-syslog-ng/mysql.log 2>&1
0,5,10,15,20,25,30,35,40,45,50,55 * * * * php /var/www/html/php-syslog-ng/scripts/reloadcache.php >> /var/log/php-syslog-ng/reloadcache.log

或确认scripts脚本中的crontab文件路径正确后,运行:
# cat crontab >> /var/spool/cron/root

※注意:
1、请把运行dbgen.pl的命令删除,该脚本只是用于产生演示数据,详见后面说明。
2、执行php脚本的时候可能会包oci8.so错误,后面也有说明。
3、原find语句存在Bug,请加入-type f选项,否则会报如下的错误:
rm: cannot remove `/var/www/html/php-syslog-ng/html/jpcache/': Is a directory


2、配置日志循环
# cp logrotate.d /etc/logrotate.d/php-syslog-ng


至此,php-syslog-ng已经全部配置完成。后面讲解其他的一些脚本的功能。
内文分页: [1] [2] [3] [4]
mcg
2013/04/07 16:58
楼主 给发我一个php-syslog-ng.tar.gz的包吗,现在收费了 找不到 而且我下的一个 没有syslog2mysql.sh 这个脚本  谢谢
mcg840107@126.com
linuxing 回复于 2013/04/09 17:18
上面的链接失效了(可能之前在同步数据时丢失),已经补回去,可以下载啦。文件有8M多,发邮件不方便哦。
inmystory Email
2010/09/14 13:39
请问博主syslog-ng有没有强大到可以发送消息到ActiveMQ上呢?ActiveMQ通过TCP端口61616接收消息,但是需要额外的定义队列名等,不知道syslog-ng中有没有功能可以实现这个设置的?
linuxing 回复于 2010/09/15 13:06
不好意思,我没接触过ActiveMQ。syslog-ng是支持通过TCP向远端发送数据的,而大部分(我所了解的语言都有定义接收syslog协议的函数),这样,应该不难实现您的要求。但有没有现成的方法,或如何实现,那估计就要看API咯。
yue
2010/05/25 16:34
请问博主: php-syslog-ng 的admin 登陆密码搞丢了,怎么能找回呢 ?
linuxing 回复于 2010/05/25 18:18
查查后台mysql数据库就行啦。
hyh
2009/11/18 18:35
感谢版主这么快的回复~~~
options { stats_freq (0);
          flush_lines (1);
          keep_hostname (yes);
          time_reopen (10);
          log_fifo_size (1024);
          long_hostnames (off);
          use_dns (no);
          use_fqdn (no);
          create_dirs (yes);
          owner(root);
          group(root);
          perm(0640);
          dir_perm(0755);
        };
source s_sys {
        file ("/proc/kmsg"  log_prefix("kernel: "));
        unix-stream ("/dev/log");
        internal();
        udp(ip(0.0.0.0) port(514));
};
这个是我的syslog-ng.conf中的options和source的设置,然后增加了你的那个配置内容。还望版主能够指点一下~~谢谢阿
hyh
2009/11/18 14:33
版主,你好~~
我的linux版本是FC11的,然后使用yum安装好了syslog-ng和php-syslog-ng,一切都通过了。但是在web界面中没有数据,显示There appear to be no hosts in the Database yet,You can generate fake ones using scripts/dbgen.pl
查看数据库中的syslog,select * from logs,显示是空的。应该是syslog-ng没有将日志导入mysql吧?但我确实是在syslog-ng.conf中按照你的文档加入了数据库的配置。配置上唯一跟您有出入的就是6.配置脚本,他显示的是test是个目录。
还望版主指点指点。
php-syslog-ng的版本是2.9.8的~~
linuxing 回复于 2009/11/18 16:24
6中不是什么问题,他只是用perl执行了一个正规表达式的替换工作而已。关键问题在mysql中没有数据。这个估计与过滤器设定、mysql pipe有关,建议再仔细看看吧。
toyoget Email
2009/08/20 17:59
板主您好,我已建置好LOG SERVER,但是存在MYSQL上的資料如all_logs及logs2009xxxx只會儲存30天的Data,若我想儲存更久的Data,應該在哪裡設定呢?可否請版主指點迷津呢,謝謝
P.S.我在crontab上並沒有設定清除日誌的drop-old-tables.php,真令人不解阿...
冷云
2009/08/17 11:45
destination f_mysql {
        sql(type(mysql)
        host("127.0.0.1") username("root") password("")
        database("filter_logs")
        table("messages_${R_YEAR}${R_MONTH}${R_DAY}")
        columns("datetime", "facility", "level", "host", "program", "pid", "message")
        values("$R_DATE", "$FACILITY", "$LEVEL", "$HOST", "$PROGRAM", "$PID", "$MSGONLY")
        indexes("datetime", "host", "program", "pid", "message"));
};

我手功插入了2000多W条记录,但是数据库里只插入了400多W条,有没有可能是插入太快了,而syslog-ng来不及写入mysql里?
linuxing 回复于 2009/08/18 00:10
是否有些记录是完全相同的?如果是的,syslog-ng会自动归类,把频率很高,但重复的日志信息归类在一个信息中,仔细看看日志的信息应该能看到的。
你提到的2000W记录,在messages中也是2000W吗?messages中的数量应该与mysql中的相同。我觉得不会是插入太快的问题,但有可能存在缓存、UDP丢失等问题。
小程序员
2009/08/10 16:51
博主你好!
最近要装一个syslog-ng服务。
目的很简单,就是把服务器的日志文件,放入到MySQL数据库中就可以了。

然后自己写java代码和jsp页面显示出来就可以了。

但是,由于本人能力有限,弄了两个星期都没有弄成功啊。

您能不能简单的给指导一下,我应该怎么做啊。

只要把服务器的日志文件存入数据库中就可以了。

谢谢您啊。
linuxing 回复于 2009/08/11 22:55
在本文的第三页就有该介绍,定义一个通道,把从syslog-ng来的信息直接导入mysql中。
xu
2009/07/15 15:25
可是windows日志显示的是乱码,怎么解决啊?
linuxing 回复于 2009/07/16 11:13
看看windows发过来的日志是什么编码的?需要统一为一种编码。
YueMin
2009/06/17 15:11
没想到楼主这么快就回复了,感激感激...

之前问到的问题,我没管它了,直接在 login.php中调用html_header.php的部分将其注释掉。能够出现其plain的登陆页面了,但用admin登陆时,返回的消息却是:
Query failed: Table 'syslog.test_users' doesn't exist

没法,又得请教楼主了。
linuxing 回复于 2009/06/17 17:37
看看mysql数据库中是否已经创建了对应的库和表?
分页: 1/3 第一页 1 2 3 下页 最后页
发表评论
表情
emotemotemotemotemot
emotemotemotemotemot
emotemotemotemotemot
emotemotemotemotemot
emotemotemotemotemot
打开HTML
打开UBB
打开表情
隐藏
记住我
昵称   密码   游客无需密码
网址   电邮   [注册]