AWStats 强大的日志分析系统

需求

在日常web服务器的运行中，记录了大量的客户机访问的信息，而如何快捷地知道此刻web服务器的访问及运行情况，如每天的访问IP数量、点击量最大的页面、每日的访问高峰时间段等信息呢？

解决方案

将通过使用强大的日志分析系统AWStats对其进行自动化的日志分析与统计工作。

AWStats介绍

AWStats是使用Perl语言开发的一款开源日志分析系统，它不仅可用来分析Apache网站服务器的访问日志，也可以用来分析Samba、Vsftpd、IIS等服务的日志信息。结合crond等计划任务服务，可以对不断增长的日志内容定期进行分析。

Awstats 是一个免费的、非常简洁而且强大的网站日志分析系统，它可以帮助我们统计网站的如下信息：

• 访问量、访问次数、独特访客人数;
• 访问时间和上次访问;
• 每周的高峰时间(页数,点击率,每小时和一周的千字节);
• 域名/国家的主机访客(页数,点击率,字节,269域名/国家检测, geoip 检测);
• 主机名单,最近访问和未解析的 IP 地址名单;
• 访问者看过的进出页面,档案类型;
• 网站压缩统计表(mod_gzip 或者 mod_deflate);
• 使用的操作系统 (每个操作系统的页数,点击率 ,字节, 35 OS detected),使用的浏览器;
• 机器人访问(检测 319 个机器人);
• 蠕虫××× (5 个蠕虫家族);
• 搜索引擎，利用关键词检索找到你的地址;
• HTTP 协议错误(最近查阅没有找到的页面);
• 其他基于 URL 的个性报导,链接参数, 涉及综合行销领域目的;
• 网站被加入"最喜爱的书签".次数;
• 浏览器的支持比例: Java, Flash, RealG2 reader, Quicktime reader, WMA reader, PDF reader;
• 负载平衡服务器比率集群报告;

环境：

• rhel6.5操作系统
• 服务器IP地址：192.168.100.5
• rhel6.5的镜像光盘挂载至/mnt/cdrom/
• 已经部署好Apache 2.2 服务器
• AWStats 7.6.tar.gz 百度网盘 密码：zcko
• 已经做好DNS正向解析，通过www.test.com可以正常访问到该服务器(请参考:DNS域名解析服务(正向解析、反向解析、主从服务器）第一部分 正向解析部分)

目标：

为WEB站点www.test.com添加AWStates日志分析系统

部署服务：

1. 解压并安装AWStates软件包

tar zxvf awstats-7.6.tar.gz -C /opt/ //解压至/opt目录下 mv /opt/awstats-7.6 /usr/local/awstats //移动文件至/usr/local/awstats目录下 cd /usr/local/awstats/tools //进入awstats的tools目录下

2. 为www.test.com站点新建站点统计配置文件，借助AWStates系统提供的awstats_configure.pl脚本进行创建，过程如下：

./awstats_configure.pl

----- AWStats awstats_configure 1.0 (build 20140126) (c) Laurent Destailleur -----This tool will help you to configure AWStats to analyze statistics forone web server. You can try to use it to let it do all that is possiblein AWStats setup, however following the step by step manual setupdocumentation (docs/index.html) is often a better idea. Above all if:

• You are not an administrator user,
• You want to analyze downloaded log files without web server,
• You want to analyze mail or ftp log files instead of web log files,
• You need to analyze load balanced servers log files,
• You want to 'understand' all possible ways to use AWStats...Read the AWStats documentation (docs/index.html).

-----> Running OS detected: Linux, BSD or Unix

-----> Check for web server install

Enter full config file path of your Web server.Example: /etc/httpd/httpd.confExample: /usr/local/apache2/conf/httpd.confExample: c:\Program files\apache group\apache\conf\httpd.confConfig file path ('none' to skip web server setup):/etc/httpd/conf/httpd.conf #输入Apache的配置文件绝对路径

-----> Check and complete web server config file '/etc/httpd/conf/httpd.conf'Add 'Alias /awstatsclasses "/usr/local/awstats/wwwroot/classes/"'Add 'Alias /awstatscss "/usr/local/awstats/wwwroot/css/"'Add 'Alias /awstatsicons "/usr/local/awstats/wwwroot/icon/"'Add 'ScriptAlias /awstats/ "/usr/local/awstats/wwwroot/cgi-bin/"'Add '<Directory>' directiveAWStats directives added to Apache config file.

-----> Update model config file '/usr/local/awstats/wwwroot/cgi-bin/awstats.model.conf'File awstats.model.conf updated.

-----> Need to create a new config file ?Do you want me to build a new AWStats config/profilefile (required if first install) [y/N] ? y #输入y，生成新的配置文件

-----> Define config file name to createWhat is the name of your web site or profile analysis ?Example: www.mysite.comExample: demoYour web site, virtual server or profile name:www.test.com #输入网站域名:www.test.com

-----> Define config file pathIn which directory do you plan to store your config file(s) ?Default: /etc/awstatsDirectory path to store config file(s) (Enter for default): #直接 “回车键”

-----> Create config file '/etc/awstats/awstats.www.test.com.conf'Config file /etc/awstats/awstats.www.test.com.conf created.

-----> Restart Web server with '/sbin/service httpd restart'Stopping httpd: [ OK ]Starting httpd: [ OK ]

-----> Add update process inside a schedulerSorry, configure.pl does not support automatic add to cron yet.You can do it manually by adding the following command to your cron:/usr/local/awstats/wwwroot/cgi-bin/awstats.pl -update -config=www.test.comOr if you have several config files and prefer having only one command:/usr/local/awstats/tools/awstats_updateall.pl nowPress ENTER to continue...

A SIMPLE config file has been created: /etc/awstats/awstats.www.test.com.confYou should have a look inside to check and change manually main parameters.You can then manually update your statistics for 'www.test.com' with command:perl awstats.pl -update -config=www.test.comYou can also read your statistics for 'www.test.com' with URL:http://localhost/awstats/awstats.pl?config=www.test.com

Press ENTER to finish... #直接“回车键”退出

3. 检查httpd.conf文件尾部是否含有以下信息

vim /etc/httpd/conf/httpd.conf

<Directory "/usr/local/awstats/wwwroot">Options NoneAllowOverride NoneOrder Allow,denyAllow from all</Directory>

或如下图所示，即可

4. 修改站点统计配置文件

vim /etc/awstats/awstats.www.test.com.conf

......LogFile="/var/log/httpd/access_log" //50行，修改web日志文件位置DirData="/var/lib/awstats" //220行，数据目录，awstats 默认不存在（需要创建）......

创建/var/lib/awstats目录

mkdir -p /var/lib/awstats

5. 重启httpd服务

service httpd stop service httpd start

6. 使用AWStates提供的awstats_updateall.pl脚本更新所有站点的日志统计数据

./awstats_updateall.pl now //更新站点数据

7. 由于Web日志文件的内容是不断在更新的，为了及时反馈网站访问的情况，日志分析工作也需要定期、自动地执行。可以通过crond服务设置计划性任务

添加计划性任务

crontab -e

/1 * /usr/local/awstats/tools/awstats_updateall.pl now //每分钟更新一次数据

启动crond服务

service crond start

通过以下网站进行访问awstats日志分析系统：http://www.test.com/awstats/awstats.pl?config=www.test.com

8. 为了便于访问awstats日志分析系统进行以下优化

cd /usr/local/apache/htdocs //进入web站点目录下

vim awb.html //创建awb.html网页文件，并写入以下文件

<html><head><meta http-equiv=refresh content="0;url=http://www.test.com/awstats/awstats.pl?config=www.test.com"></head><body></body></html>

以后直接通过如下网址便可以进行访问： http://www.test.com/awb.html