未来往事
放下浅薄和无知,靠的不是批判他人,而是自身的壮大和重建。 [2017年 第50周/共52周]

Awstats Jawstats常见错误问题<持续更新中>

最后更新时间:2013-06-09
  • 2013-05-20 首次整理成文档
  • 2013-06-09 发布到博客


Awstats常见错误:
一、报表中没有国家代码的问题(jawstats里没有区域名称)

点击在新窗口中浏览此图片

原因分析:缺少GeoIP IP地址识别插件
解决方法:Awstats 安装后默认是不支持国家或地区的,来源全部显示为“未知”, 通过GeoIP插件,在AWStats报表中,可以显示IP地址来自那个国家和地区。

下载相关组件:
# wget http://geolite.maxmind.com/download/geoip/api/c/GeoIP.tar.gz
# wget http://www.maxmind.com/download/geoip/api/pureperl/Geo-IP-PurePerl-1.19.tar.gz
# wget http://geolite.maxmind.com/download/geoip/database/GeoLiteCountry/GeoIP.dat.gz   //国家数据
# wget http://geolite.maxmind.com/download/geoip/database/GeoLiteCity.dat.gz      //城市数据
# wget http://geolite.maxmind.com/download/geoip/database/asnum/GeoIPASNum.dat.gz   //组织数据

安装GeoIP Module(c&perl)
# tar -zxvf GeoIP.tar.gz  
# cd GeoIP-1.4.8/
# ./configure  --prefix=/usr/local/geoip && make && make install

安装Geo-IP-PurePerl Module
# cd ..
# tar zxvf Geo-IP-PurePerl-1.19.tar.gz
# cd Geo-IP-PurePerl-1.19
# perl Makefile.PL
# make
# make test
# make install
也可以这样安装
# perl -MCPAN -e shell
cpan> install Geo-IP-PurePerl

配置GeoIP国家数据库/更新GeoIP库
# cd ..
# gunzip GeoIP.dat.gz  
# mv GeoIP.dat /usr/local/awstats/wwwroot/cgi-bin/

配置GeoLiteCity城市数据库/更新GeoLiteCity库
# cd ..    
# gunzip GeoLiteCity.dat.gz  
# mv GeoLiteCity.dat /usr/local/awstats/wwwroot/cgi-bin/

配置GeoIPASNum组织数据库/更新GeoIPASNum库
# gunzip GeoIPASNum.dat.gz
# mv GeoIPASNum.dat /usr/local/awstats/wwwroot/cgi-bin/

# vi /etc/awstats/awstats.xxxx.conf

# vi /usr/local/awstats/wwwroot/cgi-bin/awstats.model.conf
LoadPlugin="decodeutfkeys"
LoadPlugin="geoip GEOIP_STANDARD /usr/local/geoip/share/GeoIP/GeoIP.dat"  #注意这个路径是GeoIP的安装路径
LoadPlugin="geoip_isp_maxmind GEOIP_STANDARD /usr/local/awstats/wwwroot/cgi-bin/GeoIPISP.dat"
LoadPlugin="geoip_city_maxmind GEOIP_STANDARD /usr/local/awstats/wwwroot/cgi-bin/GeoLiteCity.dat"

定时更新GeoIP库
0 0 * * * root /usr/local/geoip/bin/geoipupdate -v

PS:安装awstats插件Geo IP时我们经常遇到下面这个问题,我们知道Geo是一个C写的库,所以如果当你安装GeoIP后直接运行/usr/local/awstats/wwwroot/cgi-bin/awstats.pl -update -config=slog.fity.cn就会收到如下错误:
"Error: Plugin load for plugin 'geoip' failed with return code: Error:
Can't locate Geo/IP.pm in @INC (@INC contains: /usr/lib/perl5/site_perl/5.8.8/i386-linux-thread-multi /usr/lib/perl5/site_perl/5.8.8 /usr/lib/perl5/site_perl /usr/lib/perl5/vendor_perl/5.8.8/i386-linux-thread-multi /usr/lib/perl5/vendor_perl/5.8.8 /usr/lib/perl5/vendor_perl /usr/lib/perl5/5.8.8/i386-linux-thread-multi /usr/lib/perl5/5.8.8 . ./lib ./plugins) at (eval 2) line 1.
Can't locate Geo/IP/PurePerl.pm in @INC (@INC contains: /usr/lib/perl5/site_perl/5.8.8/i386-linux-thread-multi /usr/lib/perl5/site_perl/5.8.8 /usr/lib/perl5/site_perl /usr/lib/perl5/vendor_perl/5.8.8/i386-linux-thread-multi /usr/lib/perl5/vendor_perl/5.8.8 /usr/lib/perl5/vendor_perl /usr/lib/perl5/5.8.8/i386-linux-thread-multi /usr/lib/perl5/5.8.8 . ./lib ./plugins) at (eval 3) line 1.
Error: Need Perl module Geo::IP or Geo::IP::PurePerl"
说明找不到PurePerl.pm这个模块,需要PurePerl Module解决这个问题,PurePerl Module是一个perl写的Geo接口
下载地址:http://www.maxmind.com/download/geoip/api/pureperl/Geo-IP-PurePerl-1.19.tar.gz



二、awstats如何分析多个日志?
+阅读全文

awstats+jawstats构建日志自动分析系统

Awstats简介
Awstats 是在 SourceForge 上发展很快的一个基于 Perl 的 WEB 日志分析工具,一个充分的日志分析让 Awstats 显示您下列资料:
    访问次数、独特访客人数,
    访问时间和上次访问,
    使用者认证、最近认证的访问,
    每周的高峰时间(页数,点击率,每小时和一周的千字节),
    域名/国家的主机访客(页数,点击率,字节,269域名/国家检测, geoip 检测),
    主机名单,最近访问和未解析的 IP 地址名单
    大多数看过的进出页面,
    档案类型,
    网站压缩统计表(mod_gzip 或者 mod_deflate),
    使用的操作系统 (每个操作系统的页数,点击率 ,字节, 35 OS detected),
    使用的浏览器,
    机器人访问(检测 319 个机器人),
    蠕虫攻击 (5 个蠕虫家族),
    搜索引擎,利用关键词检索找到你的地址,
    HTTP 协议错误(最近查阅没有找到的页面),
    其他基于 URL 的个性报导,链接参数, 涉及综合行销领域目的.
    贵网站被加入"最喜爱的书签".次数.
    屏幕大小(需要在索引页补充一些 HTML 标签).
    浏览器的支持比例: Java, Flash, RealG2 reader, Quicktime reader, WMA reader, PDF reader.
    负载平衡服务器比率集群报告.
Awstats 是一款基于 Perl 的 WEB 日志分析工具,从Awstats的文档来看,他对 Apache HTTP Server 的支持是非常完美的。同时 JAWStats 是一款基于 PHP 的统计套件,旨在为 Awstats 提供更为精美图形界面。
由于日志是按照一定的规则来生成的,把访问数据存入到文件中,但是数据存入的时候可能是不全的,awstats分析的时候就会有误差。

环境信息约定:
日志文件位置:/htdoc/logs
系统:CentOS6.3 X64
软件存储位置:/opt
awstats安装位置:/usr/local/awstats
JAWStats安装位置:/htdoc/stats/
这里我们配置的站点域名:slog.fity.cn
WEB服务器:Nginx
静态页面文件输出路径:/usr/local/apache/data(可选)


一、安装和配置 Awstats
Awstats 安装非常简单,但必须先确认你服务器上 Perl 的环境已经就绪。
1、下载和安装 Awstats
awstats项目地址:http://sourceforge.net/projects/awstats/
目前最新版本 7.1.1,这里我们下载 7.1.1
[root@iredmail ~]# cd /opt
[root@iredmail opt]# wget http://sourceforge.net/projects/awstats/files/AWStats/7.1.1/awstats-7.1.1.tar.gz
[root@iredmail opt]# tar -zxf awstats-7.1.1.tar.gz
[root@iredmail opt]# mv awstats-7.1.1 /usr/local/awstats

wget下载的包中权限可能是一个不存在的UID用户,赋予权限让.pl的文件可以运行:
[root@iredmail opt]# chown -R root:root /usr/local/awstats
[root@iredmail opt]# chmod +x /usr/local/awstats/tools/*.pl
[root@iredmail opt]# chmod +x /usr/local/awstats/wwwroot/cgi-bin/*.pl

2、生成配置文件
+阅读全文

性能测试,你真的懂吗?

在用到一个新产品时,我们肯定会做的一件事就是做性能测试。但是你真的会做性能测试吗?今天要说的是一个关于Redis性能测试的争论。

事情起因是一篇叫做Redis vs Memcached的文章,本文作者在听说Redis之后将Redis和Memcached进行了一组性能对比测试,测试结果Redis完败。然而其测试方法却引起了不小的争执,其博文下的第一篇回复就是Redis作者antirez同学的回复。antirez非常有风度的感谢了他的测试结果,然后指出其测试中的问题。

而后在antirez的一篇博文......
+阅读全文

cacti不出图无数据常见错误问题解决

最后更新时间:2013-09-09
  • 2013-05-07 发布到博客
  • 2013-09-09 最后更新


使用cacti监控工具的朋友都经常会遇到这样的问题,比如说无图像或者无数据等。今天遇到cacti不出图无数据,总结排查思路如下:
1、图像没有生成,运行#/usr/local/webserver/php5320/bin/php /htdoc/cacti/cacti/poller.php --force 看看是否成功,并查看日志记录了什么错误
2、system utilities -->Rebuild poller cache
3、系统时间不准确,重新设置时间
4、权限问题,修改权限#chmod 777 -R /srv/www/htdocs/cacti/rra
......
+阅读全文

使用ntop监控系统网络状态

一、NTOP监控工具简述:
NTOP是一种监控网络流量的工具,用NTOP显示网络的使用情况比其他一些网管软件更加直观、详细。NTOP甚至可以列出每个节点计算机的网络带宽利用率。
NTOP是一个灵活的、功能齐全的,用来监控和解决局域网问题的工具。它同时提供命令行输入和Web界面,可应用于嵌入式Web服务

ntop主要提供以下一些功能:
1)自动从网络中识别有用的信息;
2)将截获的数据包转换成易于识别的格式;
3)对网络环境中通信失败的情况进行分析;
4)探测网络环境中的通信瓶颈;
5)记录网络通信的时间和过程;
6)自动识别客户端正在使用的操作系统
它可以通过分析网络流量来确定网络上存在的各种问题;也可以用来判断是否有黑客正在攻击网络系统;还可以很方便地显示出特定的网络协议、占用大量带宽的 主机、各次通信的目标主机、数据包的发送时间、传递数据包的延时等详细信息。通过了解这些信息,网管员可以对故障做出及时的响应,对网络进行相应的优化调 整,以保证网络运行的效率和安全。


二、NTOP安装与配置
1、系统约定
系统环境:CentOS 6.3 X64
软件版本:ntop-5.0.1
软件源代码包存放位置:/opt

2、NTOP软件下载
官方网站:http://www.ntop.org
从网站上可以看到最新的稳定版是5.0.1,下载地址:http://nchc.dl.sourceforge.net/project/ntop/ntop/Stable/ntop-5.0.1.tar.gz

3、依赖包安装
(1)yum -y install gdbm gdbm-devel rrdtool rrdtool-devel libtool libpcap libpcap-devel subversion
说明:如果缺少subversion你将会收到服务器抛出的如下错误
You must have svn/subversion installed to compile autogen.sh.
Download the appropriate package for your distribution, or get the
source from http://subversion.tigris.org

(2)安装GeoIP:GeoIP是一个 ip 对应地理信息的数据库。
所谓GeoIP,就是通过来访者的IP,定位他的经纬度,国家/地区,省市,甚至街道等位置信息。这里面的技术不算难题,关键在于有个精准的数据库。有了准确的数据源就奇货可居赚点小钱,可是发扬合作精神,集体贡献众人享用是我们追求的。
如果缺少该安装包,安装ntop时会抛出如下错误:
Removing dups and misplaced entries from LIBS and INCS...
checking for GeoIP_record_by_ipnum in -lGeoIP... no
checking for GeoIP_name_by_ipnum_v6 in -lGeoIP... no
Please install GeoIP (http://www.maxmind.com/)
如果安装GeoIP后仍然收到该错误提示,请参考补充内容。
简要安装步骤
wget http://geolite.maxmind.com/download/geoip/api/c/GeoIP.tar.gz
tar zxvf GeoIP.tar.gz
cd GeoIP-1.4.8/
./configure
make && make install
补充:If you went to maxmind.com and compiled GeoIP-1.4.8 c api (downloaded here: http://www.maxmind.com/app/c )and you still get the same error with the ntop fix. Please install python-devel to solve that issue.

4、ntop安装
#tar zxvf ntop-5.0.1.tar.gz
#cd  ntop-5.0.1
#./autogen.sh --prefix=/usr/local/ntop  --with-tcpwrap //配置--with-tcpwrap选项用于支持TCP Wrappers访问控制
(或./configure --prefix=/usr/local/ntop)
#make
#make install
补充:安装过程中如果遇到下面这个python版本低的提示:
>>>> Unable to locate python-config: using workaround <<<<
checking for python... python
checking Checking python version... Old python installed
Please install python 2.6 or newer.
请升级python到新版本,具体参考:《Centos 6.3升级系统默认Python到2.7版本》

5、ntop配置
+阅读全文

NTOP监控WEB界面简单说明解释

NTOP监控使用手册 WEB界面说明解释
①About在线手册
②Summary:目前网络的整体概况。
— Traffic:流量。
— Hosts:所有主机的使用概况。
— Network Load:各时段的网络负载。
— Netflows:网络流量图。
③IP Summary:各主机的流量状况与排名明细。
— Traffic:所有主机的流量明细,按应用层协议分类查看各主机流量统计信息。
— Multicast:多点传送情况。
— Domain:域名。
— Distribution:通信量状况。
— Local >>Local:本地流量。
— Local>>Remote:所有主机对外的明细。
......
+阅读全文

Web网站压力及性能测试工具WebBench使用指南

Web网站性能压力 测试工具WebBench使用详解

Webbench是知名的网站压力方面的测试工具,它是由Lionbridge公司开发。
官方主页:http://home.tiscali.cz/~cz210552/webbench.html

......
+阅读全文