rinald_未来往事

WEB日志文件格式转换为NCSA公用日志文件格式

Linux
日志的重要性已经越来越受到服务器运维人员和程序员的重视,WEB日志更是不言而喻。WEB日志是网站分析和网站数据数据整理最基础的数据,了解其格式和组成将有利于更好地进行数据的收集、处理和分析。常见的WEB日志格式主要由两类,一类是Apache的NCSA日志格式,另一类是IIS的W3C日志格式。NCSA格式又分为NCSA普通日志格式(CLF)和NCSA扩展日志格式(ECLF)两类,目前最常用的是NCSA扩展日志格式(ECLF)及基于自定义类型的Apache日志格式;而W3C扩展日志格式(ExLF)具备了更为丰富的输出信息,但目前的应用并不广泛,所以这里主要介绍的是如何转换为NCSA扩展日志格式(ECLF)。

本文主要介绍如何通过convlog命令把IIS日志文件格式转换为NCSA公用日志文件格式?W3C日志文件格式转换为NCSA公用日志文件格式?

NCSA(美国国家超级计算技术应用中心) 公用格式是常用的标准日志格式。可以使用 convlog 工具将 Web 服务器的日志文件转换成 NCSA 公用日志文件格式。该转换器在将 IIS 和 W3C 扩展格式日志文件转换成 NCSA 公用格式的过程中,还可以用域名系统 (DNS) 名称替换 IP 地址,它还可用于将 NCSA 公用日志文件中的 IP 地址替换成 DNS 名。还可以使用 convlog 工具转换时差。

说明:对包含进程记帐日志信息的 W3C 扩展日志文件使用该工具会使所有进程记帐信息丢失。

通过convlog命令的帮助文档我们可以看到以下帮助信息:
Microsoft Internet Log Converter
转换 Microsoft Internet 信息服务日志文件
为 NCSA 公用日志文件格式
版权所有 (C) 1997-1999 Microsoft Corporation

用法: convlog [options] LogFile
选项:
-i = 输入日志文件类型
    i - MS Internet 标准日志文件格式
    n - NCSA 公用日志文件格式
    e - W3C 扩展日志文件格式
-t 默认值是 ncsa 。GMTOffset 与格林威治标准时间 (GMT) 的时差(以小时为单位)。差值为前面带有加号或减号的四位数字,取决于当地时间与 GMT 的时差。GMT 时差后的空格可以用 DNS 名替代 IP 地址(仅适用于 IIS 日志文件格式)
-o 默认值 = 当前目录
-x 将非 www 数据项保存到 .dmp 日志文件
-d = 将 IP  地址转换成 DNS
-l<0|1|2> = MS Internet 标准日期格式
    0 - 月/日/年(默认值,如美国)
    1 - 年/月/日(如中国)
    2 - 日.月.年(如德国)
-c = 即使发现格式不正确,也继续执行


比如:
convlog -ii in*.log -d -t ncsa:+0800
命令将以in为前缀、.log为后缀的所有log文件转换成带有 DNS 名称的 NCSA 公用日志文件格式,纠正 8 个小时的 GMT 时差。

convlog -ie ex121231.log -l1 -t ncsa:-0800 -o \Logfiles\California\
命令将 Inetsv1.log 文件命令将ex121231.log文件从 W3C 日志文件格式转换成 NCSA 公用日志文件格式,纠正 8 个小时的 GMT 时差(即加利福尼亚州时间),将日期格式设置为年/月/日格式,并将其发送到当前驱动器上 Logfiles 目录 California 子目录中。

convlog -in ncsa*.log -d
命令将以ncsa为前缀、.log为后缀的所有文件以转换为 NCSA 公用日志文件格式。IP 地址由 DNS 名称替换,但文件格式不进行转换。

convlog -ii jra*.log -t none

由 DNS 转换过程所产生的文件名遵循如下约定:
转换为 NCSA 公用日志文件格式但未进行 DNS 转换的日志文件将保留原来的文件名,并使用 .ncsa 文件扩展名。
IP 地址转换为 DNS 名称的日志文件将保留原来的文件名,并使用 .ncsa.dns 文件扩展名。

例如,如果 inetsv1.log 是使用 IIS 日志文件格式的日志文件,在不进行 DNS 转换时,得到的输出日志文件是 Inetsv1.log.ncsa。但是,如果启用了 DNS 转换功能,则得到的输出日志文件是 Inetsv1.log.ncsa.dns。

ex121231.log.ncsa --> ex121231.log
rename *.ncsa  *.
批量修改扩展名.log.ncsa为.log

常用日志分析工具
  1.awstats
  2.analog
  3.webalizer
  4.PHPMyVisites
  5.日志宝
  6.逆火网站日志分析器
  …………
原文作者:rinald
原文地址:http://fity.cn/post/324.html
互联网技术更新较快,本站很多文章具有实效性,我会及时更新原文,但转载的文章无法通知更新。为了不给读者造成困惑或误导,请您在转载时保留此出处信息,尊重别人也是尊重自己。

发表评论

必填

选填

选填

必填

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。