精华内容
下载资源
问答
  • WEB日志格式

    千次阅读 2018-06-03 21:34:02
    WEB日志格式 日志格式类型: 常见日志格式: 参考: WEB日志格式 Custom Log Formats:普通日志格式 日志格式类型: 目前常见的WEB日志格式主要由两类 Apache的NCSA日志格式,NCSA格式分为 NCSA普通...


    WEB日志格式

    Custom Log Formats:普通日志格式

    日志格式类型:

    目前常见的WEB日志格式主要由两类

    • Apache的NCSA日志格式,NCSA格式分为
      • NCSA普通日志格式(CLF)
      • NCSA扩展日志格式(ECLF)
    • IIS的W3C日志格式

    目前最常用的是NCSA扩展日志格式(ECLF)及基于自定义类型的Apache日志格式,而W3C扩展日志格式(ExLF)具备了更为丰富的输出信息,但目前的应用并不广泛,所以这里主要介绍的是NCSA扩展日志格式(ECLF)。


    常见日志格式:

    • Common Log Format (CLF)
      • "%h %l %u %t \"%r\" %>s %b"
    • Common Log Format with Virtual Host
      • "%v %h %l %u %t \"%r\" %>s %b"
    • NCSA extended/combined log format
      • "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-agent}i\""
    • Referer log format
      • "%{Referer}i -> %U"
    • Agent (Browser) log format
      • "%{User-agent}i"

    参考:

    Apache Module mod_log_config
    日志格式规范

    展开全文
  • Web日志目录及日志分析

    千次阅读 2019-11-07 15:36:00
    Web日志的分析 在很多时候,我们经常需要分析网站的日志,以此来查看网站运行的各种情况。比如说如果网站被攻击,我们可以通过查看日志来溯源攻击者。 Apache 日志目录:/Apache/logs/ logs目录下有两个文件...

    目录

    Apache

    Nginx

    Tomcat

    Web日志的分析


    在很多时候,我们经常需要分析网站的日志,以此来查看网站运行的各种情况。比如说如果网站被攻击,我们可以通过查看日志来溯源攻击者。

    Apache

    日志目录:/Apache/logs/

    logs目录下有两个文件,一个是 access.log ,就是用户的访问日志。还有一个是 error.log,这个是apache运行时的错误日志。

    Nginx

    日志目录:/Nginx/logs/

    logs目录下有两个文件,一个是 access.log ,就是用户的访问日志。还有一个是 error.log,这个是apache运行时的错误日志。

    Tomcat

    日志目录:/Tomcat/logs/

    logs目录下有五类文件:

    • catalina.日期.log:这个主要是记录tomcat启动时候的信息,类似于我们在eclipse中启动服务的时候在控制台看到的信息
    • host-manager.日期.log:这个是放tomcat的自带的manager项目的日志信息的,也没有看到有什么重要的日志信息
    • localhost.日期.log:这个类似于catalina日志,可是信息没有第一种全
    • localhost_access_log.日期.txt:这个是存放访问tomcat的请求的所有地址以及请求的路径、时间,请求协议以及返回码等信息(重要)
    • manager.日志.log:这个估计是manager项目专有的日志文件

    Web日志的分析

    如下,我们分析日志中第8条的更个部分的含义

    • 访问者ip:127.0.0.1
    • 访问日期:07/Nov/2019:18:11:54 +0800
    • 请求方式:GET
    • 请求链接:/dvwa/phpinfo.php
    • 请求参数:PHPE9568F34-D428-11d2-A769-00AA001ACF42
    • HTTP协议:HTTP/1.1
    • 返回转态码:200
    • 返回包的长度:2536
    • 请求包的Referer:http://127.0.0.1/dvwa/phpinfo.php
    • 访问者的浏览器信息:Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36

    展开全文
  • web日志信息文件

    热门讨论 2015-12-02 14:28:28
    文件是web日志,记录了一个网站(粉丝日志网站)一天内的访问记录的日志信息。 我的博客:http://blog.csdn.net/u010156024/article/details/50147697 详细应用了该日志文件进行hadoop下的挖掘分析。欢迎访问。
  • web mining_xml web日志挖掘
  • Web日志安全分析技巧

    千次阅读 2019-06-24 08:20:22
    ox01 Web日志Web访问日志记录了Web服务器接收处理请求及运行时错误等各种原始信息。通过对WEB日志进行的安全分析,不仅可以帮助我们定位攻击者,还可以帮助我们还...

    ox01  Web日志

    Web访问日志记录了Web服务器接收处理请求及运行时错误等各种原始信息。通过对WEB日志进行的安全分析,不仅可以帮助我们定位攻击者,还可以帮助我们还原攻击路径,找到网站存在的安全漏洞并进行修复。

    我们来看一条Apache的访问日志:

     
     
    127.0.0.1 - - [11/Jun/2018:12:47:22 +0800] "GET /login.html HTTP/1.1" 200 786 "-" "Mozilla/5.0 (
    展开全文
  • 毕业设计要做关于web日志挖掘相关的内容,但是没有web日志文件,谁能提供一个网站的web日志或下载地址啊。。
  • LINUX日志系统之WEB日志(一)

    千次阅读 2016-06-04 22:07:42
    linux日志系统的重要性想必大家都非常...下面就来认识下web系统中的各种常用的日志文件: 一、linux系统日志:centos6上的日志系统是rsyslog 启动进程是rsyslogd 1、查看日志系统启动情况; #chkconfig --list r
    
    linux日志系统的重要性想必大家都非常清楚了,我们平时的登录信息,各种操作信息,软件错误信息等等,想要系统一直健康稳定的运转,学会查看和管理日志系统是必不可少的技能。下面就来认识下web系统中的各种常用的日志文件:
    一、linux系统日志:centos6上的日志系统是rsyslog
    启动进程是rsyslogd
    1、查看日志系统启动情况;
    #chkconfig --list rsyslog
    #service rsyslog status
    #ps aux | grep rsyslogd 2、系统日志文件
    日志文件位置:/var/log
    配置文件位置:/etc/rsyslog.conf/etc/rsyslog.d/下的.conf文件
    主要有以下常用文件:
    dmesg:启动init程序之前输出的信息。包含内核缓冲信息(kernel ring buffer)。使用dmesg命令可以快速查看最后一次系统引导的引导日志
    messages:包括整体系统信息,其中也包含系统启动期间的日志。此外,mail,cron,daemon,kern和auth等内容也记录在var/log/messages日志中。
    maillog:邮件系统产生的日志信息。
    secure:用户登录信息。
    boot.log :包含系统启动时的日志。
    wtmp : 是一个二进制文件,记录每个用户的登录次数和持续时间等信息。使用wtmp文件可以显示谁正在登陆进入系统,谁使用命令显示这个文件或信息等。因为是二进制文件所以需要用last -f /var/log/wtmp查看
    btmp : 记录所有失败登录信息。使用last命令可以查看btmp文件。例如,”last -f /var/log/btmp | more“。可以看到这个文件夹非常大,解决办法,改ssh端口,还有就是锁用户,让他登陆不进来。/etc/pam.d/下包含各种认证程序或服务的配置文件。编辑这些可限制认证失败次数,当失败次数超过指定值时用户会被锁住。
    lastlog : 记录所有用户的最近信息。这不是一个ASCII文件,因此需要用lastlog命令查看内容。
    spooler : uucp与news的日志(UUCP为Unix系统之间,通过序列线来连线的协议。uucp使用UUCP协议,主要的功能为传送文件。
    yum.log : 使用yum命令的安装软件日志,记录了你用yum命令安装、卸载以及更新的所有信息。
    tallylog : /var/log/tallylog是二进制日志,记录认证失败情况,与pam认证登陆有关。
    dracut.log :dracut 是下一代的 initramfs 系统,所以这个文件就是记录系统启动前虚拟文件系统的一些信息。
    cron : 每当cron进程开始一个工作时,就会将相关信息记录在这个文件中。
    anaconda.log :在安装Linux时,所有安装信息都储存在这个文件中。 所有anaconda有关的文件都是系统自动安装时的日志信息。
    rdate.log :rdate本身是用来获取远程时间服务器上时间用的,带上-s参数,就可以将获取到的时间应用到本地系统。
    gshell.log
    kernel-version
    backup-dir

    以上这三个文件自己确实不知道是那个软件产生的~还望有大神指出。
    [说明:lastlog : 命令用于显示系统中所有用户最近一次登录信息。last命令用于显示用户最近登录信息。单独执行last命令,它会读取/var/log/wtmp的文件,并把该给文件的内容记录的登入系统的用户名单全部显示出来。你可以在 last 命令后面加一个用户名(如 last root),它就会显示关于该账号的这些信息。如果你只想知道进入账户的失败企图(坏登录,bad logins),则可以使用 lastb 命令。lastb命令用于显示用户错误的登录列表,此指令可以发现系统的登录异常。单独执行lastb命令,它会读取位于/var/log目录下,名称为btmp的文件,并把该文件内容记录的登入失败的用户名单,全部显示出来。]
    /var/log还基于系统的具体应用包含以下一些子目录:
    ntpstats:记录与Network Time Protocol (NTP) 有关的信息。
    prelink文件夹:包含.so文件被prelink修改的信息。
    audit文件夹:Linux audit的作用:帮助你了解,分析发生在你系统中的事情。
    mail文件夹:sendmail软件相关的一些记录信息。
    sa文件夹:包含每日由sysstat软件包收集的信息。Sysstat 是一个软件包,包含监测系统性能及效率的一组工具,这些工具对于我们收集系统性能数据,比如CPU使用率、硬盘和网络吞吐数据,这些数据的收集和分析,有利于我们判断系统是否正常运行,是提高系统运行效率、安全运行服务器的得力助手;
    ConsoleKit文件夹:ConsoleKit这个主要是 Gnome 使用的用于 Fedora – Fast User Switching ,主要用于自动加载 device 和 Power Management.

    进行web搭建以及web开发,我们也需要熟悉各种web软件所产生的日志文件,主要包括apache(http)、php、mysql。
    二、http的日志文件
    文件位置:在配置文件中指定配置文件位置:/etc/httpd/httpd.confaccess_log:记录了所有对Web服务器的访问活动error_log:错误日志ssl_request_log:ssl访问日志
    三、php-fpm的日志文件:php-fpm也有访问日志、错误日志、慢查询日志等,但是除了调试需要,一般只开启错误日志。
    配置文件位置:自己编译时指定,一般在php安装目录下的etc目录下。错误日志文件默认开启位置一般在php安装目录下的var/log目录下名字是php-fpm.log
    四、php的日志文件:
    配置文件:/etc/php.ini错误日志默认关闭,日志文件位置可以在配置文件中指定在配置文件中log_errors = On开启
    error_log = 文件位置

    未完待续。。。。

    展开全文
  • WEB性能实践日志

    2017-08-09 17:54:55
    Web性能实践日志》包含了众多领域专家的关于 Web 性能的文章。其中包括了许多性能相关的主题,如开源工具、缓存、移动网络和应用、自动化、用户体验优化、HTML5、JavaScript、CSS3、指标、ROI和网络协议。本书的...
  • IIS Web服务器日志日志服务器分析

    千次阅读 2018-08-08 13:14:59
    IIS Web服务器日志日志服务器分析 EventLog Analyzer是一款全面的工具,用于审计、管理和跟踪您的Microsoft Internet Information Services(IIS)服务器日志,并为您提供关于文件和Web服务器的重要洞察。...
  • WEB服务器日志数据

    热门讨论 2009-09-20 00:31:32
    WEB服务器日志数据,可用于WUM的相关实验。
  • 用spark做web日志分析

    千次阅读 2018-01-04 15:36:02
    本文以服务器日志分析为例,给大家展示真实场景中,怎么用pySpark去完成大数据的处理和分析的。总述这里的应用主要包括...Part 4: 对返回404的结果做分析part 1 Apache Web服务器日志格式这里用到的服务器日志格式是 Ap
  • 详解网站WEB日志格式

    千次阅读 2015-08-11 15:06:01
    WEB日志是网站的WEB服务处理程序,根据一定的规范生成的ASCII文本。它主要记录了网站访问记录数据内容,是网站分析和网站数据仓库的数据基础来源,而网站分析和数据分析也将对SEO产生一定的影响,所以了解WEB日志的...
  • 使用Web日志还原攻击路径

    万次阅读 2020-01-08 19:54:33
    日志文件是服务器提供的非常有价值的信息,几乎所有的服务器、服务和应用程序都提供某种类型的日志记录,用来记录服务或应用程序运行时发生的事件和操作。日志文件为我们提供了服务器行为的精确视图以...
  • Web日志安全分析浅谈

    千次阅读 2018-10-18 14:07:52
    一、为什么需要对日志进行分析? 随着Web技术不断发展,Web被应用得越来越广泛,所谓有价值的地方就有江湖,网站被恶意黑客攻击的频率和网站的价值一般成正比趋势,即使网站价值相对较小,也会面对“脚本小子”的...
  • 日志在计算机系统中是一个非常广泛的概念,任何程序都有可能输出日志:操作系统内核、各种应用服务器等等。日志的内容、规模和用途也各不相同,很难一概而论。 本文讨论的日志处理方法中的日志,...在Web日志
  • 收集web日志的目的

    千次阅读 2015-03-07 15:05:43
    收集web日志的目的 Web日志挖掘是指采用数据挖掘技术,对站点用户访问Web服务器过程中产生的日志数据进行分析处理,从而发现Web用户的访问模式和兴趣爱好等,这些信息对站点建设潜在有用的可理解的未知信息和知识...
  • 海量Web日志分析

    千次阅读 2014-12-19 17:19:17
    海量Web日志分析 用Hadoop提取KPI统计指标 Hadoop家族系列文章,主要介绍Hadoop家族产品,常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa,新增加的项目包括,YARN,...
  • Web日志安全分析系统实践

    千次阅读 2018-03-13 21:45:39
    isappinstalled=0零、前言在社区看到了这篇日志分析的文章--《Web日志安全分析浅谈》,文章整体写的非常棒,对日志分析的作用、难点、工程化建设和攻击溯源等方面进行了全面的描述。去年的毕设我也做了相关的研究,...
  • 10个好用的Web日志安全分析工具 经常听到有朋友问,有没有比较好用的web日志安全分析工具?首先,我们应该清楚,日志文件不但可以帮助我们溯源,找到入侵者攻击路径,而且在平常的运维中,日志也可以反应出很多的...
  • Hadoop 提取KPI 进行海量Web日志分析

    万次阅读 2016-05-12 23:59:32
    Hadoop 提取KPI 进行海量Web日志分析Web日志包含着网站最重要的信息,通过日志分析,我们可以知道网站的访问量,哪个网页访问人数最多,哪个网页最有价值等。一般中型的网站(10W的PV以上),每天会产生1G以上Web日志...
  • 毕业设计需要做一个基于web日志挖掘的网页推荐系统,但是自己没有个人网站,希望能够提供一份网站的web日志,之前也找了一些,但是数据量较少,希望能够提供至少一个月的web日志记录。。
  • 分析web访问日志,需要分析日志文件,求一份 有sql注入、webshell、网页后门等攻击记录的日志文件,感激不尽
  • Office Web Apps 错误日志

    千次阅读 2018-02-02 13:37:00
    前言 最近一直在用Office Web Apps,使用过程会有各种各样的错误,众所周知,sharepoint的错误都在15/Logs下面保存错误日志,那么OWA呢? 经过查找,发现Office Web Apps也有自己的错误日志,如果我们遇到错误了,...
  • GoAccess 一款好用的web日志分析工具

    万次阅读 2020-02-06 10:21:13
    这里写自定义目录标题GoAccess 是...GoAccess 是一款开源的且具有交互视图界面的实时 Web 日志分析工具,通过你的 Web 浏览器或者 *nix 系统下的终端程序(terminal)即可访问。能为系统管理员提供快速且有价值的 HTT...
  • Web日志挖掘分析的方法

    千次阅读 2013-07-31 14:06:44
    日志分析方法概述  ...本文讨论的日志处理方法中的日志,仅指Web日志。其实并没有精确的定义,可能包括但不限于各种前端Web服务器——apache、lighttpd、tomcat等产生的用户访问日志,以及各种Web应用程序自己输出的
  • 可视化web日志分析工具Logstalgia

    千次阅读 2015-08-03 08:39:49
    支持Apache、nginx、lighttpd、varnish、squid等web服务产生的日志 安装 root@zrools:~# apt-get -y install logstalgia ...远程读取服务器web日志 root@zrools:~# ssh user@host tail -f access.log | l
  • web服务器日志分析

    千次阅读 2014-03-03 10:28:05
    Web服务器日志统计分析完全解决方案  管理Web网站不只是监视Web的速度和Web的内容传送,它要求不仅仅关注服务器每天的吞吐量,还要了解对这些Web网站的外来访问,了解网站各页面的访问情况,根据各页面的...
  • Python+Mongodb实现web日志分析

    千次阅读 热门讨论 2016-12-03 12:25:02
    日志分析在web系统中故障排查、性能分析方面有着非常重要的作用。目前,开源的ELK系统是成熟且功能强大的选择。但是部署及学习成本亦然不低,这里我实现了一个方法上相对简单(但准确度是有保证的)的实现。先说一下...
  • 通过WEB日志安全分析追踪攻击者

    千次阅读 2014-11-18 19:19:06
    摘要:本文主要讲述了WEB日志安全分析时的思路和常用的一些技巧,并通过一个完整的实例讲述了在发生安全事件后,如何通过分析WEB日志并结合其他一些线索来对攻击者进行追踪。 本文主要讲述了WEB日志安全分析时的...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 569,188
精华内容 227,675
关键字:

web日志是什么