精华内容
下载资源
问答
  • logparser日志检索工具

    2019-02-19 15:06:51
    运用sql语句检索系统日志,文件。进行塞选分析,输出你想要的信息。
  • 最佳日志管理工具:51个有用的日志管理、监视、分析等工具 痛苦的纯文本日志管理日子一去不复返了。虽然纯文本数据在某些情况下仍然很有用,但是在进行扩展分析以收集有洞察力的基础设施数据并改进代码质量时,寻找...

    最佳日志管理工具:51个有用的日志管理、监视、分析等工具

    痛苦的纯文本日志管理日子一去不复返了。虽然纯文本数据在某些情况下仍然很有用,但是在进行扩展分析以收集有洞察力的基础设施数据并改进代码质量时,寻找一个可靠的日志管理解决方案是值得的,该解决方案可以增强业务工作流的能力。

    日志不是一件容易处理的事情,但无论如何都是任何生产系统的一个重要方面。当您面临一个困难的问题时,使用日志管理解决方案要比在遍布系统环境的无休止的文本文件循环中穿梭容易得多。

    日志管理工具的最大优点是,它们可以帮助您在一个查询中轻松地查明任何应用程序或软件错误的根源。这同样适用于与安全相关的关注点,其中许多以下工具能够帮助您的IT团队在攻击发生之前进行预防。另一个因素是对用户群如何在全球范围内使用您的软件有一个可视化的概述,在一个仪表板中获得所有这些关键数据将使您的生产率显著提高。

    当选择适合您需要的日志管理工具时,请评估您当前的业务操作。决定您是希望从日志中获取基本数据的小型操作,还是打算进入企业级别,这将需要更强大和系统效率更高的工具来处理大规模日志管理。

    我们列出了51个有用的日志管理工具(下面没有特别的顺序),为希望比较当前产品以找到最适合您需求的解决方案的任何人提供了一个简单的参考。


    1. Retrace

    Retrace

    厌倦了在黑暗中追逐bug? 感谢Retrace,以后再也不必这样做了。使用这一套每个开发人员都需要的基本工具(包括日志记录、错误监视和代码级别性能)来重新跟踪代码、发现bug并改进应用程序性能。 

    主要特点:

    • 组合日志、错误和APM
    • 结构化/语义日志
    • 高级搜索和过滤功能
    • 查看和搜索自定义日志属性
    • 自动彩色编码以引起对错误和警告的注意
    • 跟踪和报告日志消息在代码中的起源
    • web请求和事务的详细跟踪
    • 查看完整的应用程序错误详细信息
    • 探索所有的日志字段
    • 日志分析
    • 实时日志跟踪
    • 使用标记(在日志中突出显示)
    • 支持多种应用程序和服务器日志

    成本:

    • QA/Pre-Prod服务器每月10美元起
    • 生产服务器每月25 - 50美元

    2. Logentries

    Logentries

    Logentries是一个基于云的日志管理平台,它使任何类型的计算机生成的日志数据都可以被任何规模的开发人员、IT工程师和业务分析小组访问。Logentries简单的登录流程确保任何业务团队都能从第一天就快速有效地开始理解他们的日志数据。

    主要特点:

    • 实时搜索和监控;上下文视图、自定义标记和实时跟踪搜索。
    • 不同类型和大小的基础设施的动态伸缩。
    • 对数据趋势进行深入的可视化分析。
    • 自定义警报和预定义查询的报告。
    • 现代安全功能,以保护您的数据。
    • 完美集成领先的聊天和性能管理工具。

    成本:

    • 免费版:$ 0
    • 入门版:39美元
    • 专业版:99美元
    • 社区版:265美元
    • 企业级:定制报价。

    3. GoAccess

    GoAccess

    GoAccess是一款实时日志分析软件,可以通过Unix系统的终端或浏览器运行。它提供了一个快速的日志记录环境,可以在数据存储在服务器上几毫秒内显示数据。

    主要特点:

    • 真正的实时;在终端环境中以毫秒为单位更新日志数据。
    • 自定义日志字符串。
    • 监视页面的响应时间;应用程序的理想选择。
    • 轻松配置;选择日志文件并运行GoAccess。
    • 实时了解您的网站访问者数据。 

    费用:免费(开源)

    4. Logz.io 

    Logz

    Logz.io使用机器学习和预测分析来简化从应用程序、服务器和网络环境的日志中查找关键事件和数据的过程。Logz.io是一个SaaS平台,它的后端基于云,是在ELK Stack - Elasticsearch、Logstash和Kibana的帮助下构建的。该环境提供了对您试图分析或理解的任何日志数据的实时洞察。 

    主要特点:

    • 使用ELK stack作为服务;分析云中的日志。
    • 认知分析提供了关键的日志事件,然后才能进行生产。
    • 快速设置;五分钟可部署到生产环境。
    • 动态扩展适应各种规模的业务。
    • 内置的数据保护,以确保您的数据保持安全和完整。

    成本:

    • 免费版:$ 0
    • 专业版:89美元起
    • 企业版:定制报价。

    5. Graylog

    Graylog

    Graylog是一个免费的、开源的日志管理平台,支持深入的日志收集和分析。在网络安全、IT Ops和DevOps团队中使用,您可以依靠Graylog的能力来识别任何潜在的安全风险,让您遵循遵从性规则,并帮助理解应用程序所遇到的任何特定错误或问题的根本原因。 

    主要特点:

    • 使用全面的处理算法丰富和解析日志。
    • 搜索无限数量的数据,找到你需要的。
    • 用于可视化输出日志数据和查询的自定义仪表板。
    • 自定义警报和触发器来监视任何数据故障。
    • 团队成员集中管理系统。
    • 用户及其角色的自定义权限管理。

    成本:

    • 免费版:开源
    • 企业版:起价为每年6000美元

    6. Splunk

    Splunk

    Splunk的日志管理服务主要针对企业客户,这些客户需要简洁的工具来搜索、诊断和报告与数据日志相关的任何事件。Splunk的软件支持基于多行方法对任何类型的日志(无论是结构化的、非结构化的还是复杂的应用程序日志)进行索引和解密。 

    主要特点:

    • Splunk可以理解任何类型的机器数据;服务器、web服务器、网络、交换机、大型机、安全设备等。
    • 用于实时搜索和分析数据的灵活UI。
    • 用于在日志文件中发现异常和熟悉模式的钻取算法。
    • 监控和警报系统,以保持对重要事件和行动的关注。
    • 使用自动化仪表板输出的可视化报告。

    成本:

    • 免费版:每天500MB数据
    • Splunk Cloud: 186美元起
    • Splunk Enterprise:起价2,000美元

    7. Logmatic 

    Logmatic

    Logmatic是一个广泛的日志管理软件,可以与任何语言或堆栈无缝集成。Logmatic在前端和后端日志数据上都能很好地工作,并且提供了一个上帝模式的在线仪表板,用于深入了解服务器环境中正在发生的有价值的见解和事实。 

    主要特点:

    • Upload和Go——共享任何类型的日志或指标,Logmatic将自动为您排序。
    • 自定义解析规则允许您从大量复杂数据中筛选模式。
    • 强大的算法,精确定位日志回他们的起源。
    • 用于扩展时间序列、饼图、计算指标、流程图等的动态仪表板。

    成本:

    • 入门级:49美元
    • 专业版:99美元
    • 企业级:349美元

    8. Logstash

    Elastic

    Elasticsearch的Logstash是管理、处理和传输日志数据和事件的最著名的开源项目之一。Logstash是一个数据处理器,可以同时组合和转换来自多个数据源的数据,然后将其发送到您最喜欢的日志管理平台,比如Elasticsearch。

    主要特点:

    • 从不同的数据源集摄取数据:日志、度量、web应用程序、数据存储、AWS,同时不丢失并发性。
    • 实时数据解析。
    • 从非结构化数据创建结构。
    • 用于数据安全的管道加密。

    成本:开源

    9. Sumo Logic

    SumoLogic

    Sumo Logic是一个统一的日志和度量的平台,帮助您分析您的数据在实时使用机器学习,Sumo Logic可以快速描述任何特定的错误或事件的根源,它可以设置时常保持警惕,正在发生的事情在实时应用程序。Sumo Logic的优点是它能够快速处理数据,不需要外部数据分析和管理工具。

    主要特点:

    • 所有日志和指标的统一平台。
    • 先进的分析使用机器学习和预测算法。
    • 快速设置。
    • 支持高分辨率度量。
    • 多租户:单个实例可以服务于用户组。

    成本:

    • 免费:每天500MB
    • 专业:90美元
    • 企业:150美元

    10. Papertrail

    Papertrail

    Papertrail是一个时髦的托管日志管理服务,它负责聚合、搜索和分析任何类型的日志文件、系统日志或基本文本日志文件。它的实时功能允许开发人员和工程师监控应用程序和服务器的实时事件。Papertrail提供与Slack、Librato和电子邮件等服务的无缝集成,帮助您设置趋势和任何异常的警报。 

    主要特点:

    • 简单易用的界面。
    • 简单的设置;将日志直接指向服务提供的链接。
    • 日志事件和搜索是实时更新的。
    • 全文搜索。消息、元数据,甚至子字符串。
    • 使用Librato、Geckoboard或您自己的服务绘制图形。

    成本:

    • 免费版:100 mb /月
    • 专业版:从每月7美元起,1GB/数据

    11. Fluentd 

    Fluentd

    Fluentd从各种数据源收集事件并将其写入文件、RDBMS、NoSQL、IaaS、SaaS、Hadoop等。Fluentd帮助您统一日志基础设施。Fluentd的旗舰特性是一个广泛的插件库,它在一个简洁的开发环境中为任何与日志和数据管理相关的东西提供扩展支持和功能。

    主要特点:

    • 统一日志层,可以从多个源解耦数据。
    • 为非结构化日志提供结构。
    • 灵活,但简单。花几分钟就能搞定。
    • 与大多数现代数据源兼容。

    成本:

    • 免费:开源
    • 企业:根据客户要求。

    12. syslog-ng 

    syslog-ng

    Syslog是一个开源的日志管理解决方案,它可以帮助工程师和DevOps从各种各样的数据源收集日志数据来处理它们,并最终将其发送到首选的日志分析工具。使用Syslog,您可以毫不费力地从现有堆栈中收集、减少、分类和关联日志数据,并将其向前推进进行分析。

    主要特点:

    • 开放源代码,拥有大量的社区追随者。
    • 任何规模的基础设施都可以灵活伸缩。
    • 插件支持扩展功能。
    • 用于在复杂数据日志中查找模式。
    • 数据可以插入到公共数据库选项中。

    费用:免费

     13. rsyslog

    rsyslog

    Rsyslog是一个为日志处理而构建的非常快的系统。它提供了出色的性能基准、严格的安全特性和用于定制修改的模块化设计。Rsyslog已经从一个单一的日志系统发展到能够解析和排序来自广泛来源的日志,然后它可以转换这些资源并提供一个输出,以便在专用的日志分析软件中使用。

    主要特点:

    • 易于实现在通用的web主机。
    • 允许您创建自定义解析方法。
    • 在线配置构建器。
    • 正则表达式生成器和检查器。
    • 定制开发可供租用。

    费用:免费

     14. LOGalyze

    LOGalyze

    LOGalyze是一种操作成本低、易于使用的日志收集和分析系统,集中用于日志管理,能够从操作系统的扩展源收集日志数据。LOGalyze实时进行预测事件检测,同时为系统管理员和管理人员提供正确的工具,以便轻松地索引和搜索成堆的数据。

    主要特点:

    • 高性能、高速的日志处理。
    • 日志-用于分解和索引日志行。
    • 集成的前端仪表板,有效的在线访问。
    • 安全日志转发到选定的应用程序。
    • PDF格式的自动报告。
    • 兼容Syslog, Rsyslog。
    • 它将传入的日志分解为字段并命名它们。

    成本:免费和开源

     15. jKool

    jKool

    jKool Cloud帮助用户了解他们的日志数据的重要信息,这些信息可以用于在任何商业环境中增强决策能力。jKool的平台通过挖掘用户和应用程序在服务器端和客户端活动的关键数据,帮助团队改善客户体验;使用全面的工具,您可以更好地了解用户如何使用您的应用程序,并根据您的发现进行改进。 

    主要特点:

    • 基于云,但可以部署在您自己的服务器基础设施上。
    • 多租户的团队和帐户管理。
    • 实时处理大量复杂的数据集。
    • 流查询,无需部署复杂的基础设施即可收集洞察力。
    • 用于可视化任何见解和重要数据的可视化图表仪表板。
    • 事件和基于位置的搜索查询的地理标记。
    • 用于引导模型的仿真引擎。

    成本:

    • 免费版:1 gb /每天
    • 企业版:自定义报价。

    16. Sentry

    Sentry

    Sentry是一个现代化的平台,用于管理、记录和聚合应用程序和软件中的任何潜在错误。Sentry的最新算法帮助团队检测应用程序基础设施中可能对生产操作至关重要的任何潜在错误。Sentry essential帮助团队避免了不得不处理一个太晚无法修复的问题的麻烦,而是使用它的技术帮助团队了解任何可能的回滚或修复,从而维持软件的健康状态。

    主要特点:

    • 详细的错误报告:URL、使用的参数和标题信息。
    • 图形界面,以了解某些错误的性质及其来源,以便您可以修复它们。
    • 使用SMS、电子邮件和聊天服务的动态警报和通知。
    • 在部署新版本应用程序时实时报告错误,以便在错误发生时进行监视,并最终在为时已晚之前加以预防。
    • 用户反馈系统,以比较任何潜在的错误报告与用户自己的经验。

    成本:

    • 免费版:每月10k/events
    • 专业版:12美元起
    • 企业版:根据客户要求。

    17.  Rocana

    Rocana

    Rocana提供了一个开箱即用的日志分析与其旗舰产品Rocana Ops - Rocana Ops是一个先进的分析平台,能够先进的异常检测,自动行为检测跨您现有的堆栈,并直接错误报告。一个无限的搜索功能可以让你深入挖掘日志的历史,并在你需要的范围内找出关键的错误和障碍,为你提供以前可能很难回答的问题的清晰答案。

    主要特点:

    • 系统性能度量的统计指标。
    • 加权风险分析通知为趋势(成功或失败)打分。
    • 自定义指标开箱即用。
    • 高度可伸缩,可以管理tb级的数据,没有任何性能问题。
    • 为Hadoop构建,以提供出色的后端性能。
    • 为IT操作提供简洁的业务数据。

    成本:根据客户要求。

    18. Flume

    Flume

    Apache Flume是一个精心设计的服务,用于帮助用户将数据直接流到Hadoop中。它的核心架构基于流数据流——这些数据流可用于从各种来源摄取数据,并与Hadoop直接连接,以便进行进一步的分析和存储。Flume的企业客户使用该服务将数据流到Hadoop的HDFS中;通常,这些数据包括数据日志、机器数据、地理数据和社交媒体数据。

    主要特点:

    • 多服务器支持从多个源获取数据。
    • 收集可以实时完成,也可以使用批处理模式集体完成。
    • 允许从常见的社交网络和电子商务网络中获取大量数据集进行实时分析。
    • 通过添加更多的机器来传输更多的事件,从而实现可伸缩性。
    • 可靠的后端构建与持久的存储和故障转移保护。

    费用:免费,开源

    19. Cloudlytics

    Cloudlytics

    Cloudlytics是一个SaaS初创企业,旨在改进对日志数据、账单数据和云服务的分析。尤其是针对AWS云服务,如CloudFront和S3 CloudTrail——使用Cloudlytics的客户可以根据这些服务提供的数据获得深入的见解和模式发现。Cloudlytics有三个管理模块,使用户可以灵活地选择监视环境中的资源、分析每月账单或分析AWS日志。

    主要特点:

    • 错误一出现就会发出实时警报。
    • 计费分析让您可以密切监视您的资源消耗。
    • 复杂的用户界面,以获得真正深入的数据视图。
    • 文件下载分析包括地理数据。
    • 用于备份和服务状态的自动化云管理。

    费用:每月5美元起。

    20. Scalyr

    Scalyr

    Scalyr的现代技术通过用一个独立的集成服务替代传统工具(监视、度量、分析和跟踪),使Ops团队能够体验到更高水平的性能和工作效率。Scalyr的基础设施允许任何DevOps团队在几秒钟内浏览TB级的数据。Scalyr可以用作您自己的任何服务上的独立代理,也可以从Heroku、AWS和Fluentd等服务导入数据。 

    主要特点:

    • 集中日志管理和服务器监控。
    • 在所有服务器上搜索数百个GBs/秒。
    • 观察过滤后的消息和事件实时出现。
    • 将日志和度量数据转换为具有视觉吸引力的图表。
    • 用于快速访问系统性能和报告的系统概述仪表板。
    • 强大的警报管理器,使您可以随时了解您的系统中正在发生的事情。
    • 错误和警报报告可以追溯到根源问题。

    成本:

    • 白银级:99美元
    • 黄金级:249美元
    • 铂金级:499美元

    21. Octopussy

    Octopussy

    Octopussy是一个基于perl的开源日志管理器,它可以进行警报、报告和数据可视化。它的基本后端功能是分析日志,根据日志数据生成报告,并向管理部门警告任何相关信息。

    主要特点:

    • 轻量级目录访问协议,用于维护用户列表。
    • 通过电子邮件、Jabber、Nagios和Zabbix自定义警报通知。
    • 生成自定义报告,并使用FTP、SCP或电子邮件导出它们。
    • 创建自定义映射来理解后端体系结构。
    • 定制支持流行的服务和软件:思科,Postfix, MySQL, Syslog等。
    • 接口和报告的自定义模板。

    费用:免费

    22. LOGStorm

    LOGStorm

    LOGStorm是一个符合SIEM的日志管理解决方案,具有易于实现和使用的高级特性。考虑到安全因素,LOGStorm专注于帮助Ops团队识别威胁、入侵和入侵之前或出现时的情况。LOGStorm的成本友好的管理和监控解决方案使任何规模的团队都可以更好地理解他们的数据在做什么以及为什么这样做。

    主要特点:

    • 实时威胁分析允许您在威胁发生时识别它们,从而防止它们对您的网络产生负面影响。
    • 相关算法,以了解事件发生的原因,以及是否有需要识别的模式。
    • 集中存储日志,便于访问事件数据、记录和原始日志。
    • 广泛的设备支持确保与1000多个设备、系统和应用程序集成。
    • 即使没有预先的安全资源,也可以轻松地设置和配置操作。

    成本:根据客户要求。

    23. NXLog

    NXLog

    当真正深入地理解事件发生的原因和日志报告的内容时,当今IT部门的环境可以提供一层挑战。由于来自大量数据源的数千个日志条目,并且需要实时分析日志,因此了解如何在集中的环境中管理所有数据可能会出现困难。NXLog力求提供所需的工具,以便对来自各种平台、源和格式的日志进行简洁的分析。NXLog可以从各种格式的文件中收集日志,在所有支持的平台上通过UDP、TCP或TLS/SSL远程接收来自网络的日志。

    主要特点:

    • 对Linux、GNU、Solaris、BSD、Android和Windows的多平台支持。
    • 模块化环境通过可插拔插件。
    • 可伸缩和高性能的能力,收集日志在500,000每股收益或更多。
    • 消息队列使您能够缓冲日志并对日志进行优先级排序,这样它们就不会在管道中丢失。
    • 任务调度和日志循环。
    • 用于转换、传输和一般后处理的脱机日志处理功能。
    • 通过SSL进行安全的网络传输。

    成本:免费(社区版),企业版(按需)

    24. Sentinel Log Manager

    Sentinel Log Manager

    NetIQ是一家企业软件公司,专注于与应用程序管理、软件操作、安全和日志管理资源相关的产品。Sentinel日志管理器是一组软件应用程序,允许企业利用轻松的日志收集器、分析服务和安全存储单元等特性来保持数据的可访问性和安全性。Sentinel的成本效益和灵活的日志管理平台使企业能够方便地实时审计其日志,以发现任何可能的安全风险,或可能扰乱生产软件的应用程序威胁。 

    主要特点:

    • 分布式搜索——查找本地或全局Sentinel日志管理器服务器上事件的详细信息。
    • 即时报告-根据您的搜索查询创建详细的一键报告。
    • Sentinel日志管理器附带了用于公共监管报告的报告。这些预定义的报告减少了必须花在遵从性上的时间。
    • 选择从传统的面向文本的搜索或构建自定义,以及更复杂的搜索查询自己。
    • 支持非专有存储系统。
    • 直观的存储分析,让您知道什么时候可以预期需要更多的存储可用性,基于当前的消费率。
    • 通过网络进行日志加密,为您的日志数据提供一个加固的安全层。

    成本:根据客户要求定制报价。

    25. XpoLog

    XpoLog

    XpoLog寻找新的和创新的方法来帮助客户更好地理解和掌握他们的IT数据。凭借领先的技术平台,XpoLog专注于帮助客户分析他们的IT数据,使用独特的专利和算法,适用于所有的操作规模。该平台大大缩短了解决问题的时间,并为企业IT环境提供了丰富的智能、趋势和见解。

    主要特点:

    • 用于通过SSH连接收集实时数据的无代理技术。
    • 通过HTTP或Syslog、Fluentd和LogStash等传统选择收集日志事件。
    • XpoLog的技术可以解释任何日志格式,包括存档文件的格式。
    • 从动态或自动解析规则中选择。
    • 动态搜索平台,在类似google的搜索环境中提供全面的搜索功能。
    • 跨活动日志数据搜索应用程序问题、id、ip、错误、异常等等。
    • 使用搜索函数,用户可以筛选和研究日志,并应用复杂函数聚合和关联索引数据中的事件。

    成本:

    • 免费版:1GB /天
    • 专业版:9美元起
    • 企业版:定制报价。

    26. EventTracker

    EventTracker

    EventTracker为其客户提供业务优化服务,帮助关联和识别可能影响IT部门整体性能、安全性和可用性的系统更改。EventTracker使用SIEM创建一个强大的日志管理环境,可以通过简洁的监控工具检测更改,并提供USB安全保护,以防止IT基础设施受到新出现的安全攻击。EventTracker SIEM整理数以百万计的安全和日志事件,并在动态仪表板中提供可操作的结果,这样您就可以在维护归档文件以满足法规保留要求的同时,精确地找到折衷的指标。

    主要特点:

    • 使用MD5和VirusTotal进行恶意软件检测和自动审计。
    • 基于模式的网络范围内的威胁搜索。
    • 构建在Snort和OpenVAS成功的基础上,为广泛的安全度量和审计提供了一个用户友好的环境。
    • 简单的软件部署,使其能够快速启动和运行。
    • 针对数百种安全和操作条件预先配置的警报。

    费用:2000美元起

    27. LogRhythm

    LogRhythm

    在日志数据的海洋中迷失你的注意力可能会对你的工作和业务生产力有害。您知道您需要的信息在这些日志中的某个位置,但是没有足够的能力从其他日志中提取出来。LogRhythm是新一代的日志管理平台,它可以为您完成所有打开数据的工作。使用全面的算法和Elasticsearch的集成,任何人都可以识别关于业务和IT操作的重要见解。LogRhythm专注于确保您的所有数据都被理解,而不是单独收集数据,只从其中获取您需要的数据。

    主要特点:

    • 智能数据收集技术允许您收集、分析和解析几乎任何类型的数据。
    • Elasticsearch后端,用于结束简单或复杂的搜索查询,以闪电般的速度通过您的数据。
    • 临界攻击监控到发生的第一秒和最后一秒。
    • 高级可视化仪表板,帮助您快速了解数据是如何起源的,以及是否存在威胁。
    • 通过以较低的成本归档数据来满足遵从性和数据保留需求。

    成本:起价24000美元。

    28. IPSwitch

    IPSwitch

    来自Ipswitch的WhatsUp日志管理套件是基于实时收集、分析、报告、警报和存储日志数据的应用程序的模块化管理解决方案。这为您提供了实时理解数据的工具,以检测事件并防止安全事故。日志数据充满了关于组织如何防止自身受到威胁、攻击、恶意软件和任何数据丢失的深刻信息。考虑到日志文件在任何时候都来自大量的源,手工完成所有的工作都很困难,尽管这几乎是不可能的,这就是为什么WhatsUp套件是日志管理和分析的完美解决方案。 

    主要特点:

    • 日志的自动归档和收集;在单个框架内清除和合并。
    • 有助于实时地密切关注日志文件的情况。
    • 创建自定义分析查询并构建报告来理解日志数据和趋势。
    • 在一个控制台中跨所有服务器和工作站进行深入的取证。
    • 使用FIPS 140-2进行高级加密。

    费用:1300美元起。

    29. McAfee Enterprise

    McAfee Enterprise

    McAfee是IT和网络安全领域的一个家喻户晓的名字,并以为各种规模的企业和企业提供现代化和最新的技术优化工具而闻名。McAfee企业日志管理器是一个针对所有类型日志的自动化日志管理和分析套件;事件、数据库、应用程序和系统日志。软件内置的功能可以识别和验证日志的真实性——出于遵从性的原因,这是一个真正必要的功能。各组织一直在使用McAfee来确保其基础设施符合最新的安全策略。McAfee企业符合240多项标准。

    主要特点:

    • 通过自动化日志收集、管理和存储,降低遵从性成本。
    • 本机支持收集、压缩、签名和存储所有根事件,以便可以追溯到它们的起源。
    • 为单个日志源定制存储和保留选项。
    • 选择从本地或网络存储区域进行选择。
    • 支持拘留和取证链。
    • 用于灵活、长期日志存储的存储池。

    成本:3万美元起。

    30. AlienVault

    AlienVault

    AlientVault USM(统一安全管理)使用强大的AIO (All in One)安全防范措施和全面的威胁分析算法来识别物理位置或云位置的威胁,远远超出了SIEM解决方案的能力。依赖SIEM的依赖于资源的IT团队面临着延迟发现和分析威胁的风险,而AlienVault USM结合了SIEM的强大特性,并将其与直接日志管理和其他安全特性集成在一起,比如;资产发现、漏洞评估和直接威胁检测——所有这些都为安全监视提供了一个集中的平台。

    主要特点:

    • 通过集成第三方安全工具,节省了成本。
    • 预先编写的配置允许您从一开始就检测威胁。
    • 由AlientVault实验室提供的全面安全情报。
    • 杀手链分类法,用于快速评估威胁、它们的意图和策略。
    • 用于深入搜索和安全数据分析的细粒度方法。
    • 网络和主机id。

    成本:1万美元起。

    31. Bugfender

    Bugfender

    并不是每个人都需要日志管理的企业解决方案,事实上,许多当今最知名的企业仅仅只用手机平台上运作,这是一个市场,即Bugfender试图依靠其高质量的日志应用程序在你的移动应用APP上基于云计算分析生成的日志和用户行为。

    主要特点:

    • 直观的bug分析可以让您跟踪应用程序的错误,并在它们投入生产之前修复它们。
    • 为客户提供更好更精准的客户支持。
    • 远程日志将所有日志数据直接发送到Bugfender提供的云服务。
    • 为单个设备定制日志记录选项。
    • 脱机数据存储,以便在设备恢复联机后将数据传输到活动服务器。
    • 扩展了所有日志会话的设备信息。

    成本:

    • 免费版:每天10万行日志
    • 初级版:29美元
    • 商业版:99美元
    • 加强版:349美元

    32. LogDNA

    LogDNA

    LogDNA自豪地认为自己是最简单的日志管理平台。LogDNA基于云的日志服务使工程师、DevOps和IT团队能够在一个简单的仪表板中吸收任何应用程序或系统日志。使用CMD或Web界面,您可以实时搜索、保存、跟踪和存储所有日志。使用LogDNA,您可以诊断问题,识别服务器错误的来源,分析客户活动,以及监视Nginx、Redis等。一个实时流媒体的追踪使得表面上难以发现的漏洞变得容易。 

    主要特点:

    • 从您喜欢的系统收集日志,包括Linux、Mac、Windows、Docker、Node、Python、Fluentd等等。
    • 易于使用和实验演示环境的实时产品预览。
    • 强大的算法来识别和检测数据和问题之间的核心关系。
    • 实时数据搜索、筛选和调试。
    • 由一群有理想的人创建,他们热衷于实现新特性和工具集。
    • 与开源社区保持密切关系,提供透明度。

    成本:

    • 免费版:无限/单用户
    • 加强版:每GB 1.25美元起,根据需要定制功能。

    33. Prometheus

    Prometheus

    Prometheus是一个系统和服务监控系统,它以指定的时间间隔从配置的目标收集指标,评估规则表达式,显示结果,并在满足预定义条件时触发警报。Prometheus储存库拥有DigitalOcean、SoundCloud、Docker、CoreOS等无数客户,是开源项目如何与领先技术竞争、如何在系统和日志管理领域创新的绝佳范例。

    主要特点:

    • 一种自定义查询语言,用于深入挖掘数据,然后可以使用这些数据创建图形、图表、表和自定义警报。
    • 数据可视化方法的选择:Grafana、Console和内置表达式引擎。
    • 有效的存储技术,以适当地缩放数据。

    费用:免费,开源

    34. ScoutApp

    ScoutApp

    Scout是一个特定于语言的监控应用程序,它可以帮助Ruby on Rails开发人员识别代码错误、内存泄漏等等。Scout以其简单而高级的UI而闻名,它提供了一种轻松的体验,可以实时了解Ruby on Rails应用程序的运行情况。最近的业务扩展也使Scout能够为Elixir-built的应用程序扩展其功能。

    主要特点:

    • 内存泄漏检测。
    • 数据库查询分析缓慢。
    • 与GitHub的强大集成。
    • 自动依赖设备。

    成本:$ 59 /服务器/月

    35. Motadata

    Motodata

    Motadata不仅仅管理日志;它可以使用平台内内置的本地应用程序关联、集成和可视化任何it数据。除了世界级的日志管理之外,Motadata还能够监视网络、服务器和应用程序的状态和健康状况。上下文警报确保您可以睡得很好,因为任何重要事件或预定义的阈值都会使用电子邮件、消息传递或聊天应用程序等常用平台通知您或您的团队。

    主要特点:

    • 广泛的日志源选项:防火墙、路由器、交换机、服务器(Web、App、Sys)、数据库、反恶意软件、邮件服务器等等。
    • 在发生安全漏洞时,迅速收集必要的数据。
    • 深入的关键字搜索,确定您所有日志中的特定术语。
    • 审计分析,以发现贯穿日志数据的重要见解和趋势。
    • 与Jira、Jetty、AWS、IIS、Oracle、Microsoft等应用程序的本机集成。

    费用:30天免费试用

    36. InTrust

    InTrust

    InTrust为您的IT部门提供了一组灵活的工具,用于在一个仪表板中收集、存储和搜索来自一般数据源、服务器系统和可用性设备的大量数据。InTrust提供了关于用户使用您的产品所做的事情的实时视图,以及这些操作通常如何影响安全性、遵从性和操作。有了InTrust,你就可以了解谁在你的应用程序和软件中做什么,让你在必要时做出关键的数据驱动决策。

    主要特点:

    • 使用预先构建的模板和算法进行安全性和取证分析。
    • 在有关用户、文件和事件的数据中进行简洁而动态的调查。
    • 对来自Enterprise Reporter的审计数据进行智能搜索,并更改审核员,以改进安全性、遵从性和操作,同时消除来自其他工具的信息竖井。
    • 轻松地将您的Windows系统数据转发到SIEM解决方案以进行更深入的分析。

    成本:免费试用企业解决方案。

    37. Nagios

    Nagios

    Nagios提供了一个完整的基于其Nagios日志服务器平台的日志管理和监控解决方案。使用Nagios,这个市场上领先的日志分析工具,您可以提高所有系统的安全性,了解您的网络基础设施及其事件,并访问关于您的网络性能以及如何稳定网络性能的清晰数据。 

    主要特点:

    • 一个功能强大的开箱即用仪表板,为客户提供了一种过滤、搜索和全面分析任何传入日志数据的方法。
    • 通过多个服务器集群扩展可用性,因此在停机时不会丢失数据。
    • 基于查询和IT部门的自定义警报分配。
    • 当你的数据通过管道传输时,你可以进入实时数据流。
    • 易于管理集群使您可以向现有的日志管理基础设施添加更多的功能和性能。

    费用:$1995起。

    38. lnav

    lnav

    如果目前企业级日志管理软件已经让您不堪重负,那么您可能想研究一下LNAV——一种用于小型IT团队的高级日志数据管理器。通过直接的终端集成,可以实时接收日志数据。您不必担心设置任何东西,甚至不需要额外的服务器;这一切都发生在您现有的服务器上,而且非常漂亮。为了运行LNAV,您需要获得以下包:libpcre、sqlite、ncurses、readline、zlib和bz2。

    主要特点:

    • 直接运行在您的服务器终端;易于打开、关闭和管理。
    • 点拍概念,指定日志目录并开始监视。
    • 自定义过滤器会自动过滤掉日志数据的“垃圾”部分。

    成本:开源

    39. Seq

    Seq

    Seq是一个针对.NET应用程序的特定日志软件。开发人员可以很容易地使用Seq来监视日志数据和性能,通过从应用程序开发到生产级别的整个过程。从一个简单的事件仪表板中搜索特定的应用程序日志,并了解当您推进最终迭代时应用程序的进展或执行情况。 

    主要特点:

    • 结构化日志提供了对事件及其相互关系的丰富视图。
    • 直观的过滤器允许开发人员使用类似sql的表达式或等价的JavaScript和c#操作符。
    • 全文的支持。
    • 过滤器数据库,用于根据搜索内容创建和保存过滤器。
    • 使用SQL语法进行自定义分析和图表绘制。

    成本:

    • 一次性授权:免费
    • 团队:190美元
    • 商务:690美元
    • 企业:1990美元

    40. Logary

    Logary

    Logary是一个针对Mono和.net的高性能、多目标日志记录、度量、跟踪和健康检查库。作为下一代日志软件,Logary使用您的应用程序进程历史来构建模型。

    主要特点:

    • 从类模块进行日志记录。
    • 自定义日志字段和模板功能。
    • 定制适配器:EventStore、FsSQL、Suave、Topshelf。

    成本:开源

    41. EventSentry

    EventSentry

    EventSentry是一个获奖的监视解决方案,它包含一个用于可视化、测量和调查网络流量的新NetFlow组件。这个日志管理工具帮助系统管理员和网络专业人员实现更多的正常运行时间和安全性。

    主要特点:

    • 查看通过支持NetFlow的网络设备的所有流量元数据。
    • 利用网络流量数据进行故障排除。
    • 将网络流量映射到地理位置。
    • 通过在web报告中添加注释或通过@提到计算机名称上载文档来通信和记录您的网络,以便web报告可以将更新与网络上的适当设备关联起来。
    • 自动从事件中提取IP地址,并用反向查找和/或地理IP查找数据补充它们。
    • 中央收集器服务支持通过强TLS加密在不安全介质上收集数据。

    成本:

    • 完整许可:$85/Windows设备+免费维护年,每增加一年$15.30 -每次购买多个许可时价格下降
    • 网络设备许可证:起价$58 +免费维护年-价格下降时,购买多个许可证一次
    • NetFlow许可证:$1,299/collector +免费维护年,每增加一年$233.82

    42. Logsign

    LogiSign

    Logsign是一个集日志管理、安全分析和遵从性于一体的完整SIEM解决方案,它是下一代解决方案,提高了人们的认识,并允许系统管理员和网络专业人员实时响应。

    主要特点:

    • 由于其灵活和可伸缩的架构,Logsign提供了高可用性和冗余。
    • 能够通过基于hdfs的NoSQL架构在几秒钟内访问数百万数据。
    • 威胁情报嵌入相关性。
    • 发现下一代威胁并采取预防措施。
    • 检测内部和外部威胁、漏洞。
    • 大容量测井分类。
    • 多机器相关的体系结构。
    • 数百个预定义的仪表板和报告。
    • 优化遵从性(PCI DSS、ISO 27001、HIPAA、SOX、NERC…)和信息安全流程。

    费用:免费试用;报价联系人

    43. Loom Systems

    Loom Systems

    Loom Systems提供人工智能驱动的日志分析,以监视您的数字系统。先进的人工智能分析平台可以预测和防止数字业务中的问题,方法是连接到您的数字资产,并通过读取日志和检测什么时候可能出现问题来持续监视和了解这些资产。 

    主要特点:

    • 任何类型的应用程序的自动日志解析。
    • 问题预测和交叉应用相关性。
    • 自动的根本原因分析和推荐的解决方案。
    • 从任何应用程序中传输所有日志,并实时自动解析和分析它们。
    • 利用人工智能实时提供问题的根源。

    费用:免费试用

    • 入门级:$999/月- 1个用户,无限数据,最多10个监控实例,访问完整功能集,专用安全云服务器,无限警报
    • 团队版:联系报价- 5个用户,所有启动功能,加上多达100个监控实例,专门的客户经理,和启动培训会议
    • 商务版:联系报价- 20个用户,所有团队特性,加上多达1000个受监视的实例,每周与专家分析师和企业SLA进行一次会议

    44. SolarWinds Log & Event Manager

    SolarWinds Log & Event Manager

    SolarWinds提供IT管理软件和监控工具,如日志和事件管理器。此日志管理工具通过规范化日志数据来处理安全性、遵从性和故障排除,从而快速发现安全事件并轻松地进行故障排除。 

    主要特点:

    • 基于节点的许可。
    • 实时事件相关。
    • 实时修复。
    • 文件完整性监测。
    • USB保护者。
    • 可配置的仪表板。
    • 定期搜索。
    • 用户定义的组。
    • 自定义电子邮件模板。
    • 威胁情报反馈。

    费用:免费试用;起价4495美元

    45. ManageEngine EventLog Analyzer

    ManageEngine EventLog Analyzer

    ManageEngine为您的所有业务需求创建全面的IT管理软件。他们的EventLog Analyzer是一款面向SIEM的IT遵从性和日志管理软件,是目前市场上性价比最高的软件之一。

    主要特点:

    • 通过从一个集中的控制台收集、分析、关联、搜索、报告和存档,自动化管理机器生成的tb级日志的整个过程。
    • 监视器文件的完整性。
    • 进行日志取证分析。
    • 监控特权用户。
    • 遵守各种规章制度。
    • 分析日志以立即生成许多报告,包括用户活动报告、历史趋势报告等等。

    费用:免费试用;报价另议

    46. PagerDuty

    PagerDuty

    PagerDuty帮助开发人员、ITOps、DevOps和企业保护他们的品牌声誉和客户体验。PagerDuty是一个事件解决平台,它可以自动化您的解决方案,并提供全堆栈可视性,并提供可操作的见解,以获得更好的客户体验。

    主要特点:

    • 可视化客户体验的每个维度。
    • 通过相关事件的可操作的、时间序列可视化,获得事件情报,并了解跨基础设施的中断上下文。
    • 响应编排以支持更好的协作和快速解决。
    • 发现性能中的模式并查看事后报告,以分析系统效率。

    费用:免费试用14天

    • 精简版:每年9美元/月或每月10美元/月-无限通知,180+与顶级工具的集成,警报分类和重复,可靠的通知和升级,以及更多
    • Basic:每年29美元/月或每月34美元/月-无限通知,200+与顶级工具的集成,所有Lite功能,加上事件丰富,事件紧急,随叫随到调度,等等
    • 标准:每年49美元/月或每年59美元/月-无限通知,200+与顶级工具的集成,所有基本功能,加上协调响应,事件订阅,事后检查,等等
    • 企业版:每月99美元,每年收费-无限通知,200+与顶级工具的集成,所有标准功能,加上操作命令控制台,基础设施健康应用程序,多用户,实时所有路由,等等

    47. BLËSK

    BLÃSK

    BLESK事件日志管理器是一个直观、全面、经济有效的iT和网络管理软件解决方案。使用BLESK,您可以在零安装和零配置的情况下自动收集日志和事件数据。

    主要特点:

    • 将日志和事件数据存储在一个地方。
    • 集中、分析和控制网络上所有设备的日志等等。
    • 闪电般的快速访问您的网络上数以百万计的日志条目。
    • 从任何设备实时收集日志和事件数据。
    • 快速、简单的日志收集,以满足不同的扩展需求。

    费用:免费试用;报价另议

    48. ALog SMASH

    ALog SMASH

    ALog SMASH是一个顶级日志管理工具,它收集日志数据,用于监视对服务器的访问,这些服务器存储了可以通过端点访问的重要信息。ALog SMASH工作在服务器级别,运行成本低于客户机PC日志监控工具。

    主要特点:

    • 监控所有关键数据访问的状态。
    • 收集日志文件并将其转换为可用的、可操作的信息。
    • 超压缩将转换后的文件减小到原始大小的1/40,000以下。
    • 索引文件,便于搜索。
    • 可定制的设置,更容易,更有效的检测。

    费用:免费试用;ALog SMASH 1服务器许可证:$1,740 -包括第一年的维护费用

    49. Alert Logic Log Manager

    Alert Logic Log Manager

    Alert Logic提供了完整的堆栈安全性和遵从性。他们的ActiveWatch日志管理器是一个安全即服务的解决方案,可以满足遵从性需求,并识别环境中的任何地方的安全问题,甚至是在公共云中。

    主要特点:

    • 收集、处理和分析数据,同时ActiveWatch团队解锁日志数据中的洞见。
    • 24×7专家监测分析。
    • 基于云计算的日志管理。
    • 增加可视性,快速自定义报告,可伸缩,实时日志收集和日志管理。
    • 易于使用的web界面与直观的搜索界面。
    • 超过4,000个解析器可用,并经常添加新的日志格式支持。
    • 强大的关联能力。

    成本:联系报价

    50. WhatsUp Gold Network Monitoring

    Alert Logic Log Manager

    WhatsUp Gold Network Monitoring是一个日志管理工具,它提供了高级可视化特性,使IT团队能够更快地做出决策并提高生产力。使用WhatsUp Gold,您可以交付网络可靠性和性能,并确保优化性能,同时最小化停机时间并持续监视网络。

    主要特点:

    • 使用一个灵活的许可证监视应用程序、网络、服务器、vm和流量流。
    • 使用交互式网络映射可视化您的端到端网络。
    • 发现问题并更快地进行故障排除,以提供最佳的可用性和较低的MTTRs。
    • 独特的、可负担的基于消费的授权方式。
    • 应用程序监视、网络流量分析、配置管理、发现和网络监视以及虚拟环境监视。

    费用:免费试用30天

    • WhatsUp黄金基本版:起价1755美元/许可证-网络监控基本版
    • WhatsUp黄金专业版:起售价2415美元/许可-主动服务器和网络监控
    • WhatsUp Gold:起步价为$3,495/许可——你的基础设施和应用程序的可见性

    51. Loggly

    Loggly

    Loggly是一个基于云的日志管理服务,它可以实时深入挖掘大量的日志数据,同时提供关于如何改进代码和提供更好的客户体验的最重要信息。Loggly的旗舰日志数据收集环境意味着您可以使用HTTP和Syslog等传统标准,而不必在每个服务器上分别安装复杂的日志收集器软件。

    主要特点:

    • 收集和理解来自任何源的文本日志,无论是服务器端还是客户端。
    • 即使你超出了账户的限制,也要记录你的日志。(箴&企业)
    • 自动解析来自普通web软件的日志;Apache、NGINX、JSON等。
    • 自定义标记允许您在整个日志数据中查找相关错误。
    • 最先进的搜索算法,用于做一个全局搜索,或个人基于设置值。
    • 数据分析仪表板,让您直观地看到您的日志数据。

    成本:

    • Lite:免费
    • 标准版:99美元
    • 专业版:199美元
    • 企业版:349美元
    展开全文
  • 分析搜索引擎蜘蛛爬行情况(百度、google、雅虎等)
  • APACHE日志分析工具

    2014-06-25 17:38:04
    很多apache日志分析工具都是要安装到服务器上的,而且安装非常麻烦,于是我写了一个单机版(exe,Windows),方便大家分析apache访问日志,绿色版的,直接解压就可以用。 功能: 1、导入apache访问日志; 2、访问...
  • ThinkPhp日志文件遍历工具,主要面对日志文件未编写
  • 工作中需要查日志,在日志中发现grep不能把一个时间戳中的内容都搜索到,因为grep只能按行读文件,于是自己写了一款查日志工具,可以实现多文本、多正则表达式匹配文本并打印。源代码分享如下: /* * To change ...

    工作中需要查日志,在日志中发现grep不能把一个时间戳中的内容都搜索到,因为grep只能按行读文件,于是自己写了一款查日志的工具,可以实现多文本、多正则表达式匹配文本并打印。源代码分享如下:

    /*
     * To change this license header, choose License Headers in Project Properties.
     * To change this template file, choose Tools | Templates
     * and open the template in the editor.
     */
    package findtextinlog;
    
    import java.util.ArrayList;
    import java.util.Iterator;
    
    /**
     *
     * @author Lion
     */
    public class FindTextInLog {
    
        /**
         * @param args the command line arguments
         */
        public static void main(String[] args) {
            
            double startTime = System.currentTimeMillis();
            
            // TODO code application logic here
            FileUtil myFile = new FileUtil("C:\\test.log","[2]\\d\\d\\d-\\d\\d-\\d\\d \\d\\d:\\d\\d:\\d\\d");
            String myString = "保存需求上报流程数据";
            String myString2 = "计通[2015]66号《关于下发《基于全过程的管线资源建设管理要求》的通知》";
            
            ArrayList findRegexTextResult = new ArrayList();
            
            ArrayList<LineItem> myList = myFile.getItemArrayList();
            
            for(LineItem a:myList)
            {
                String tmp = a.getTextString().toString();
                
                if(StringUtil.findTextIgnoreCase(tmp, myString) && StringUtil.findTextIgnoreCase(tmp, myString2))
                {
                    System.out.println(tmp);
                }
                
            }
            
            double endTime = System.currentTimeMillis();
            System.out.println("The program running: "+(endTime-startTime)/1000);
            
        }
        
    }
    
    /*
     * To change this license header, choose License Headers in Project Properties.
     * To change this template file, choose Tools | Templates
     * and open the template in the editor.
     */
    package findtextinlog;
    
    
    import java.util.regex.Matcher;
    import java.util.regex.Pattern;
    
    /**
     *
     * @author Lion
     */
    public class StringUtil {
        //定义要找到的关键字
        public String text;
        
        //定义要找到的规则
        
        
        public StringUtil(String aString){
            text = aString;
        }
        
        
        public static boolean findTextIgnoreCase(String sourceString, String text){
            String ignoreCaseString = sourceString.toLowerCase();
            String ignoreText = text.toLowerCase();
            
            CharSequence textSequence;
            textSequence = ignoreText.subSequence(0,ignoreText.length());
            
            return ignoreCaseString.contains(textSequence);    
        }
        
        public static boolean findTextNotIgnoreCase(String sourceString, String text){
            CharSequence textSequence = text.subSequence(0, text.length());
            return sourceString.contains(textSequence);
        }
        
        public static boolean findPattern(String sourceString, String myParttern){
            Pattern pattern = Pattern.compile(myParttern);
            Matcher matcher;
            matcher = pattern.matcher(sourceString);
            return matcher.find();
        }
        
        public static String getPatternString(String sourceString , String myPattern){
            Pattern pattern = Pattern.compile(myPattern);
            Matcher matcher;
            matcher = pattern.matcher(sourceString);
            if(matcher.find()){
                return matcher.group();
            }
            else
                return null;
        }
        
    //    public static void main(String[] args){
    //        String a = "我爱北京天安门";
    //        String b = "北京a";
    //        
    //        String c = "abcdefghigk";
    //        String d = "K";
    //        String e = "x ";
    //        System.out.println("aaaaaaa");
    //        System.out.println(findTextIgnoreCase(a,b));
    //        System.out.println(findTextNotIgnoreCase(c,d));
    //        
    //        String xx = "我爱北京天安门*************";
    //        
    //        String abc = "2015-11-20 11:26:24,434 [WebContainer : 13] INFO  com.mocha.bpm.hncmcc.itxq.action"
    //                + ".ReportingProcessAction:"
    //                + "356  - 保存需求上报流程数据";
    //        
    //        String part ="[2]\\d\\d\\d-\\d\\d-\\d\\d \\d\\d:\\d\\d:\\d\\d";
    //        
    //        System.out.println(findPattern(abc,part));
    //        System.out.println(getPatternString(abc,part));
    //        
    //        ArrayList mylist = new ArrayList();
    //        mylist.add(1);
    //        mylist.add(2);
    //        System.out.println(mylist.size());
    //        System.out.println(mylist.get(mylist.size()-1));
    //        
    //        try {
    //         
    //            
    //            InputStreamReader isr = new InputStreamReader(new FileInputStream(new File("C:\\test.log")), "gb2312"); 
    //            BufferedReader myB = new BufferedReader(isr);
    //            String aa = myB.readLine();
    //            System.out.println(aa);
    //            myB.close();
    //            isr.close();
    //            
    //        } catch (FileNotFoundException ex) {
    //            Logger.getLogger(StringUtil.class.getName()).log(Level.SEVERE, null, ex);
    //        } catch (IOException ex) {
    //            Logger.getLogger(StringUtil.class.getName()).log(Level.SEVERE, null, ex);
    //        }
    //        
    //    }
        
    }
    

    /*
     * To change this license header, choose License Headers in Project Properties.
     * To change this template file, choose Tools | Templates
     * and open the template in the editor.
     */
    package findtextinlog;
    
    /**
     *
     * @author Lion
     */
    public class LineItem {
        public String date;
        public StringBuffer textStringB;
        
        public String getDate(){
            return date;
        }
        
        public StringBuffer getTextString(){
            return textStringB;
        }
        
        public LineItem(String date, String textString){
            this.date = date;
            StringBuffer myStringBuffer = new StringBuffer(textString);
            this.textStringB = myStringBuffer;
        }
        
        public void appendString(String text){
            this.textStringB.append(text);
        }
        
    }
    

    /*
     * To change this license header, choose License Headers in Project Properties.
     * To change this template file, choose Tools | Templates
     * and open the template in the editor.
     */
    package findtextinlog;
    
    import java.io.BufferedReader;
    import java.io.FileInputStream;
    import java.io.FileNotFoundException;
    import java.util.ArrayList;
    import java.io.IOException;
    import java.io.InputStreamReader;
    import java.util.logging.Level;
    import java.util.logging.Logger;
    
    /**
     *
     * @author Lion
     */
    public class FileUtil {
        
        private ArrayList<LineItem> itemArrayList;
        
        public String textURL;
        
        public FileUtil(String url, String regex){
            textURL = url;
            try {
                itemArrayList = new ArrayList();
                
                //这里比较重要,通过这样的转换消除了中文乱码问题
                InputStreamReader myInputStreamReader = new InputStreamReader(new FileInputStream(url),"gb2312");
           
                BufferedReader myBufferedReader = new BufferedReader(myInputStreamReader);
                
                String valueString = null;
                    while ((valueString = myBufferedReader.readLine())!=null){
                        //System.out.println("* "+valueString);
                        if(StringUtil.findPattern(valueString, regex)){
                            String date = StringUtil.getPatternString(valueString, regex);
                            itemArrayList.add(new LineItem(date, valueString));
                        }
                        else if(itemArrayList.isEmpty()){
                            itemArrayList.add(new LineItem("",valueString));
                        }
                        else{
                            int size = itemArrayList.size();
                            itemArrayList.get(size-1).appendString(valueString);
                        }
                    }
                    myBufferedReader.close();
                   myInputStreamReader.close();
                
            } catch (FileNotFoundException ex) {
                Logger.getLogger(FileUtil.class.getName()).log(Level.SEVERE, null, ex);
            } catch (IOException ex) {
                Logger.getLogger(FileUtil.class.getName()).log(Level.SEVERE, null, ex);
            }
        }
        
        public ArrayList getItemArrayList(){
            return this.itemArrayList;
        }
        
        
        
    }
    



    展开全文
  • svn 日志管理工具

    2011-10-17 17:04:13
  • TCG日志检索 可以使用Get-TCGLogContent函数检索未分析的TCG日志(也称为测量的启动日志)内容。 以下是一些检索日志内容的示例: Get-TCGLogContent - LogType SRTMBoot 这将检索上次干净启动的日志内容。 在%...
  • ELK日志检索系统--Logstash配置说明一

    千次阅读 2016-10-24 15:12:11
    Logstash是一款轻量级的日志搜集处理框架,可以方便的把分散的、多样化的日志搜集起来,并进行自定义的处理,然后传输到指定的位置,比如某个服务器或者文件。本文针对官方文档进行翻译以及实践,希望有更多的有用户...

    Logstash是一款轻量级的日志搜集处理框架,可以方便的把分散的、多样化的日志搜集起来,并进行自定义的处理,然后传输到指定的位置,比如某个服务器或者文件。

    本文针对官方文档进行翻译以及实践,希望有更多的有用户了解、使用这款工具。

    1. 下载、安装、使用

    这款工具是开箱即用的软件,下载自己对应的系统版本即可。下载地址:https://www.elastic.co/downloads/logstash。下载对应的版本就可以。

    这里写图片描述

    下载后直接解压,就可以了。

    通过命令行,进入到logstash/bin目录,执行下面的命令:

    logstash -e ""

    可以看到提示下面信息(这个命令稍后介绍),输入hello world!

    这里写图片描述

    可以看到logstash自动添加了几个字段,时间戳@timestamp,版本@version,输入的类型type,以及主机名host。

    2. 工作原理

    Logstash使用管道方式进行日志的搜集处理和输出。有点类似*NIX系统的管道命令 xxx | ccc | ddd,xxx执行完了会执行ccc,然后执行ddd。

    在logstash中,包括了三个阶段:

    输入input –> 处理filter(不是必须的) –> 输出output

    这里写图片描述

    每个阶段都由很多的插件配合工作,比如file、elasticsearch、redis等等。

    每个阶段也可以指定多种方式,比如输出既可以输出到elasticsearch中,也可以指定到stdout在控制台打印。

    命令行中常用的命令

    -f:通过这个命令可以指定Logstash的配置文件,根据配置文件配置logstash

    -e:后面跟着字符串,该字符串可以被当做logstash的配置(如果是“” 则默认使用stdin作为输入,stdout作为输出)

    -l:日志输出的地址(默认就是stdout直接在控制台中输出)

    -t:测试配置文件是否正确,然后退出。

    配置文件说明

    前面介绍过logstash基本上由三部分组成,input、output以及用户需要才添加的filter,因此标准的配置文件格式如下:

    input {...} 
    filter {...} 
    output {...}

    这里写图片描述

    在每个部分中,也可以指定多个访问方式,例如我想要指定两个日志来源文件,则可以这样写:

    input { 
     file { path =>"/var/log/messages" type =>"syslog"} 
     file { path =>"/var/log/apache/access.log" type =>"apache"} 
    }

    类似的,如果在filter中添加了多种处理规则,则按照它的顺序一一处理,但是有一些插件并不是线程安全的。

    比如在filter中指定了两个一样的的插件,这两个任务并不能保证准确的按顺序执行,因此官方也推荐避免在filter中重复使用插件。

    说完这些,简单的创建一个配置文件的小例子看看:

    input {
        file {
            path => "/home/zhaofaquan/download/logstash-2.4.0/data/test.log"
            start_position => beginning
        }
    }    
    filter {
    }    
    output {
        stdout {}
    } 

    日志大致如下:

    hello,this is first line in test.log!
    hello,my name is xingoo!
    goodbye.this is last line in test.log!
    

    注意最后有一个空行。

    执行命令得到如下信息:
    细心的会发现,这个日志输出与上面的logstash -e “” 并不相同,这是因为上面的命令默认指定了返回的格式是json形式。

    这里写图片描述

    二、配置Logstash

    用户可以通过一个配置文件告诉Logstash使用哪些插件,以及针对每种插件的配置。在配置文件中可以引用事件(events,es中的概念,一行或者多行)的域(fields),并能够在条件分支中处理事件。
    下面建立一个简单的配置文件logstash-simple.conf

    input { stdin { } }
    output {
      elasticsearch { hosts => ["localhost:9200"] }
      stdout { codec => rubydebug }
    }

    然后通过下面的命令启动Logstash:

    bin/logstash -f logstash-simple.conf

    1. Logstash配置文件的结构

    Logstash配置文件把每个插件独立开来,每个插件通过pipeline的方式处理事件(event)。

    # This is a comment. You should use comments to describe
    # parts of your configuration.
    input {
      ...
    }
    filter {
      ...
    }
    output {
      ...
    }

    如果在filter中指定多个插件,它们根据在配置文件中定义的顺序一次作用在event上。

    每个插件由名字+该插件的配置(大括号内)组成。

    input {
      file {
        path => "/var/log/messages"
        type => "syslog"
      }
      file {
        path => "/var/log/apache/access.log"
        type => "apache"
      }
    }

    插件的设置可以理解为键值对,其中值可以由不同的类型:

    数组类型

    数组类型基本已经弃用,但是有的一些地方还在用:

    users => [ {id => 1, name => bob}, {id => 2, name => jane} ]

    Lists类型

    path => [ "/var/log/messages", "/var/log/*.log" ]
    uris => [ "http://elastic.co", "http://example.net" ]

    Boolean

    ssl_enable => true

    注意:truefalse关键字没有引号。

    Bytes

    一个bytes字段是一个string形式的,SI (k M G T P E Z Y) 和Binary (Ki Mi Gi Ti Pi Ei Zi Yi)这两种单位都被支持。这个字段是大小写敏感的,同时在数字和单位之间可以有空格出现。如果没有指定单位,默认为byte。

      my_bytes => "1113"   # 1113 bytes
      my_bytes => "10MiB"  # 10485760 bytes
      my_bytes => "100kib" # 102400 bytes
      my_bytes => "180 mb" # 180000000 bytes

    Codec

    Logstash使用Codec展示数据,这个字段可以用在input或者output中,在Input中使用Codec可以在数据送到input之前decode数据,在Output中使用Codec可以在数据离开output之前encode数据。通过Codec可以不用在filter中使用separate filter了。

    codec => "json"

    Hash

    哈希键值对,注意多组键值对时,使用的是换行分割的,不是逗号:

    match => {
      "field1" => "value1"
      "field2" => "value2"
      ...
    }

    Number

    port => 33

    Password

    该字段是一个string类型,但是不能被日志记录、不能被打印:

    my_password => "password"

    URI

    my_uri => "http://foo:bar@example.net"

    如果一个URI中包含Password类型的字段,那么这个URI同样不能被log和print。

    Path

    my_path => "/tmp/logstash"

    String

    name => "Hello world"
    name => 'It\'s a beautiful day'
    展开全文
  • 文本日志查找工具

    2015-03-26 15:50:00
    公司系统用的是Log4net记录日志,一但系统有问题又很难重现的...所以最近有空写了一个文本日志查找的工具,方便查找,提高效率,提高准确度。 现在把这个代码发上来分享一下,代码很简单,但很有用,希望大家能有用。
  • 光年日志分析工具

    2018-06-03 02:21:42
    非常专业的日志分析工具,能够统计蜘蛛检索情况,来路分析,停留时间分析,ip区域分布
  • 分布式日志收集工具分析比较

    千次阅读 2020-04-16 15:19:33
    写在最前:为什么做日志收集系统❓ 首先,什么是日志?...当系统发生故障时,工程师就需要登录到各个服务器上,使用 grep / sed / awk 等 Linux 脚本工具日志里查找故障原因。在没有日志系统的情况下,首...
  • 日志收集过滤检索框架 ELK 入门

    千次阅读 2018-04-23 19:31:20
    一般我们需要进行日志分析场景:直接在日志文件中grep、awk就可以获得自己想要的信息。但在规模较大的场景中,此方法效率低下,面临问题包括日志量太大如何归档、文本搜索太慢怎么办、如何多维度查询。需要集中化的...
  • 检索文件夹,并选择删除,在项目中可用作检索各系统产生的垃圾文件或无用的日志文件
  • 命令行工具,用于从问题中注册和检索工作日志。 它的工作原理非常类似于;) 安装 npm i -g jira-worklog-manager 配置 运行以下命令: $ jira-worklog-manager configure 生成API令牌 现在已弃用了使用密码的Jira中...
  • 详解Oracle AWR运行日志分析工具

    千次阅读 2018-04-05 22:20:12
    在Oracle数据库学习和使用中,遇到性能问题,首要的步骤就是导出AWR分析报告,AWR是Oracle的一个脚本工具,通过周期性快照记录下当时的所有运行数据,数据库管理员可以导出其中一部分数据进行分析,从而找出来哪些...
  • 非常强大的log日志工具,打印精确度如下:E/PlaceholderFragment.onCreateView(L:44)(19659)
  • Java基础知识面试题(2020最新版)

    万次阅读 多人点赞 2020-02-19 12:11:27
    String为什么是不可变的 Date相关 包装类相关 自动装箱与拆箱 int 和 Integer 有什么区别 Integer a= 127 与 Integer b = 127相等吗 常用工具类库 单元测试 日志 Java面试总结汇总,整理了包括Java基础知识,集合...
  • C#.net 做的文件搜索工具。原理是读取USN文件日志,然后内建索引加快文件搜索速度。 1、列表文件支持批量处理(删除、复制、复制文件名路径、打开、重命名),或者引用系统菜单。 2、支持拼音首字母缩写搜索,指定...
  • windows日志分析工具–WebLog Expert

    千次阅读 2019-09-18 08:45:47
    Weblogexpert是一个快速和强大的访问日志分析器。这会让你了解你的网站的访客:活动统计,访问的文件的路径,通过该网站,信息指页面,搜索引擎,浏览器,操作系统,和更多。该计划所产生的易于阅读的报告,包括文本...
  • 那具体什么是运维日志审计,用什么工具好? 运维日志审计是什么意思? 运维日志审计是指对企业IT系统中常见的安全设备、网络设备、数据库、服务器、应用系统、主机等设备所产生的日志(包括运行、告警、操作、消息、...
  • 3 个开源日志聚合工具 | Linux 中国

    千次阅读 2018-09-27 10:38:15
    日志聚合系统可以帮助我们进行故障排除和其它任务。以下是三个主要工具介绍。-- Dan Barker有用的原文链接请访问文末的“原文链接”获得可点击的文内链接、全尺寸原图和...
  • 自定义日志工具类Log4jHTMLLayout.java
  • 日志分析工具 LogParser 学习笔记

    千次阅读 2020-04-05 20:10:15
    官方文档解释:log Parser是一款功能强大的多功能工具,可提供对基于文本的数据(例如日志文件,XML文件和CSV文件)以及Windows®操作系统上的关键数据源(例如事件日志,注册表, 文件系统和ActiveDirectory®的...
  • MySQL 面试题

    万次阅读 多人点赞 2019-09-02 16:03:33
    6、全文索引:MySQL 自带的全文索引只能用于 InnoDB、MyISAM ,并且只能对英文进行全文检索,一般使用全文索引引擎。 常用的全文索引引擎的解决方案有 Elasticsearch、Solr 等等。最为常用的是 Elasticsearch 。...
  • 一、前言 最近在做elasticsearch的工作,把搭建过程记录一下。 测试环境:ubuntu 16.04 二、安装ES 安装详解:官方文档 1、本地单节点安装 #1、获取安装包并解压 $ curl -L -O ...
  • 用于检索和使用VPC Flow日志的Python库 该工具支持从和读取Flow Logs。 对于S3目标,支持自定义日志格式。 该库基于构建,并应在受的Python 3上运行。 有关VPC流量日志的信息以及如何使他们看到在AWS博客。 从...
  • Windows事件日志消息(WELM)工具检索嵌入在二进制文件中的Windows事件日志消息的定义。 该工具的输出可用于为操作系统创建事件信息的详尽列表。 该工具最初是为了帮助编写“ 论文而开发的,但已证明在许多情况下很...
  •  本文介绍如何将Docker日志收集到EFK(Elasticsearch + Fluentd + Kibana)的stack,该示例使用Docker Compose设置多个容器。  Elasticsearch是一个以易用性着称的开源搜索引擎。Kibana是一个开源的Web UI,使...
  • 测试开发笔记

    万次阅读 多人点赞 2019-11-14 17:11:58
    配置管理流程 88 3.SVN实战 88 配置管理工具SVN操作过程手册 90 一、 如何创建“project”项目版本库 90 二、 如何查看创建的“project”项目版本库 95 三、 在版本浏览器里面,创建文件,并进行检出 99 四、 如何对...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 62,846
精华内容 25,138
关键字:

日志检索工具