精华内容
下载资源
问答
  • LogToFile:一个简单能把日志日志打印到手机本地文件开源代码
  • Java zip压缩包查看程序源码 1个目标文件 摘要:Java源码,文件操作,压缩包查看 Java zip压缩包查看程序,应用弹出文件选择框,选择ZIP格式的压缩文件,可以像Winrar软件一样查看压缩文件内部的文件及文件夹,源码...
  • 它是一个查看 log4j xml 文件的工具(计划在未来版本中支持所有类型的日志文件)。 它可以在本地浏览文件或连接到服务器端应用程序 (ptServer) 并浏览远程主机上的日志文件。 它处理日志文件的过滤和排序。
  • JAVA上百实例源码以及开源项目

    千次下载 热门讨论 2016-01-03 17:37:40
     Java zip压缩包查看程序,应用弹出文件选择框,选择ZIP格式的压缩文件,可以像Winrar软件一样查看压缩文件内部的文件及文件夹,源码截图如上所示。 Java 数字签名、数字证书生成源码 2个目标文件 摘要:JAVA源码,...
  • Android一个简单实用把Log日志打印到手机本地文件,可以自行取出来上传到服务器开源代码
  • Minecraft日志清除器会打开Minecraft聊天日志文件(.log),并从日志中清除特殊字符和其他不必要的文本。 它使您可以以易于阅读的格式查看各种聊天记录(全局,本地,广告和私人消息)。 您也可以选择是否包括时间戳...
  • 已满的c盘如何清理无用的文件

    万次阅读 多人点赞 2019-08-26 09:44:58
    一、占空间比较大的几个文件夹 假设电脑(C盘总共80G)为例: Program Files 占用了 1.53G ...我们可以看到User用户这个目录的缓存和配置文件将近占用了C盘的一半,Windows是系统目录我们不能...

    一、占空间比较大的几个文件夹

    假设电脑(C盘总共80G)为例:

    Program Files  占用了 1.53G
    Program Files(X86) 占用了 4.68G
    ProgramData  占用了 2.8G
    Windows  占用了 31.8G
    用户User  占用了 36.9G

    我们可以看到User用户这个目录的缓存和配置文件将近占用了C盘的一半,Windows是系统目录我们不能动。所以我们现在着手去User目录删除我们不需要的文件即可。

    二、User文件夹主要占空间比较大的文件详情清单

    C:\Users\Default  占用了21.6M
    C:\Users\Public 占用了6.73M
    C:\Users\Administrator 剩下的内存都是这个文件夹占用的

    我们可以看到Administrator这个文件夹几乎占满了User目录的内存,其它两个目录可以忽略不计了,我们下一步重点清理这个Administrator文件夹。

    三、查看Administrator文件夹哪些是占内存最多的

    Administrator文件夹里面有很多配置和缓存文件,我们逐个文件去查看内存占用情况,发现有几个文件夹占用内存是最大的,我在这里列举出来给大家看看:

    .android 占用了10G
    .AndroidStudio3.1  占用了973M
    .gradle 占用了3G
    还有一个隐藏文件 AppData  占用了 11.6G
    还有一个文件`java_error_in_studio.hprof` 占用了1.38G (如下图所示)

    四、逐个清理。

    (一)清理.android文件夹

    .android文件夹里面占用内存最大的是avdcache这两个文件。

    (1)avd:

    这个创建的安卓模拟器,打开这个文件夹可以看到你之前创建的所有安卓模拟器。如果不想用哪个模拟器,建议删除,基本上每个模拟器都占用2G左右内存。

    (2)build-cache:

    这个文件夹是编译缓存,我们可以看到不同版本的AS都会在这里存储编译缓存。比如我现在用的是AS3.1.3 我可以把其他版本文件夹删除了,只留下3.1.3文件夹。

    (二)清理.AndroidStudio3.1文件夹

    这个文件夹下面有configsystem两个文件夹。

    (1)config:

    AndroidStudio的配置文件,这里面有文件模板,插件,颜色设置,主题设置等配置。如果把config文件复制到其他电脑的C:\Users\Administrator\.AndroidStudioXXX\目录下(XXX指的是AndroidStudio对应版本), 打开AndroidStudio导入这个配置即可生效。

    (2)system:

    这里面有几个文件夹占用内存比较大的,分别是:cachesindex,由于这是运行AndroidStudio自动生成的文件,仅作为了解即可,如果删除的话,可能运行AndroidStudio会出一些异常,建议保留。
    如果你的电脑还安装了其它的IDEA,例如AndroidStudio2.3 或者Intellij IDEA ,那么你在Administrator文件夹就会看到.AndroidStudio2.3 .Intellij IDEA文件。这几个也是占用内存比较大的文件,如果暂时用不到某一个IDEA ,建议把对应的文件夹删除(比如AndroidStudio2.3很少使用,可以把.AndroidStudio2.3文件删除)。

    (三)清理.gradle文件夹

    这个文件夹有几个需要注意的文件夹,它们占用内存比较大,可以适当的清理。

    (1)caches:

    我们在项目中添加的依赖库,都在这个目录下缓存着,以及AndroidStudiogradlemaven相关插件都在这里。甚至我们使用gradle构建其他类型项目(比如构建rn,构建spring项目等。)也会下载需要用到的插件资源在这个目录下。建议把不需要用到的一些开源库删除,请逐个打开文件夹确认之后再删除。

    (2)daemon:

    这里面保存的是log日志文件,,不同版本的gradle,只要编译之后都会保留有一些日志信息。我的电脑里面这个文件夹占用了642M,我们可以把daemon里面的文件全部都删除。

    (3)wrapper/dists:

    这个文件夹占用了838M。这里存放的是gradle文件,也就是是或我们下载的gradle文件,或者我们去官网下载的gradle可以放到这个目录下保存。我这里有gradle-4.4-allgradle-4.4-bingradle-4.6-allgradle-4.6-bin这4个版本的gradle,如果你的电脑里面还有其他版本,建议删除,只保留你想要的版本即可。但是注意一点:请在删除相关gradle之后,打开AndroidStudio之后要设置成离线模式,设置一下本地gradle路径,这样以后的项目就会来这个路径找gradle,而不会去下载新的gradle版本了。

    (四)清理AppData文件夹

    这个路径一般是电脑里面的软件的缓存和临时文件配置之类的东西。重点关注两个文件夹LocalRoaming文件夹。

    (1)Local: 占了2.85G

    • 1.Google:占用了450M,这个目录安装的是谷歌浏览器,暂且不动它了。

    • 2.Microsoft:占用了184M,这个微软系统有关的东西,暂且不动它了。

    • 3.Yarn:占用了669M,这个目录是yarn构建时的缓存文件,可以暂时保留,免得以后又要去下载。

    • 4.微信Web开发者工具:占用了310M,这是开发小程序的用户缓存文件,建议保留。

    (2)Roaming: 占了8.47G 这里面主要是电脑里面你下载的软件的一些配置和缓存,可以根据需要进行删除。这里我就不逐个演示了。

    (五)直接删除 java_error_in_studio.hprof 文件

    展开全文
  • 监控网络活动可能是一项...这些日志还有助于公司遵守适用于欧盟内任何实体的《通用数据保护条例》(GDPR)。因为如果你的网站要在欧盟是可浏览的,那么就必须遵守GDPR。 日志记录(跟踪和分析)应该是任何监控基...

    监控网络活动可能是一项单调而乏味的工作,但你有充分的理由要这样做。首先,它可以帮助你查找和调查工作站、连网设备和服务器上的可疑登录,同时确定管理员滥用的源头。还可以跟踪软件安装和数据传输,以便实时识别潜在的问题。

    这些日志还有助于公司遵守适用于欧盟内任何实体的《通用数据保护条例》(GDPR)。因为如果你的网站要在欧盟是可浏览的,那么就必须遵守 GDPR。

    日志记录(跟踪和分析)应该是任何监控基础设施中的一个基本过程。要从灾难中恢复 SQL Server 数据库,就需要事务日志文件。此外,通过跟踪日志文件,DevOps 团队和数据库管理员(DBA)可以保持最佳的数据库性能,或者在网络受到攻击的情况下找到未授权活动的证据。因此,定期监视和分析系统日志非常重要。

    现下有相当多的开源日志跟踪器和分析工具可供使用,这使得为活动日志选择正确的资源变得比想象中更容易。免费和开源软件社区提供了适用于各种站点以及几乎任何操作系统的日志设计,为大家推荐 5 个非常好用的开源日志分析工具。

    Graylog

    Graylog 于 2011 年在德国创建,现在作为开源工具或商业解决方案提供。它被设计成一个集中式日志管理系统,接收来自不同服务器或端点的数据流,并允许用户快速浏览或分析该信息。

     

    由于其易于扩展,Graylog 在系统管理员中建立了良好的声誉。大多数 Web 项目开始时规模很小,但是之后可能会成倍增长。Graylog 可以平衡跨后端服务器网络的负载,每天处理几 TB 的日志数据。

    IT 管理员会发现,Graylog 的前端界面易于使用,并且功能强大。Graylog 是围绕仪表板的概念构建的,它允许你选择你认为最有价值的度量标准或数据源,并快速查看随着时间的变化趋势。

    当发生安全或性能事件时,IT 管理员希望能够尽可能快地从症状追溯到根源。Graylog 中的搜索功能使这项工作变得简单。它具有内置的容错功能,可以运行多线程搜索,因此,你可以同时分析多个潜在的威胁。

    https://www.graylog.org/products/open-source

    Nagios

    Nagios 始于 1999 年,当时只有一名开发人员,后来发展成为管理日志数据的最可靠的开源工具之一。当前版本的 Nagios 可以与运行 Microsoft Windows、Linux 或 Unix 的服务器集成。

     

    它的主要产品是一个日志服务器,其目的是简化数据收集并使系统管理员更容易访问信息。Nagios 日志服务器引擎将实时捕获数据并将其提供给一个强大的搜索工具。由于内置了安装向导,集成新端点或应用程序变得很容易。

    Nagios 最常用于需要监视本地网络安全性的组织。它可以审计一系列与网络相关的事件,并帮助你自动分发警报。如果满足特定的条件,甚至可以将 Nagios 配置为运行预定义的脚本,从而让你可以在人员介入之前解决问题。

    作为网络审计的一部分,Nagios 将根据日志数据来源的地理位置过滤日志数据。这意味着你可以使用映射技术构建一个全面的仪表板,以了解 Web 流量是如何流动的。

    https://www.nagios.org/downloads/

    Elastic Stack

    Elastic Stack,通常称为 ELK Stack,是那些需要筛选大量数据并理解其系统日志的组织中最流行的开源工具之一(这是我个人的最爱)。

     

    它主要由以下三个独立的产品组成:

    • 顾名思义,Elasticsearch 旨在帮助用户使用多种查询语言和类型在数据集中找出匹配项。速度是这个工具的最大优势。它可以扩展成由数百个服务器节点组成的集群,轻松处理 PB 级的数据。

    • Kibana 是一个可视化工具,它与 Elasticsearch 一起运行,允许用户分析他们的数据并构建强大的报告。当你第一次在服务器集群上安装 Kibana 引擎时,你将获得一个显示数据统计、图形甚至动画的界面。

    • ELK Stack 的最后一部分是 Logstash,它是作为一个纯粹的、进入 Elasticsearch 数据库的服务器端管道。你可以使用各种编码语言和 API 集成 Logstash。这样,你的网站和移动应用程序中的信息就可以直接输入到强大的 Elastic Stalk 搜索引擎中。

    ELK Stack 的一个独特特性是,它允许你监控构建在 WordPress 开源版本上的应用程序。与大多数跟踪管理和 PHP 日志(仅此而已)的开箱即用的安全审计日志工具相比,ELK Stack 可以筛选 Web 服务器和数据库日志。

    糟糕的日志跟踪和数据库管理是导致网站性能差的最常见原因之一。如果没有定期检查、优化和清空数据库日志,不仅会降低站点的运行速度,还可能导致完全崩溃。因此,ELK 堆栈对于每个 WordPress 开发人员的工具包来说都是一个优秀的工具。

    https://www.elastic.co/products/

    LOGalyze

    LOGalyze 是一个位于匈牙利的组织,它为系统管理员和安全专家构建开源工具,帮助他们管理服务器日志并将其转换为有用的数据点。其主要产品可供个人或商业用户免费下载。

     

    LOGalyze 被设计成一个巨大的管道,其中可以有多个服务器、应用程序和网络设备使用简单对象访问协议(Simple Object Access Protocol,SOAP)方法提供信息。它提供了一个前端界面,管理员可以登录该界面监控数据收集并开始分析数据。

    在 LOGalyze 的 Web 界面中,你可以运行动态报告,并将其导出成 Excel 文件、PDF 或其他格式。这些报告基于 LOGalyze 后台管理的多维统计数据。它甚至可以跨服务器或应用程序组合数据字段,以帮助你发现性能趋势。

    LOGalyze 被设计成在不到一个小时内就可以完成安装和配置。它预先构建的功能使它能够以法规所要求的格式收集审计数据。例如,LOGalyze 可以很容易地运行不同的 HIPAA 报告,以确保你的组织遵守卫生法规并保持合规性。

    http://www.logalyze.com/

    Fluentd

    如果你的组织的数据源位于许多不同的位置和环境中,那么你的目标应该是尽可能地集中它们。否则,你将难以监控性能并防范安全威胁。

    Fluentd 是一个健壮的数据收集解决方案,并且完全是开源的。它没有提供完整的前端界面,而是作为一个集合层来帮助组织不同的管道。Fluentd 被世界上一些最大的公司使用,但是也可以在较小的组织中实施。

     

    Fluentd 最大的好处是它与当今最常见的技术工具兼容。例如,你可以使用 Fluentd 从 Web 服务器(如 Apache)收集数据,从智能设备收集传感器数据,从 MongoDB 收集动态记录。如何处理这些数据完全由你决定。

    Fluentd 基于 JSON 数据格式,可以与 500 多个由著名开发人员创建的插件一起使用。这使你可以将日志数据扩展到其他应用程序中,并通过最少的手工工作来进行更好地分析。

    https://www.fluentd.org/

    小   结

    如果你还没有把活动日志用于安全考量、政府合规性和生产力度量,那么请务必改变这种情况。市场上有很多插件,它们可以用于多种环境和平台,甚至可以用在你的内部网络上。不要等到发生了严重的事件,才开始采取积极主动的方法来维护和监督日志。

     英文原文

    https://opensource.com/article/19/4/log-analysis-tools

    展开全文
  • 开源日志系统比较

    千次阅读 2016-03-29 20:14:18
    许多公司的平台每天会产生大量的日志(一般为流式数据,如,搜索引擎的pv,查询等),处理这些日志需要特定的日志系统,一般而言,这些系统需要具有以下特征: (1) 构建应用系统和分析系统的桥梁,并将它们之间...

    1. 背景介绍

    许多公司的平台每天会产生大量的日志(一般为流式数据,如,搜索引擎的pv,查询等),处理这些日志需要特定的日志系统,一般而言,这些系统需要具有以下特征:

    (1) 构建应用系统和分析系统的桥梁,并将它们之间的关联解耦;

    (2) 支持近实时的在线分析系统和类似于Hadoop之类的离线分析系统;

    (3) 具有高可扩展性。即:当数据量增加时,可以通过增加节点进行水平扩展。

    本文从设计架构,负载均衡,可扩展性和容错性等方面对比了当今开源的日志系统,包括facebook的scribe,apache的chukwa,linkedin的kafka和cloudera的flume等。

    2. FaceBook的Scribe

    Scribe是facebook开源的日志收集系统,在facebook内部已经得到大量的应用。它能够从各种日志源上收集日志,存储到一个中央存储系统 (可以是NFS,分布式文件系统等)上,以便于进行集中统计分析处理。它为日志的“分布式收集,统一处理”提供了一个可扩展的,高容错的方案。

    它最重要的特点是容错性好。当后端的存储系统crash时,scribe会将数据写到本地磁盘上,当存储系统恢复正常后,scribe将日志重新加载到存储系统中。

    架构

    scribe的架构比较简单,主要包括三部分,分别为scribe agent, scribe和存储系统。

    (1) scribe agent

    scribe agent实际上是一个thrift client。 向scribe发送数据的唯一方法是使用thrift client, scribe内部定义了一个thrift接口,用户使用该接口将数据发送给server。

    (2) scribe

    scribe接收到thrift client发送过来的数据,根据配置文件,将不同topic的数据发送给不同的对象。scribe提供了各种各样的store,如 file, HDFS等,scribe可将数据加载到这些store中。

    (3) 存储系统

    存储系统实际上就是scribe中的store,当前scribe支持非常多的store,包括file(文件),buffer(双层存储,一个主储存,一个副存储),network(另一个scribe服务器),bucket(包含多个 store,通过hash的将数据存到不同store中),null(忽略数据),thriftfile(写到一个Thrift TFileTransport文件中)和multi(把数据同时存放到不同store中)。

    3. Apache的Chukwa

    chukwa是一个非常新的开源项目,由于其属于hadoop系列产品,因而使用了很多hadoop的组件(用HDFS存储,用mapreduce处理数据),它提供了很多模块以支持hadoop集群日志分析。

    需求:

    (1) 灵活的,动态可控的数据源

    (2) 高性能,高可扩展的存储系统

    (3) 合适的框架,用于对收集到的大规模数据进行分析

    架构

    Chukwa中主要有3种角色,分别为:adaptor,agent,collector。

    (1) Adaptor 数据源

    可封装其他数据源,如file,unix命令行工具等

    目前可用的数据源有:hadoop logs,应用程序度量数据,系统参数数据(如linux cpu使用流率)。

    (2) HDFS 存储系统

    Chukwa采用了HDFS作为存储系统。HDFS的设计初衷是支持大文件存储和小并发高速写的应用场景,而日志系统的特点恰好相反,它需支持高并发低速率的写和大量小文件的存储。需要注意的是,直接写到HDFS上的小文件是不可见的,直到关闭文件,另外,HDFS不支持文件重新打开。

    (3) Collector和Agent

    为了克服(2)中的问题,增加了agent和collector阶段。

    Agent的作用:给adaptor提供各种服务,包括:启动和关闭adaptor,将数据通过HTTP传递给Collector;定期记录adaptor状态,以便crash后恢复。

    Collector的作用:对多个数据源发过来的数据进行合并,然后加载到HDFS中;隐藏HDFS实现的细节,如,HDFS版本更换后,只需修改collector即可。

    (4) Demux和achieving

    直接支持利用MapReduce处理数据。它内置了两个mapreduce作业,分别用于获取data和将data转化为结构化的log。存储到data store(可以是数据库或者HDFS等)中。

    4. LinkedIn的Kafka

    Kafka是2010年12月份开源的项目,采用scala语言编写,使用了多种效率优化机制,整体架构比较新颖(push/pull),更适合异构集群。

    设计目标:

    (1) 数据在磁盘上的存取代价为O(1)

    (2) 高吞吐率,在普通的服务器上每秒也能处理几十万条消息

    (3) 分布式架构,能够对消息分区

    (4) 支持将数据并行的加载到hadoop


    架构

    Kafka实际上是一个消息发布订阅系统。producer向某个topic发布消息,而consumer订阅某个topic的消息,进而一旦有新的关于某个topic的消息,broker会传递给订阅它的所有consumer。 在kafka中,消息是按topic组织的,而每个topic又会分为多个partition,这样便于管理数据和进行负载均衡。同时,它也使用了zookeeper进行负载均衡。

    Kafka中主要有三种角色,分别为producer,broker和consumer。

    (1) Producer

    Producer的任务是向broker发送数据。Kafka提供了两种producer接口,一种是low_level接口,使用该接口会向特定的broker的某个topic下的某个partition发送数据;另一种那个是high level接口,该接口支持同步/异步发送数据,基于zookeeper的broker自动识别和负载均衡(基于Partitioner)。

    其中,基于zookeeper的broker自动识别值得一说。producer可以通过zookeeper获取可用的broker列表,也可以在zookeeper中注册listener,该listener在以下情况下会被唤醒:

    a.添加一个broker

    b.删除一个broker

    c.注册新的topic

    d.broker注册已存在的topic

    当producer得知以上时间时,可根据需要采取一定的行动。

    (2) Broker

    Broker采取了多种策略提高数据处理效率,包括sendfile和zero copy等技术。

    (3) Consumer

    consumer的作用是将日志信息加载到中央存储系统上。kafka提供了两种consumer接口,一种是low level的,它维护到某一个broker的连接,并且这个连接是无状态的,即,每次从broker上pull数据时,都要告诉broker数据的偏移量。另一种是high-level 接口,它隐藏了broker的细节,允许consumer从broker上push数据而不必关心网络拓扑结构。更重要的是,对于大部分日志系统而言,consumer已经获取的数据信息都由broker保存,而在kafka中,由consumer自己维护所取数据信息。

    5. Cloudera的Flume

    Flume是cloudera于2009年7月开源的日志系统。它内置的各种组件非常齐全,用户几乎不必进行任何额外开发即可使用。

    设计目标:

    (1) 可靠性

    当节点出现故障时,日志能够被传送到其他节点上而不会丢失。Flume提供了三种级别的可靠性保障,从强到弱依次分别为:end-to-end(收到数据agent首先将event写到磁盘上,当数据传送成功后,再删除;如果数据发送失败,可以重新发送。),Store on failure(这也是scribe采用的策略,当数据接收方crash时,将数据写到本地,待恢复后,继续发送),Best effort(数据发送到接收方后,不会进行确认)。

    (2) 可扩展性

    Flume采用了三层架构,分别问agent,collector和storage,每一层均可以水平扩展。其中,所有agent和collector由master统一管理,这使得系统容易监控和维护,且master允许有多个(使用ZooKeeper进行管理和负载均衡),这就避免了单点故障问题。

    (3) 可管理性

    所有agent和colletor由master统一管理,这使得系统便于维护。用户可以在master上查看各个数据源或者数据流执行情况,且可以对各个数据源配置和动态加载。Flume提供了web 和shell script command两种形式对数据流进行管理。

    (4) 功能可扩展性

    用户可以根据需要添加自己的agent,colletor或者storage。此外,Flume自带了很多组件,包括各种agent(file, syslog等),collector和storage(file,HDFS等)。

    架构

    正如前面提到的,Flume采用了分层架构,由三层组成,分别为agent,collector和storage。其中,agent和collector均由两部分组成:source和sink,source是数据来源,sink是数据去向。

    (1) agent

    agent的作用是将数据源的数据发送给collector,Flume自带了很多直接可用的数据源(source),如:

    text(“filename”):将文件filename作为数据源,按行发送

    tail(“filename”):探测filename新产生的数据,按行发送出去

    fsyslogTcp(5140):监听TCP的5140端口,并且接收到的数据发送出去

    同时提供了很多sink,如:

    console[("format")] :直接将将数据显示在桌面上

    text(“txtfile”):将数据写到文件txtfile中

    dfs(“dfsfile”):将数据写到HDFS上的dfsfile文件中

    syslogTcp(“host”,port):将数据通过TCP传递给host节点

    (2) collector

    collector的作用是将多个agent的数据汇总后,加载到storage中。它的source和sink与agent类似。

    下面例子中,agent监听TCP的5140端口接收到的数据,并发送给collector,由collector将数据加载到HDFS上。

    1
    2
    3
    host : syslogTcp(5140) | agentSink( "localhost" ,35853) ;
     
    collector : collectorSource(35853) | collectorSink( "hdfs://namenode/user/flume/ " , "syslog" );

    一个更复杂的例子如下:

    有6个agent,3个collector,所有collector均将数据导入HDFS中。agent A,B将数据发送给collector A,agent C,D将数据发送给collectorB,agent C,D将数据发送给collectorB。同时,为每个agent添加end-to-end可靠性保障(Flume的三种可靠性保障分别由agentE2EChain, agentDFOChain, and agentBEChain实现),如,当collector A出现故障时,agent A和agent B会将数据分别发给collector B和collector C。

    下面是简写的配置文件片段:

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    agentA : src | agentE2EChain( "collectorA:35853" , "collectorB:35853" );
     
    agentB : src | agentE2EChain( "collectorA:35853" , "collectorC:35853" );
     
    agentC : src | agentE2EChain( "collectorB:35853" , "collectorA:35853" );
     
    agentD : src | agentE2EChain( "collectorB:35853" , "collectorC:35853" );
     
    agentE : src | agentE2EChain( "collectorC:35853" , "collectorA:35853" );
     
    agentF : src | agentE2EChain( "collectorC:35853" , "collectorB:35853" );
     
    collectorA : collectorSource(35853) | collectorSink( "hdfs://..." , "src" );
     
    collectorB : collectorSource(35853) | collectorSink( "hdfs://..." , "src" );
     
    collectorC : collectorSource(35853) | collectorSink( "hdfs://..." , "src" );

    此外,使用autoE2EChain,当某个collector 出现故障时,Flume会自动探测一个可用collector,并将数据定向到这个新的可用collector上。

    (3) storage

    storage是存储系统,可以是一个普通file,也可以是HDFS,HIVE,HBase等。

    6. 总结

    根据这四个系统的架构设计,可以总结出典型的日志系统需具备三个基本组件,分别为agent(封装数据源,将数据源中的数据发送给collector),collector(接收多个agent的数据,并进行汇总后导入后端的store中),store(中央存储系统,应该具有可扩展性和可靠性,应该支持当前非常流行的HDFS)。

    下面表格对比了这四个系统:

    7. 参考资料

    scribe主页:https://github.com/facebook/scribe

    chukwa主页:http://incubator.apache.org/chukwa/

    kafka主页:http://sna-projects.com/kafka/

    Flume主页:https://github.com/cloudera/flume/

    原创文章,转载请注明: 转载自董的博客

    本文链接地址: http://dongxicheng.org/search-engine/log-systems/






    展开全文
  • 最好用的开源日志分析工具

    千次阅读 2019-04-30 12:34:04
    监控网络活动既重要又繁琐,以下这些工具可以使它更容易。监控网络活动是一项繁琐的工作,...这些日志还有助于使你的公司遵守适用于在欧盟范围内运营的任何实体的通用数据保护条例(GFPR)。如果你的网站在欧盟可以...

    监控网络活动既重要又繁琐,以下这些工具可以使它更容易。
    监控网络活动是一项繁琐的工作,但有充分的理由这样做。例如,它允许你查找和调查工作站和连接到网络的设备及服务器上的可疑登录,同时确定管理员滥用了什么。你还可以跟踪软件安装和数据传输,以实时识别潜在问题,而不是在损坏发生后才进行跟踪。
    这些日志还有助于使你的公司遵守适用于在欧盟范围内运营的任何实体的通用数据保护条例(GFPR)。如果你的网站在欧盟可以浏览,那么你就有遵守的该条例的资格。
    日志记录,包括跟踪和分析,应该是任何监控基础设置中的一个基本过程。要从灾难中恢复 SQL Server 数据库,需要事务日志文件。此外,通过跟踪日志文件,DevOps 团队和数据库管理员(DBA)可以保持最佳的数据库性能,又或者,在网络***的情况下找到未经授权活动的证据。因此,定期监视和分析系统日志非常重要。这是一种重新创建导致出现任何问题的事件链的可靠方式。
    现在有很多开源日志跟踪器和分析工具可供使用,这使得为活动日志选择合适的资源比你想象的更容易。自由和开源软件社区提供的日志设计适用于各种站点和操作系统。以下是五个我用过的最好的工具,它们并没有特别的顺序。
    最好用的开源日志分析工具
    Graylog
    Graylog 于 2011 年在德国创立,现在作为开源工具或商业解决方案提供。它被设计成一个集中式日志管理系统,接受来自不同服务器或端点的数据流,并允许你快速浏览或分析该信息。
    Graylog 在系统管理员中有着良好的声誉,因为它易于扩展。大多数 Web 项目都是从小规模开始的,但它们可能指数级增长。Graylog 可以均衡后端服务网络中的负载,每天可以处理几 TB 的日志数据。
    IT 管理员会发现 Graylog 的前端界面易于使用,而且功能强大。Graylog 是围绕仪表板的概念构建的,它允许你选择你认为最有价值的指标或数据源,并快速查看一段时间内的趋势。
    当发生安全或性能事件时,IT 管理员希望能够尽可能地根据症状追根溯源。Graylog 的搜索功能使这变得容易。它有内置的容错功能,可运行多线程搜索,因此你可以同时分析多个潜在的威胁。
    最好用的开源日志分析工具最好用的开源日志分析工具

    Nagios
    Nagios 始于 1999 年,最初是由一个开发人员开发的,现在已经发展成为管理日志数据最可靠的开源工具之一。当前版本的 Nagios 可以与运行 Microsoft Windows、Linux 或 Unix 的服务器集成。
    它的主要产品是日志服务器,旨在简化数据收集并使系统管理员更容易访问信息。Nagios 日志服务器引擎将实时捕获数据,并将其提供给一个强大的搜索工具。通过内置的设置向导,可以轻松地与新端点或应用程序集成。
    Nagios 最常用于需要监控其本地网络安全性的组织。它可以审核一系列与网络相关的事件,并帮助自动分发警报。如果满足特定条件,甚至可以将 Nagios 配置为运行预定义的脚本,从而允许你在人员介入之前解决问题。
    作为网络审计的一部分,Nagios 将根据日志数据来源的地理位置过滤日志数据。这意味着你可以使用地图技术构建全面的仪表板,以了解 Web 流量是如何流动的。
    最好用的开源日志分析工具最好用的开源日志分析工具

    Elastic Stack (ELK Stack)
    Elastic Stack,通常称为 ELK Stack,是需要筛选大量数据并理解其日志系统的组织中最受欢迎的开源工具之一(这也是我个人的最爱)。
    它的主要产品由三个独立的产品组成:Elasticsearch、Kibana 和 Logstash:
    顾名思义, Elasticsearch 旨在帮助用户使用多种查询语言和类型在数据集之中找到匹配项。速度是它最大的优势。它可以扩展成由数百个服务器节点组成的集群,轻松处理 PB 级的数据。
    Kibana 是一个可视化工具,与 Elasticsearch 一起工作,允许用户分析他们的数据并构建强大的报告。当你第一次在服务器集群上安装 Kibana 引擎时,你会看到一个显示着统计数据、图表甚至是动画的界面。
    ELK Stack 的最后一部分是 Logstash,它作为一个纯粹的服务端管道进入 Elasticsearch 数据库。你可以将 Logstash 与各种编程语言和 API 集成,这样你的网站和移动应用程序中的信息就可以直接提供给强大的 Elastic Stalk 搜索引擎中。
    ELK Stack 的一个独特功能是,它允许你监视构建在 WordPress 开源网站上的应用程序。与跟踪管理日志和 PHP 日志的大多数开箱即用的安全审计日志工具相比,ELK Stack 可以筛选 Web 服务器和数据库日志。
    糟糕的日志跟踪和数据库管理是导致网站性能不佳的最常见原因之一。没有定期检查、优化和清空数据库日志,不仅会降低站点的运行速度,还可能导致其完全崩溃。因此,ELK Stack 对于每个 WordPress 开发人员的工具包来说都是一个优秀的工具。
    最好用的开源日志分析工具最好用的开源日志分析工具

    LOGalyze
    LOGalyze 是一个位于匈牙利的组织,它为系统管理员和安全专家构建开源工具,以帮助他们管理服务器日志,并将其转换为有用的数据点。其主要产品可供个人或商业用户免费下载。
    LOGalyze 被设计成一个巨大的管道,其中多个服务器、应用程序和网络设备可以使用简单对象访问协议(SOAP)方法提供信息。它提供了一个前端界面,管理员可以登录界面来监控数据集并开始分析数据。
    在 LOGalyze 的 Web 界面中,你可以运行动态报告,并将其导出到 Excel 文件、PDF 文件或其他格式。这些报告可以基于 LOGalyze 后端管理的多维统计信息。它甚至可以跨服务器或应用程序组合数据字段,借此来帮助你发现性能趋势。
    LOGalyze 旨在不到一个小时内完成安装和配置。它具有预先构建的功能,允许它以法律所要求的格式收集审计数据。例如,LOGalyze 可以很容易地运行不同的 HIPAA 报告,以确保你的组织遵守健康法律并保持合规性。
    最好用的开源日志分析工具最好用的开源日志分析工具

    Fluentd
    如果你所在组织的数据源位于许多不同的位置和环境中,那么你的目标应该是尽可能地将它们集中在一起。否则,你将难以监控性能并防范安全威胁。
    Fluentd 是一个强大的数据收集解决方案,它是完全开源的。它没有提供完整的前端界面,而是作为一个收集层来帮助组织不同的管道。Fluentd 在被世界上一些最大的公司使用,但是也可以在较小的组织中实施。
    Fluentd 最大的好处是它与当今最常用的技术工具兼容。例如,你可以使用 Fluentd 从 Web 服务器(如 Apache)、智能设备传感器和 MongoDB 的动态记录中收集数据。如何处理这些数据完全取决于你。
    Fluentd 基于 JSON 数据格式,它可以与由卓越的开发人员创建的 500 多个插件一起使用。这使你可以将日志数据扩展到其他应用程序中,并通过最少的手工操作从中获得更好的分析。
    最好用的开源日志分析工具最好用的开源日志分析工具

    转载于:https://blog.51cto.com/14164498/2387133

    展开全文
  • Android 系统日志写入文件

    千次阅读 2018-07-04 20:04:25
    3.自定义log工具类,一边打印日志一边写入文件 4.在application开启线程池进行日志打印 5.写一个service将系统日志写到文件 关于链接 1.技术博客汇总 2.开源项目汇总 3.生活博客汇总 4.喜马拉雅...
  • 5 个有用的开源日志分析工具

    千次阅读 2019-05-06 01:00:45
    监控网络活动既重要又繁琐,以下这些工具可以使它更容易。 监控网络活动是一项繁琐的工作,但有充分的理由...这些日志还有助于使你的公司遵守适用于在欧盟范围内运营的任何实体的通用数据保护条例[1](GDPR)。...
  • ELK日志文件分析系统一XC , 一XC , 0.3PPLAZSWSWDFDDDDDDDDDDDDDDDDDDDDDDFDDDDDDDDDDDDDDDDDDDDDE DGHRQ YU K,./XZ、 112rsaYRSetlkteryywuteyrwYRWQ TWutwquyrwqtreqy4e3wqrewqytrewq342323...
  • 开源 syslog 日志系统 scribe

    千次阅读 2020-04-03 08:25:01
    它能够从各种日志源上收集日志,存储到一个中央存储系统 (可以是 NFS,分布式文件系统等)上,以便于进行集中统计分析处理。它为日志的“分布式收集,统一处理”提供了一个可扩展的,高容错的方案。 它最重要的...
  • MyBatis面试题(2020最新版)

    万次阅读 多人点赞 2019-09-24 16:40:33
    缓存 Mybatis的一级、二级缓存 Java面试总结汇总,整理了包括Java基础知识,集合容器,并发编程,JVM,常用开源框架Spring,MyBatis,数据库,中间件等,包含了作为一个Java工程师在面试中需要用到或者可能用到的绝...
  • 5 个必备有用的开源日志分析工具

    千次阅读 2019-07-24 11:31:53
    监控网络活动可能是一项...这些日志还有助于公司遵守适用于欧盟内任何实体的《通用数据保护条例》(GDPR)。因为如果你的网站要在欧盟是可浏览的,那么就必须遵守 GDPR。 日志记录(跟踪和分析)应该是任何监控基...
  • 开源主流分布式文件系统简单介绍

    万次阅读 2019-08-05 08:39:21
    主要指标及分类对比二、开源分布式文件系统1.GFS(1)GFS与NFS,AFS的区别(2)BigTable(3)Chubby2.HDFS3. Ceph4. Lustre5.MogileFS6.mooseFS7.FastDFS8.TFS9.GridFS文件系统10.NFS(1)多服务器存储(2)pNFS(3...
  • 大型开源日志系统比较

    千次阅读 2016-07-01 16:35:34
    许多公司的平台每天会产生大量的日志(一般为流式数据,如,搜索引擎的pv,查询等),处理这些日志需要特定的日志系统,一般而言,这些系统需要具有以下特征: (1) 构建应用系统和分析系统的桥梁,并将它们之间...
  • 开源 bbs 源码 java 基于论坛的apache common日志分析项目 :maple_leaf: 项目描述 通过对技术论坛的...flume配置文件(从本地监控目录上传日志文件到hdfs中) mapreduce 源码 数据清洗结果 hadoop fs -cat /user/elo
  •  FileDownloader(https://github.com/wlfcolin/file-downloader)是开源的一个安卓Http文件下载框架,是根据自己的经验总结的一套非常轻量级的安卓通用Http文件下载管理器。我的目标是让文件下载越简单越好,尽...
  • 几个开源日志分析系统介绍

    千次阅读 2014-06-01 16:42:46
    几个开源日志分析系统检索
  • Linux总结

    千次阅读 多人点赞 2020-01-14 20:36:45
    一 、从认识操作系统开始 1.1 操作系统简介 1.2 操作系统简单分类 二 、初探Linux 2.1 Linux简介 2.2 Linux诞生简介 2.3 Linux的分类 ...三 、Linux文件系统概览 ...3.1 Linux文件系统简介...4.3 文件的操作命令(增删...
  • 日志自动分析和解析开源工具

    千次阅读 2019-12-18 17:03:42
    论文原文 https://arxiv.org/pdf/1811.03509.pdf 翻译原文 ... GitHub 日志解析:https://github.com/logpai/logparser ...自动日志分析的工具和基准 ...Abstract——在许多软件系统的开发和维护过程中,日志是...
  • 美团开源日志框架Logan初探

    千次阅读 2018-10-17 22:00:57
    最近群里的美团童靴发了个链接,说自家的日志框架Logan开源了,地址为Logan,中文介绍地址为Logan。闲的无聊就体验了一把,如果你想了解一下,不妨花点时间阅读一下本文。 首先非常感谢美团童靴大公无私的精神,将...
  • 它是一个开源操作系统,可以在不同的硬件平台上运行。它为用户提供了免费的低成本操作系统。这是一个用户友好的环境,他们可以在其中轻松修改和创建源代码的变体。 2.谁发明了Linux?解释Linux的历史? 回答:...
  • 总第378篇2019年 第56篇2018 年,美团点评推出大前端日志系统—— Logan,并开源了 Android 与 iOS 端的 SDK。这次,我们又开源了在 Web 环境运行的 S...
  • 一些好用的开源监控工具汇总

    万次阅读 2018-10-08 11:14:29
    ELK 是 Elasticsearch,Logstash 和 Kibana 的缩写,在实时数据检索和分析场合,三者通常是配合共用,是市场上最受欢迎的开源日志聚合工具。它被 Netflix,Facebook,Microsoft,LinkedIn 和 Cisco 使用。这三个组件...
  • Linux学习笔记

    千次阅读 多人点赞 2019-04-16 11:00:42
    Linux Linux操作系统基础知识 ...开源软件 Linux操作系统的现状 Linux的内核与发行版 Linux的发行版 Ubuntu Mark Shuttleworth Ubuntu是什么 Linux帮助系统 man –help info whatis /usr/sh...
  • CocoaLumberjack使用以及日志文件获取

    千次阅读 2016-07-22 16:17:40
    本文主要介绍之前项目中使用到CocoaLumberjack, 然后获取CocoaLumberjack为我们存储的日志文件, 在用户反馈的时候, 将日志文件打包上传到服务器, 以便我们查找错误信息。

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 99,504
精华内容 39,801
关键字:

本地日志文件查看开源