精华内容
下载资源
问答
  • 日志收集

    2012-12-26 18:04:43
  • 日志收集方案

    2020-11-18 16:20:36
    日志收集方案 三种收集方案的优缺点:

    日志收集方案

    三种收集方案的优缺点:

    展开全文
  • 分布式 搜索 日志收集分布式 搜索 日志收集分布式 搜索 日志收集
  • ELK分布式日志收集系统的搭建

    万次阅读 2020-03-30 14:44:48
    ELK分布式日志收集系统的搭建 filebeat+logstash+elasticsearch+kibana搭建一个分布式的日志收集系统

    ELK分布式日志收集系统的搭建

    filebeat+logstash+elasticsearch+kibana搭建一个分布式的日志收集系统

    1.linux下filebeat下载安装

    • deb:安装
     curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.6.1-amd64.deb
    
    sudo dpkg -i filebeat-7.6.1-amd64.deb
    
    • 启动filebeat
     sudo service filebeat start
    
    • filebeat配置文件在/etc/filebeat/filebeat.yml中
    #=========================== Filebeat inputs =============================
    
    filebeat.inputs:
    - type: log
      enabled: true
      paths:
        - /var/log/folio/okapi/okapi.log
      tag: ["okapi"]
      fields:
        index: 'filebeat-7.6-okapi'
    - type: log
      enabled: true
      paths:
        - /var/lib/okapi/mod-circulation/info.log
      tag: ["circulation"]
      fields:
        index: 'filebeat-7.6-circulation'
    
      multiline.pattern: '^[0-9]{4}-[0-9]{2}-[0-9]{2}'
      multiline.negate: true
      multiline.match: after
    #============================= Filebeat modules ===============================
    
    filebeat.config.modules: 
      path: ${path.config}/modules.d/*.yml
      reload.enabled: false
    
    #==================== Elasticsearch template setting ==========================
    
    setup.template.settings:
      index.number_of_shards: 1
    
    #============================== Kibana =====================================
    
    setup.kibana:
    
    #----------------------------- Logstash output --------------------------------
    output.logstash:
      hosts: ["172.168.13.208:5044"]
    
    #================================ Processors=====================================
    
    processors:
      - add_host_metadata: ~
      - add_cloud_metadata: ~
      - add_docker_metadata: ~
      - add_kubernetes_metadata: ~
    
    
    

    3.linux下logstash下载安装

    wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -
    
    sudo apt-get install apt-transport-https
    
    echo "deb https://artifacts.elastic.co/packages/7.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-7.x.list
    
    sudo apt-get update && sudo apt-get install logstash
    
    • logstash启动
     sudo systemctl start logstash.service
    
    • logstash配置文件在/etc/logstash目录下conf.d 中以config为结尾的配置文件
    
    input {
    
      beats {
               port => 5044
            }
    }
    filter {
      grok {
        match => { "message" => "(?<timestamp>%{TIMESTAMP_ISO8601})" }
      }
    }
    
    output {
    
      if [fields][index] == "filebeat-7.6-okapi" {
        elasticsearch {
          hosts => ["172.168.13.208:9200"]
          ## index 默认值是"logstash-%{+YYYY.MM.dd}",不允许包含大写字母
          index => "filebeat-okapi"
          }
       }else if [fields][index] == "filebeat-7.6-circulation" {
        elasticsearch {
          hosts => ["172.168.13.208:9200"]
          index => "filebeat-circulation"
          }
        }
    }
    
    

    3.linux下elasticsearch下载安装

     wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -
    
    sudo apt-get install apt-transport-https
    
    echo "deb https://artifacts.elastic.co/packages/7.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-7.x.list
    
    sudo apt-get update && sudo apt-get install elasticsearch
    
    • 要将Elasticsearch配置为在系统启动时自动启动,请运行以下命令:
    sudo /bin/systemctl daemon-reload
    sudo /bin/systemctl enable elasticsearch.service
    
    • Elasticsearch启动停止
    sudo systemctl start elasticsearch.service
    sudo systemctl stop elasticsearch.service
    
    • elasticsearch配置文件在/etc/elasticsearch/elasticsearch.yml
    
    # ------------------------------------ Node ------------------------------------
    
    node.name: master
    
    # ----------------------------------- Paths ------------------------------------
    
    path.data: /var/lib/elasticsearch
    
    path.logs: /var/log/elasticsearch
    
    # ---------------------------------- Network -----------------------------------
    
    network.host: 0.0.0.0
    
    # --------------------------------- Discovery ----------------------------------
    
    cluster.initial_master_nodes: ["master"]
    
    # ---------------------------------- Various -----------------------------------
    
    http.cors.enabled: true
    http.cors.allow-origin: "*"
    
    

    3.linux下kibana下载安装

    wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -
    
    sudo apt-get install apt-transport-https
    
    echo "deb https://artifacts.elastic.co/packages/7.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-7.x.list
    
    sudo apt-get update && sudo apt-get install kibana
    
    • 要将Kibana配置为在系统启动时自动启动,请运行以下命令:
    sudo /bin/systemctl daemon-reload
    
    sudo /bin/systemctl enable kibana.service
    
    • Kibana启动停止
    sudo systemctl start kibana.service
    
    sudo systemctl stop kibana.service
    
    • logstash配置文件在/etc/kibana/kibana.yml
    
    server.basePath: "/kibana"
    #i18n.locale: "en"
    i18n.locale: "zh-CN"
    server.port: 5601
    server.host: "0.0.0.0"
    elasticsearch.hosts: ["http://127.0.0.1:9200/"]
    kibana.index: ".kibana"
    
    
    展开全文
  • 分布式系统日志收集

    千次阅读 2019-04-04 23:30:11
    在分布式的环境中,日志收集通常采用 ELK 或其他的消息中间件,但是部署和使用都比较复杂。 本 Chat 将讲述另外一种非常简便的方式,而且不需要任何的学习成本就可以使用,那就是在 Logback 日志框架的基础上做一些...

    在分布式的环境中,日志收集通常采用 ELK 或其他的消息中间件,但是部署和使用都比较复杂。

    本 Chat 将讲述另外一种非常简便的方式,而且不需要任何的学习成本就可以使用,那就是在 Logback 日志框架的基础上做一些小小的改动,就可以收集不同应用的日志,并输出到不同的日志文件,而且性能也不错。

    通过本 Chat 大家将学习到:

    1. 全面了解以及使用 Java 的日志系统
    2. 分布式环境下的日志收集方式以及对应问题
    3. 了解 Logback 的源码及对其修改
    4. 共同探讨如何使用简单的技术做复杂的事

    阅读全文: http://gitbook.cn/gitchat/activity/5c9db58f27289a155f3fe306

    一场场看太麻烦?成为 GitChat 会员,畅享 1000+ 场 Chat !点击查看

    展开全文
  • 日志收集工具对比

    千次阅读 2020-05-11 10:10:15
    日志存储工具 两大日志存储工具elasticsearch和...loki:fluentd(安装了fluentd loki插件),promtail,针对纯docker容器可以使用docker log plugin loki进行docker容器日志收集。 docker插件docker log plugin loki
  • rsyslog 日志收集

    2020-08-11 11:04:07
    rsyslog 无论在性能还是部署上都优于其它日志收集应用,因系统自带,需要新功能只需要做升级即可,方便部署! 一、Rsyslog特性 Multi-threading, high availability TCP, SSL, TLS, RELP MySQL, Redis,Elastic...
  • HP 服务器日 志收集 硬件日志收集
  • Flume分布式日志收集收集系统
  • 本文介绍SpringBoot应用配合ELK进行日志收集。 1.有关ELK 1.1 简介 在之前写过一篇文章介绍ELK日志收集方案,感兴趣的可以去看一看,点击这里-----&gt; 《ELK日志分析方案》。 这里在对ELK做一下简述,ELK是有...
  • 日志系统之Flume日志收集

    千次阅读 2015-06-06 21:17:49
    本文介绍在日志系统中如何使用flume agent做日志收集以及为了满足我们的需求对flume agent进行了哪些扩展。
  • Flume日志收集与MapReduce模式

    热门讨论 2016-03-14 17:47:11
    Flume日志收集与MapReduce模式
  • Windows系统日志收集

    千次阅读 2019-08-29 15:24:46
    nxlog 是用 C 语言写的一个跨平台日志收集处理软件,其内部支持使用 Perl 正则和语法来进行数据结构化和逻辑判断操作。nxlog负责收集Windows系统日志,并将日志传给fluentd,fluentd将这些日志信息抛给elasticsearch...
  • Docker 容器日志收集

    千次阅读 2017-01-22 11:31:12
    docker 日志收集
  • 日志收集系统

    2018-08-28 17:10:55
    常用的日志收集系统有Syslog-ng,Scribe,Flume,当然还有ELK的LogStash.而目前互联网公司最长用的时Scribe和Flume,Scibe是Facebook开源的,但是现在已经不维护,所以不推荐使用   Scribe Scribe是Facebook...
  • ELK分布式日志收集系统

    千次阅读 2020-07-31 15:25:15
    ELK分布式日志收集系统 一、传统系统日志收集的问题 在传统项目中,如果在生产环境中,有多台不同的服务器集群,如果生产环境需要通过日志定位项目的Bug的话,需要在每台节点上使用传统的命令方式查询,这样效率非常...
  • Scribe日志收集工具

    2018-06-26 15:55:44
    Scribe日志收集工具 概述Scribe是facebook开源的日志收集系统,在facebook内部已经得到大量的应用。它能够从各种日志源上收集日志,存储到一个中央存储系统(可以是NFS,分布式文件系统等)上,以便于进行集中统计...
  • 依据kafka做的日志收集设计,国外英文paper
  • NIFI 日志收集埋点

    千次阅读 2019-03-03 23:08:01
    看很多朋友都有需求说怎么收集NIFI日志,这是之前自己的日志收集埋点; NIFI 的processor Service 等等日志都经过SimpleProcessLogger 类,直接贴代码,看注释应该很清晰; package org.apache.nifi.processor;...
  • - (BOOL)application:(UIApplication *... //日志收集(日志会被拦截,开发的时候注掉) [self redirectNSlogToDocumentFolder]; 方法实现 #pragma mark - 日志收集 - (void)redirectNSlogToDocumentFolder { NSString
  • 微服务日志收集方案

    2020-11-27 14:22:55
    微服务日志收集方案背景设计思路架构图搭建流程 背景 公司内部使用的是springcloud,随着业务逐步扩大,微服务数据也逐步增多,运行平台不仅涉及到腾讯云,超融合,微服务散落在不同的机器上,并且都是部署在docker...
  • 分布式日志收集原理

    千次阅读 2019-10-24 11:50:10
    一、传统系统日志收集的问题 在传统项目中,如果在生产环境中,有多台不同的服务器集群,如果生产环境需要通过日志定位项目的Bug的话,需要在每台节点上使用传统的命令方式查询,这样效率非常底下。 通常,日志...
  • 正是因为日志收集agent是整个日志平台的唯一数据来源,所以日志收集的地位非常重要。一旦日志收集agent出现问题,轻则影响后续链路的报警和查询,重则影响宿主服务器,反客为主,影响更为重要的应用系统。 所以,先...
  • 安卓错误日志收集

    2016-10-25 20:54:31
    Bugtags错误日志收集
  • SpringBoot使用Graylog日志收集

    千次阅读 2019-04-22 16:59:01
    本文介绍SpringBoot如何使用Graylog日志收集。 1.Graylog介绍 Graylog是一个生产级别的日志收集系统,集成Mongo和Elasticsearch进行日志收集。其中Mongo用于存储Graylog的元数据信息和配置信息,ElasticSearch用于...
  • Flume日志收集框架

    千次阅读 2019-01-18 23:10:32
    Flume:分布式 可扩展 高可用的海量日志收集框架 Flume的安装搭建 Flume架构 Flume实践
  • 日志收集系统 flume

    2019-05-29 22:58:36
    实时数据 高容错误 高可用 可发货 什么是flume? Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的...日志收集 不同数据源 转存不同存储中心 负载均衡,故障转移 flume 架构...
  • ELK-日志收集工具nxlog

    千次阅读 2019-04-24 13:54:17
    日志收集工具nxlog 文章目录日志收集工具nxlog前言安装语法宏变量通用模块指令格式Module 模块名FlowControlInputType:指定输入类型OutputType:指定输出类型Exec: 执行命令Schedule:定时器EveryFirstExecWhenRoute...
  • 这一节介绍的收集方法是通过log4j appender 实现的日志收集器。 public class LogClientAppender extends AppenderSkeleton { @Override protected void append(LoggingEvent loggingEvent) { LogLevel log...
  • k8s日志收集方案

    2020-05-23 20:07:19
    本文介绍通过elk + filebeat方式收集k8s日志,其中filebeat以logagent方式部署。elfk最新版本:7.6.2 k8s日志收集方案 ...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 18,938
精华内容 7,575
关键字:

日志收集