精华内容
下载资源
问答
  • elk配置
    2017-11-29 11:42:48

    Elasticsearch、Logstash、Kibana简称ELK,日志收集使用Filebeat,以下配置基于Ubuntu Server

    1.Elasticseach安装配置

    下载elasticsearch.tar压缩包,并解压至ES_HOME目录

    1.1修改ES_HOME/config/elasticsearch.yml

          cluster.name: ES-Cluster

          node.name: node001

          path.data: /opt/apps/elasticsearch/data

          path.logs: /opt/logs/elasticsearch

          network.host:192.168.0.101

          http.port: 9200

    1.2 启动/停止脚本

          启动脚本:

          #!/bin/bash

          ES_HOME=/opt/apps/elasticsearch/elasticsearch-6.0.0

          echo "Start ElasticSearch 6.0.0"
          $ES_HOME/bin/elasticsearch -d
          echo "Start ElasticSeach 6.0.0 Finished"


    2.Filebeat安装配置

    下载filebeat安装包



    3.Kibana安装配置

    placeholder

    更多相关内容
  • docker集群ELK部署读取本地日志--配置文件;包含docker-compose集群化部署ELK配置脚本和elasticsearch、kibana的配置文件、logstash解析日志的配置文件
  • 1.安装elk 1.1:获取最新的镜像: docker pull sebp/elk 1.2:启动镜像: docker run -d -e ES_JAVA_OPTS="-Xms1024m -Xmx1024m" -p 5601:5601 -p 5044:5044 -p 9200:9200 -p 9300:9300 -it --restart=always --...

     

    1.安装elk

    1.1:获取最新的镜像:

    docker pull sebp/elk

    1.2:启动镜像:

    docker run -d -e ES_JAVA_OPTS="-Xms1024m -Xmx1024m" -p 5601:5601 -p 5044:5044 -p 9200:9200 -p 9300:9300 -it --restart=always --name elk c21727ae794b

    错误

    max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]
    

    编辑/etc/sysctl.conf,在里面加入:vm.max_map_count=262144

    修改elasticsearch

    docker exec -it elk bash
    #编辑es,vim /etc/elasticsearch/elasticsearch.yml,在结尾追加
    xpack.security.enabled: true
    xpack.security.transport.ssl.enabled: true
    #退出容器
    exit
    重启再进入
    docker restart elk
    docker exec -it elk bash
    #进入安装目录,为内置账号生成密码(自建)
    /opt/elasticsearch/bin/elasticsearch-setup-passwords interactive
    #进入安装目录,为内置账号生成密码(自动)
    /opt/elasticsearch/bin/elasticsearch-setup-passwords auto

    修改kibana

    #停掉kibana,修改kibana的配置文件vim /opt/kibana/confif/kibana.yml,在结尾追加以下内容
    i18n.locale: "zh-CN"
    kibana.index: ".kibana"
    elasticsearch.username: "elastic"
    elasticsearch.password: "之前配置的密码"
    

    修改logstash

     

    修改02-beats-input.conf
    docker exec -it elk /bin/bash
    vim /etc/logstash/conf.d/02-beats-input.conf
     
    
    input {
        tcp {
            port => 5044
            codec => json_lines
        }
    }
    output{
        elasticsearch {
        hosts => ["localhost:9200"]
        index => "ruizhi-log-%{+YYYY.MM.dd}"
        user => "elastic"
        password => "之前配置的密码"
        }
    }
    
    修改 30-output.conf
    vim 30-output.conf

     

    output {
      elasticsearch {
        hosts => ["localhost:9200"]
        manage_template => false
        index => "%{[@metadata][beat]}-%{+YYYY.MM.dd}"
        user => "elastic"
        password => "之前配置密码"
    
      }
    }
    

    修改 logstash.yml 

    vim /opt/logstash/config/logstash.yml
    #追加
    xpack.monitoring.elasticsearch.username: logstash_system
    xpack.monitoring.elasticsearch.password: 之前配置密码
    

    重新elk

    docker restart elk

    至此完成配置,生产环境最好内网部署

    展开全文
  • elk-journey:包含ELK配置,故障排除
  • 简单ELK配置实现生产级别的日志采集和查询实践.doc
  • ELK配置es添加密码账户

    千次阅读 2019-11-07 17:09:22
    5 修改kibana配置文件,config下的kibana.yml,添加如下内容 elasticsearch.username: "elastic" elasticsearch.password: "123456" 6 logstash配置logstash.conf中添加 output { elasticsearch { hosts => ...

    1 elasticsearch设置密码

    使用命令elasticsearch-setup-passwords interactive
    如果报错如下信息
    在这里插入图片描述

    修改elasticsearch.yml文件 末尾增加如下代码

     xpack.security.enabled: true
    
    

    2. 重启elasticsearch,重新设置密码成功

    再次执行设置密码

    bin/elasticsearch-setup-passwords interactive
    

    3 这里需要为4个用户分别设置密码,elastic, kibana, logstash_system,beats_system

    在这里插入图片描述

    4. 修改密码如下

    curl -H "Content-Type:application/json" -XPOST -u elastic 'http://127.0.0.1:9200/_xpack/security/user/elastic/_password' -d '{ "password" : "123456" }'
    
    

    5 修改kibana配置文件,config下的kibana.yml,添加如下内容

    elasticsearch.username: "elastic"
    elasticsearch.password: "123456"
    

    6 logstash配置logstash.conf中添加

    output {
        elasticsearch {
          hosts => ["ip:9200"]
          user => elastic
          password => xxxx
          index => "test-%{+YYYY-MM-dd}"
          timeout => 300
      }
    
    
    
    展开全文
  • Aerokube ELK堆栈配置 该存储库包含用于将日志从Aerokube产品发送到 stack的示例配置文件。 我们正在使用: 收集正在运行的Aerokube工具容器的日志文件。 预处理日志文件。 存储和索引日志数据。 作为用户界面。...
  • 首先之前记录了如何部署安装sebp/elk,在启动后这些应用扮演的角色和功能,...sebp/elk,对于Logstash的配置文件在etc/logstash/conf.d/下,它会整合所有的配置文件然后启动。 默认的input方式是filebeat,我们修...

    首先之前记录了如何部署安装sebp/elk,在启动后这些应用扮演的角色和功能,以及详细每个工具的应用我们在这里进行介绍。

    Logstash,分布式日志收集。可以将所有分布式应用的日志进行回收采集。

    一、对于上一篇结尾

    sebp/elk,对于Logstash的配置文件在etc/logstash/conf.d/下,它会整合所有的配置文件然后启动。

    默认的input方式是filebeat,我们修改配置文件02-beats-input.conf

    vim 02-beats-input.conf
    
    input {    
        tcp {         
            port => 5044         
            codec => json_lines     
        }     
    } 
    //这样就可以一个app一个日志
    filter{
       mutate{
             lowercase=>["springAppName"]    转为小写   索引不能有大写
        }
    }
    
    output{  
        elasticsearch { 
            hosts => ["192.168.12.122:9200"] 
            //action => "index"  //action=>”index” #es要执行的动作 index, delete, create, update
            index  => "%{springApName}"
        } 
    }
    

    之后重启容器即可。

    之后按照之前说的,将POM引入

    <!--引入logback,elk日志的依赖 -->
    		<dependency>
    			<groupId>net.logstash.logback</groupId>
    			<artifactId>logstash-logback-encoder</artifactId>
    			<version>6.1</version>
    		</dependency>

    在resource目录下编写logback.xml,见上篇文章

    https://blog.csdn.net/lvhao2813/article/details/104985072

    Codecs
    codecs 是基于数据流的过滤器,它可以作为input,output的一部分配置。Codecs可以帮助你轻松的分割发送过来已经被序列化的数据。流行的codecs包括 json,msgpack,plain(text)。

    json:使用json格式对数据进行编码/解码
    multiline:将汇多个事件中数据汇总为一个单一的行。比如:java异常信息和堆栈信息

    二、配置文件

    logstash pipeline包含2个必须元素:input和output 和一个可选的filter。也就是配置文件的编写规则、

    logstash  input可以从 stdin屏幕输入、file文件中、syslog通过网络将系统日志消息、beats、kafka、jdbc等读取日志

    logstash  output可以 输出到 屏幕、file文件中、kafka、elasticseach  在es中存储日志

    这些都是input和output的很多插件
     

    input{
        file{
            path => "/var/log/nginx/access.log" //文件路径,允许模糊/var/log/**/*.log
            start_position => "beginning"       //选择开始读取文件的位置
            type => "nginx_access_log"          //通用选项,激活过滤器
        }
        syslog{
            port =>"514" 
            type => "syslog"
        }
        beats {
            port => 5044   #要监听的端口
        }
        kafka{
            bootstrap_servers=> "kafka01:9092,kafka02:9092,kafka03:9092"  //用于建立群集初始连接的Kafka实例的URL列表
            topics => ["access_log"]                   //要订阅的主题列表,kafka topics
            group_id => "logstash-file"                //消费者所属组的标识符
            codec => "json"
        }
        kafka{
            bootstrap_servers=> "kafka01:9092,kafka02:9092,kafka03:9092"
            topics => ["weixin_log","user_log"]  
            codec => "json"
        }
        redis {
          codec => json
          host => "192.168.2.246"
          port => 56379
          key => "data-mgr"
          data_type => "list"
        }
    }
    
    output{                                     //输出配置
        stdout{
            codec => "rubydebug"
        }
        file {
            path => "/data/logstash/%{host}/{application}
            codec => line { format => "%{message}"} }
        }
        kafka{
            bootstrap_servers => "localhost:9092"
            topic_id => "test_topic"  #必需的设置。生成消息的主题
        }
        elasticsearch {      
            hosts => "192.168.12.122:9200"
            index => "share-log-%{+YYYY.MM.dd}"   
        }
        
    }

    filter过滤

    用的是grok插件,它可以匹配一切数据,只是举个栗子 要结合实际来编写

    filter {
    
      #定义数据的格式
      grok {
        match => { "message" => "%{DATA:timestamp}\|%{IP:serverIp}\|%{IP:clientIp}\|%{DATA:logSource}\|%{DATA:userId}\|%{DATA:reqUrl}\|%{DATA:reqUri}\|%{DATA:refer}\|%{DATA:device}\|%{DATA:textDuring}\|%{DATA:duringTime:int}\|\|"}
      }
    
     #定义时间戳的格式
      date {
        match => [ "timestamp", "yyyy-MM-dd-HH:mm:ss" ]
        locale => "cn"
      }
    
      #定义客户端的IP是哪个字段(上面定义的数据格式)
      geoip {
        source => "clientIp"
      }
    }
    

     

    三、实战

        一个java应用,将log4j日志远程发送到logstash

    引入pom

    <dependency>
                <groupId>log4j</groupId>
                <artifactId>log4j</artifactId>
                <version>1.2.17</version>
    </dependency>
    

    配置log4j

    #输出日志到logstash
    log4j.appender.logstash=org.apache.log4j.net.SocketAppender
    log4j.appender.logstash.RemoteHost=192.168.12.122
    log4j.appender.logstash.port=4560
    log4j.appender.logstash.ReconnectionDelay=60000
    log4j.appender.logstash.LocationInfo=true
    

    logstasg配置

    input {
        log4j {
            host => "192.168.12.122"
            port => 4560
        }
    }
    
    output {
        stdout {
          codec => rubydebug
        }
        elasticsearch{
            hosts => ["192.168.12.122:9200"]
            index => "log4j-%{+YYYY.MM.dd}"
            document_type => "log4j_type"
        }
    }
    

     

     

     

     

     

     

     

    展开全文
  • docker+elk安装配置

    千次阅读 2021-12-15 09:49:39
    docker配置单机版es+kibana 1. 下载elasticsearch+kibana镜像 docker pull elasticsearch:7.6.2 docker pull kibana:7.6.2 2. 配置es挂载 mkdir -p /mydata/elasticsearch/config mkdir -p /mydata/elasticsearch/...
  • 如何需要外网访问,注意需要在kibana.yml 中 配置对应ip否则只能本机访问     三、logstash配置 参考: https://blog.csdn.net/loophome/article/details/52353869 配置: 1.配置GROK表达式 ...
  • ELK超详细配置

    万次阅读 多人点赞 2020-11-18 20:00:48
    一、ELK日志分析系统简介 ELK日志分析系统是Logstash、Elasticsearch、Kibana开源软件的集合,对外是作为一个日志管理系统的开源方案,它可以从任何来源、任何格式进行日志搜索、分析与可视化展示 1.1、ELK日志分析...
  • ELK 部署及配置

    2021-04-10 17:30:40
    ELK即ElasticSearch、Logstash和Kibana,是由这三个软件组成的,能够实现日志入库和日志检索,安装也较为简单,下面介绍安装部署方法: 一、下载软件: 三个软件的下载,可访问我的网盘: 链接:...
  • 提供在windows系统下搭建ELK日志分析平台教程。资源来源于CSDN博客
  • ELK + Filebeat 配置

    2021-05-21 15:31:16
    ELK + Filebeat 配置 目标架构 环境要求:安装jdk 硬件要求:8G内存,cpu核数至少2 示例版本:7.10.2 示例系统:linux elasticsearch配置: network.host: 0.0.0.0 http.port: 9200 http.cors.enabled: true ...
  • ELK日志框架搭建详解
  • 消息队列二、Filebeat 配置说明三、多个客户端使用不同的索引 一、Filebeat 的基础概念 1.输入 输入可以指定:file, stdin, redis, udp, docker, tcp, syslog。 2.收集器 (1). 对于每个单独的文件,会启动一个...
  • 简介: filebeat客户端添加成功后,在kibana查看添加的索引,默认情况下,当索引生命周期管理(ILM)被禁用或不受支持时,Filebeat 使用时间序列...在filebeat.yml文件中,配置setup.template.name和 setup.template.
  • spring cloud 配置ELKELK创建索引

    千次阅读 2021-02-18 09:53:58
    ELK服务安装成功后,进行下面spring cloud 配置ELK 一、引入logstash依赖 在build.gradle文件中的dependencies的对象中引入依赖 compile 'net.logstash.logback:logstash-logback-encoder:5.2' 二、application...
  • ELK集群配置安全认证

    千次阅读 2020-11-03 23:20:33
    一、生成证书 集群结构: hostname IP es1 192.168.1.5 es2 ...[elk@es1 elasticsearch]$ bin/elasticsearch-certutil ca ...... Please enter the desired output file [elastic-stack-c
  • Filebeat配置ELK

    2021-11-30 10:08:02
    工作流程二、使用步骤1.logback配置2.Filebeat配置总结 前言 提示:这里可以添加本文要记录的大概内容: 例如:随着人工智能的不断发展,机器学习这门技术也越来越重要,很多人都开启了学习机器学习,本文就介绍了
  • 基于windows环境搭建elk日志分析平台
  • elk(windows下配置)

    2016-12-26 19:27:17
    对应我写的博客下需要用到的资源文件,注意logstash.conf中file对于的路径要根据实际修改,包含一个日志文件和一个logstash.conf文件
  • 本文档包含以下详细信息: Topologu的描述访问政策ELK配置使用中的节拍被监视的机器如何使用Ansible构建拓扑描述该网络的主要目的是公开DVWA(D * mn易受攻击的Web应用程序)的负载平衡和受监视的实例。 负载平衡...
  • ELK安装及多日志文件收集配置-windows

    万次阅读 2021-12-01 09:58:27
    创建配置文件(使用读取log日志文件的方式获取日志信息,与项目解耦) 创建logstash.conf,并放在bin目录中(名称随意,放的路径随意) 配置文件内容自行修改相关配置,示例如下(收集多项目日志推送到不同的es索引) ...
  • elk7版本安装配置

    2021-03-11 17:35:24
    es:https://cloud.tencent.com/developer/article/1615815
  • ELK环境部署(一)--基础环境配置

    千次阅读 2022-03-29 10:31:15
    单机部署ELK,进行日志筛选、可视化界面查看,使用nginx作为日志生产工具 环境介绍 2C4G CentOS7.9 40G 1、准备虚拟机 步骤略 2、修改网卡 vi /etc/sysconfig/network-scripts/ifcfg-ens33 需要修改项: ...
  • Docker配置ELK

    2019-12-12 11:17:53
    1.拉取sebp/elk镜像 [AppleScript]纯文本查看复制代码 ? 1 sudo docker pull sebp/elk 2.运行ELK容器 运行elk容器的时候,需将宿主机的端口转发到该容器,其中ES端口为9200...
  • ELK配置 使用中的节拍 被监视的机器 如何使用Ansible构建 拓扑描述 该网络的主要目的是公开DVWA(D * mn易受攻击的Web应用程序)的负载平衡和受监视的实例。 负载平衡不仅可以限制应用程序对网络的入站访问,还可以...
  • 一、安装 官网下载kibana即可。二、配置 修改配置文件kibana-7.12.0-windows-x86_64\config\kibana.yml 修改es地址: 启动命令: 三、访问地址
  • 我这边用到的版本是7.6.1版本,ELK最好版本统一,避免版本兼容导致失败,可以在官网下载,下载可能会慢,我这里下载好了,可以直接用 1.Elasticsearch下载...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 39,830
精华内容 15,932
关键字:

elk配置

友情链接: Desktop.rar