FileBeat

2020-10-31 13:54:31

一、fileBeat安装 https://blog.csdn.net/jeikerxiao/article/details/84841792 1.linux安装部署启动: ./filebeat -e -c mytest.yml filebeat 5.5配置： filebeat.prospectors: - input_type: log enabled: true ...

一、fileBeat安装

https://blog.csdn.net/jeikerxiao/article/details/84841792

1.linux安装部署

在这里插入图片描述

启动: ./filebeat -e -c mytest.yml

filebeat 5.5配置：

filebeat.prospectors:
- input_type: log
  enabled: true
  paths:
    - /mtlog/beats/logs/*.log
output.console:
  pretty: true
  enable: true

自定义字段

le: true

自定义字段

在这里插入图片描述

收起

展开全文

Filebeat

2020-03-12 23:07:46

Filebeat 简介 filebeat概述 Filebeat是本地文件的日志数据发送者。作为服务器上的代理安装，Filebeat监视日志目录或特定的日志文件，tails文件，并转发到Elasticsearch或Logstash索引。Filebeat是一个Beat，它是...

Filebeat 简介

filebeat概述

Filebeat是本地文件的日志数据发送者。作为服务器上的代理安装，Filebeat监视日志目录或特定的日志文件，tails文件，并转发到Elasticsearch或Logstash索引。Filebeat是一个Beat，它是基于libbeat框架。

工作原理：

Filebeat由两个主要组件组成：prospector(查找器) 和harvester（采集器）。这些组件一起工作来读取文件（tail file）并将事件数据发送到您指定的输出

启动Filebeat时，它会启动一个或多个Prospectors(查找器)，查看日志文件指定的本地路径。对于prospector所在的每个日志文件，Filebeat启动harvester（采集器）。每个采集器都会为新内容读取一个日志文件，并将新的日志数据发送到libbeat，后者将聚合这些事件并将聚合的数据发送到为Filebeat配置的输出

在这里插入图片描述

读取日志文件，但不做数据的解析处理
保证数据“At Least Once” 至少被读取一次，即数据不会丢失
其他能力
- 处理多行数据
- 解析JSON格式数据
- 简单的过滤功能

harvester

harvester :负责读取单个文件的内容。读取每个文件，并将内容发送到 the output
每个文件启动一个harvester, harvester 负责打开和关闭文件，这意味着在运行时文件描述符保持打开状态
如果文件在读取时被删除或重命名，Filebeat将继续读取文件。
这有副作用，即在harvester关闭之前，磁盘上的空间被保留。默认情况下，Filebeat将文件保持打开状态，直到达到close_inactive状态

关闭harvester会产生以下结果：
1）如果在harvester仍在读取文件时文件被删除，则关闭文件句柄，释放底层资源。
2）文件的采集只会在scan_frequency过后重新开始。
3）如果在harvester关闭的情况下移动或移除文件，则不会继续处理文件。

要控制收割机何时关闭，请使用close_ *配置选项

prospector

prospector 负责管理harvester并找到所有要读取的文件来源。
如果输入类型为日志，则查找器将查找路径匹配的所有文件，并为每个文件启动一个harvester。
每个prospector都在自己的Go协程中运行。

以下示例将Filebeat配置为从与指定的匹配的所有日志文件中收集行：

Filebeat 配置 - filebeat.yml

在这里插入图片描述

Filebeat 配置模板 - index template

在这里插入图片描述

modules

使用Filebeat模块是可选的，提供了一种快速处理常见日志格式的方法。它们包含默认配置、 Elasticsearch的节点管道定义，以及Kibana指示板。
Filebeat提供了几种不同的方式来启用模块：

 ./filebeat modules enable apache2   #启用apache2模块
./filebeat modules list     #查看启用和禁用模块的列表

# filebeat modules list
Enabled:
apache2     #解析由Apache HTTP服务器创建的访问和错误日志 

Disabled:
auditd      #收集并分析来自审计守护进程（auditd）的日志
icinga      #解析Icinga的主要日志，调试日志和启动日志 (监控)
kafka       #收集并分析由Kafka创建的日志 
logstash    #解析logstash常规日志和慢日志，支持纯文本格式和JSON格式
mysql       #收集并分析由MySQL创建的慢日志和错误日志
nginx       #分析由Nginx HTTP服务器创建的访问和错误日志
osquery     #收集并解码由osqueryd 以JSON格式编写的结果日志 。要设置osqueryd，请遵循操作系统的osquery安装说明并配置filesystem日志记录驱动程序（默认设置）。确保UTC时间戳已启用
postgresql  #收集并分析由PostgreSQL创建的日志
redis       #分析由Redis创建的日志和缓慢日志 
system      #收集和分析由基于Unix / Linux的常见发行版的系统日志记录服务创建的日志
traefik     #分析由Træfik创建的访问日志 （反向代理和负载均衡）

运行Filebeatedit时启用模块
./filebeat -e --modules nginx,apache2
在filebeat.yml文件中启用模块配置

推荐使用modules.d目录中的配置文件，在filebeat.yml文件中配置模块，将无法使用modules命令启用和禁用配置。要启用filebeat.yml配置文件中的特定模块，可以将条目添加到filebeat.modules列表中
通过在文件中指定变量设置

- module: apache2
      # Access logs
      access:
        enabled: true
        var.paths: ["/var/log/httpd/access_log*"]
      # Error logs
      error:
        enabled: true
        var.paths: ["/var/log/httpd/error_log*"]

filebeat --modules apache2 -M "apache.access.var.paths=["/var/log/httpd/access_log*"]" -M "apache.error.var.paths=["/var/log/httpd/error_log*"]"

实时重新加载

可以配置Filebeat以在发生更改时动态地重新加载配置文件。该功能仅适用于prospector和模块配置文件，要配置此功能，请指定一个路径（Glob）来监视配置更改。当Glob找到的文件发生变化时，根据配置文件的变化启动和停止新的prospectors and/or模块。
此功能在容器环境中特别有用，其中一个容器用于在同一主机上的其他容器中运行服务的日志。要启用动态配置重新加载，请在filebeat.config.prospectors或filebeat.config.modules部分下指定路径和重新加载选项，如

filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml     #定义要检查更改的文件的Glob
  reload.enabled: true          #设置为true时，启用动态配置重新加载。
  reload.period: 10s            #指定文件检查更改的频率。 不要将周期设置为小于1秒，因为文件的修改时间通常以秒为单位存储。

配置日志输出

官方文档：https://www.elastic.co/guide/en/beats/filebeat/current/configuration-logging.html
filebeat.yml配置文件的日志记录部分包含用于配置Beats日志记录输出的选项。日志系统可以将日志写入系统日志或旋转日志文件。如果未明确配置日志记录，则在Windows系统上使用文件输出，在Linux和OS X上使用syslog输出。

logging.level: info         #输出的日志级别debug, info, warning, error, or critical
logging.to_files: true      #如果为true，则将所有日志记录输出写入文件。 当达到日志文件大小限制时，日志文件会自动旋转
logging.to_syslog: false    #如果为true，则将所有日志输出写入syslog
logging.files:
  path: /var/log/filebeat
  name: filebeat
  keepfiles: 7
  permissions: 0644

常见实践架构

1. filebeat–>logstash–>elasticsearch–>kibana
1. filebeat–>elasticsearch–>kibana
  -

Ingest Node：5.x新增的一个节点类型：
-在数据写入es前（bulk/index操作）对数据进行处理

可设立独立的ingest node专门进行数据转换处理 node.ingest: true
api endpoint为pipeline

Ingest Node - Pipeline：

Pipeline由一系列processor组成，类似logstash的filter plugin：
Processor对应logstash的filter Plugin，基本都涵盖了：Convert、Grok、Date、Gsub、Join、Json、Remove、Script

{
    "description":"...",
    "processors": [...]
}

Pipeline的API比较简单，主要有如下四个：

创建PUT
获取GET
删除DELETE
模拟调试SIMULATE

为了能够filebeat把这个log数据传输到Elasticsearch，我们可以使用如下的配置文件。我们创建一个叫做filebeat.yml文件：

filebeat.inputs:
- type: log
  enabled: true
  fields:
    apache: true
  paths:
    - ***
 
output.elasticsearch:
    hosts: ["localhost:9200"]
    pipeline: "my_pipeline_id"

在es 中配置

添加一个pipeline

PUT _ingest/pipeline/my_pipeline_id
{
  "description": "for test",
  "processors": [
    {
      "set": {
        "field": "name",
        "value": "alfred"
      }
    }
  ]
}

GET _ingest/pipeline/my_pipeline_id
//删除
DELETE _ingest/pipeline/my_pipeline_id
//模拟
GET _ingest/pipeline/my_pipeline_id/_simulate
{
  "docs": [
      {
        "_source":{
          "message":"my message"
        }
      }
    ]
}

注意处理解析错误的情况：(可以存进index里面，或者转化为字段)

Pipeline实践处理nginx日志：

日志处理中常用到两个es的插件(es > 7.6 自带，不用安装)：

./bin/elasticsearch-plugin install ingest-geoip
./bin/elasticsearch-plugin install ingest-user-agent

插件必须安装在群集中的每个节点上，并且每个节点必须在安装后重新启动(supervisor)。

PUT  _ingest/pipeline/nginx_log
{
  "description": "Pipeline for parsing Nginx access logs. Requires the geoip and user_agent plugins.",
  "processors": [{
    "grok": {
      "field": "message",
      "patterns":[
        "\"?%{IP_LIST:nginx.access.remote_ip_list} - %{DATA:nginx.access.user_name} \\[%{HTTPDATE:nginx.access.time}\\] \"%{WORD:nginx.access.method} %{DATA:nginx.access.url} HTTP/%{NUMBER:nginx.access.http_version}\" %{NUMBER:nginx.access.response_code} %{NUMBER:nginx.access.body_sent.bytes} \"%{DATA:nginx.access.referrer}\" \"%{DATA:nginx.access.agent}\""
        ],
      "pattern_definitions": {
        "IP_LIST": "%{IP}(\"?,?\\s*%{IP})*"
      },
      "ignore_missing": true
    }
  }, {
    "split": {
      "field": "nginx.access.remote_ip_list",
      "separator": "\"?,?\\s+"
    }
  }, {
    "script": {
      "lang": "painless",
      "inline": "boolean isPrivate(def ip) { try { StringTokenizer tok = new StringTokenizer(ip, '.'); int firstByte = Integer.parseInt(tok.nextToken());       int secondByte = Integer.parseInt(tok.nextToken());       if (firstByte == 10) {         return true;       }       if (firstByte == 192 && secondByte == 168) {         return true;       }       if (firstByte == 172 && secondByte >= 16 && secondByte <= 31) {         return true;       }       if (firstByte == 127) {         return true;       }       return false;     } catch (Exception e) {       return false;     }   }   def found = false;   for (def item : ctx.nginx.access.remote_ip_list) {     if (!isPrivate(item)) {       ctx.nginx.access.remote_ip = item;       found = true;       break;     }   }   if (!found) {     ctx.nginx.access.remote_ip = ctx.nginx.access.remote_ip_list[0];   }"
      }
  }, {
    "remove":{
      "field": "message"
    }
  }, {
    "rename": {
      "field": "@timestamp",
      "target_field": "read_timestamp"
    }
  }, {
    "date": {
      "field": "nginx.access.time",
      "target_field": "@timestamp",
      "formats": ["dd/MMM/YYYY:H:m:s Z"]
    }
  }, {
    "remove": {
      "field": "nginx.access.time"
    }
  }, {
    "user_agent": {
      "field": "nginx.access.agent",
      "target_field": "nginx.access.user_agent"
    }
  }, {
    "remove": {
      "field": "nginx.access.agent"
    }
  }, {
    "geoip": {
      "field": "nginx.access.remote_ip",
      "target_field": "nginx.access.geoip"
    }
  }],
  "on_failure" : [{
    "set" : {
      "field" : "error.message",
      "value" : "{{ _ingest.on_failure_message }}"
    }
  }]
}

nginx_log的写法其实就是filebeat中nginx模块ingest的配置：
nginx/access/ingest/default.json

案例：使用apache2模块

解析由Apache HTTP服务器创建的访问和错误日志

当你运行这个模块时，它会在下面执行一些任务：

设置日志文件的默认路径（可以覆盖默认值）
确保每个多行日志事件都作为单个事件发送
使用摄入节点来解析和处理日志行，将数据整形为适合在Kibana中可视化的结构
部署仪表板以可视化日志数据

兼容性：

设置并运行模块:

在执行这些步骤之前，确保Elasticsearch和Kibana安装完成并正在运行，并且Elasticsearch已准备好从Filebeat接收数据。

============= Kibana ================
setup.kibana:
  host: "192.168.20.60:5601"
============= Outputs ===========
output.elasticsearch:
  # Array of hosts to connect to.
  hosts: ["192.168.20.60:9200"]

1.启用模块：
./filebeat modules enable apache2
2.查看启用和禁用模块的列表：
./filebeat modules list
3.建立初始环境：
./filebeat setup -e
该setup命令加载用于写入Elasticsearch的推荐索引模板，并部署示例仪表板以在Kibana中可视化数据。这是一次性设置步骤。
-e标志是可选的，并将输出发送到标准错误而不是syslog
4.配置模块：
方法1：通过在文件中指定变量设置

    - module: apache2
      # Access logs
      access:
        enabled: true
        var.paths: ["/var/log/httpd/access_log*"]
      # Error logs
      error:
        enabled: true
        var.paths: ["/var/log/httpd/error_log*"]

方法二：在命令行中覆盖设置
filebeat --modules apache2 -M "apache.access.var.paths=["/var/log/httpd/access_log*"]" -M "apache.error.var.paths=["/var/log/httpd/error_log*"]
5.运行Filebeat：
/etc/init.d/filebeat start
6.探索kibana中的数据
打开浏览器并导航到Kibana中的仪表板概览

收起

展开全文

kibana

28.Filebeat的高级配置-Filebeat部分

万次阅读 2016-04-24 14:13:20

介绍Filebeat的高级配置，尤其介绍了Filebeat组件自己的配置选项的意义。

转载*请注明原始出处：http://blog.csdn.net/a464057216/article/details/51233375

后续此博客不再更新，欢迎大家搜索关注微信公众号“测开之美”，测试开发工程师技术修炼小站，持续学习持续进步。
在这里插入图片描述
在Filebeat安装完成准备使用前，最好先对Filebeat进行一些详细的配置再使用，下面来详细讲解一下相关内容。

Filebeat的配置文件是/etc/filebeat/filebeat.yml，遵循YAML语法。具体可以配置如下几个项目：

Filebeat
Output
Shipper
Logging(可选)
Run Options（可选）

这个Blog主要讲解Filebeat的配置部分，其他部分后续会有新的Blog介绍。

Filebeat的部分主要定义prospector的列表，定义监控哪里的日志文件，关于如何定义的详细信息可以参考filebeat.yml中的注释，下面主要介绍一些需要注意的地方。

paths：指定要监控的日志，目前按照Go语言的glob函数处理。没有对配置目录做递归处理，比如配置的如果是：

/var/log/* /*.log

则只会去/var/log目录的所有子目录中寻找以".log"结尾的文件，而不会寻找/var/log目录下以".log"结尾的文件。

encoding：指定被监控的文件的编码类型，使用plain和utf-8都是可以处理中文日志的。
input_type：指定文件的输入类型log(默认)或者stdin。
exclude_lines：在输入中排除符合正则表达式列表的那些行。
include_lines：包含输入中符合正则表达式列表的那些行（默认包含所有行），include_lines执行完毕之后会执行exclude_lines。
exclude_files：忽略掉符合正则表达式列表的文件（默认为每一个符合paths定义的文件都创建一个harvester）。
fields：向输出的每一条日志添加额外的信息，比如“level:debug”，方便后续对日志进行分组统计。默认情况下，会在输出信息的fields子目录下以指定的新增fields建立子目录，例如fields.level。

fields:
level: debug

则在Kibana看到的内容如下：

这里写图片描述

fields_under_root：如果该选项设置为true，则新增fields成为顶级目录，而不是将其放在fields目录下。自定义的field会覆盖filebeat默认的field。例如添加如下配置：

fields:
level: debug
fields_under_root: true

则在Kibana看到的内容如下：

这里写图片描述

ignore_older：可以指定Filebeat忽略指定时间段以外修改的日志内容，比如2h（两个小时）或者5m(5分钟)。
close_older：如果一个文件在某个时间段内没有发生过更新，则关闭监控的文件handle。默认1h。
force_close_files：Filebeat会在没有到达close_older之前一直保持文件的handle，如果在这个时间窗内删除文件会有问题，所以可以把force_close_files设置为true，只要filebeat检测到文件名字发生变化，就会关掉这个handle。
scan_frequency：Filebeat以多快的频率去prospector指定的目录下面检测文件更新（比如是否有新增文件），如果设置为0s，则Filebeat会尽可能快地感知更新（占用的CPU会变高）。默认是10s。
document_type：设定Elasticsearch输出时的document的type字段，也可以用来给日志进行分类。
harvester_buffer_size：每个harvester监控文件时，使用的buffer的大小。
max_bytes：日志文件中增加一行算一个日志事件，max_bytes限制在一次日志事件中最多上传的字节数，多出的字节会被丢弃。
multiline：适用于日志中每一条日志占据多行的情况，比如各种语言的报错信息调用栈。这个配置的下面包含如下配置：

pattern：多行日志开始的那一行匹配的pattern
negate：是否需要对pattern条件转置使用，不翻转设为true，反转设置为false
match：匹配pattern后，与前面（before）还是后面（after）的内容合并为一条日志
max_lines：合并的最多行数（包含匹配pattern的那一行）
timeout：到了timeout之后，即使没有匹配一个新的pattern（发生一个新的事件），也把已经匹配的日志事件发送出去

tail_files：如果设置为true，Filebeat从文件尾开始监控文件新增内容，把新增的每一行文件作为一个事件依次发送，而不是从文件开始处重新发送所有内容。
backoff：Filebeat检测到某个文件到了EOF之后，每次等待多久再去检测文件是否有更新，默认为1s。
max_backoff：Filebeat检测到某个文件到了EOF之后，等待检测文件更新的最大时间，默认是10秒。
backoff_factor：定义到达max_backoff的速度，默认因子是2，到达max_backoff后，变成每次等待max_backoff那么长的时间才backoff一次，直到文件有更新才会重置为backoff。比如：

这里写图片描述

如果设置成1，意味着去使能了退避算法，每隔backoff那么长的时间退避一次。

spool_size:spooler的大小，spooler中的事件数量超过这个阈值的时候会清空发送出去（不论是否到达超时时间）。
idle_timeout:spooler的超时时间，如果到了超时时间，spooler也会清空发送出去（不论是否到达容量的阈值）。
registry_file:记录filebeat处理日志文件的位置的文件
config_dir:如果要在本配置文件中引入其他位置的配置文件，可以写在这里（需要写完整路径），但是只处理prospector的部分。
publish_async：是否采用异步发送模式（实验功能）。

如果觉得我的文章对您有帮助，欢迎关注我(CSDN:Mars Loo的博客)或者为这篇文章点赞，谢谢！

收起

展开全文

filebeat安装包
2018-11-21 09:33:15
Filebeat是一个日志文件托运工具，在你的服务器上安装客户端后，filebeat会监控日志目录或者指定的日志文件，追踪读取这些文件（追踪文件的变化，不停的读），并且转发这些信息到elasticsearch或者logstarsh中存放。
收起
es
ELK+filebeat
2020-12-18 13:33:59
elasticsearch logstash kibana filebeat
收起
Filebeat配置
2020-09-07 17:06:15
文章目录filebeat脚本 filebeat脚本 #!/bin/bash FILEBEAT_HOME=/gcs/apps/filebeat-6.2.1-linux-x86_64 FILEBEAT_LOG_HOME=/gcs/log/filebeat agent="$FILEBEAT_HOME/filebeat" args="-c $FILEBEAT_HOME/filebeat...
收起
filebeat.yml
2020-07-27 21:58:36
对于filebeat初学者，配置filebeat总会遇到各种疑难，特提该配置，可以搭建正常的运行环境
收起

filebeat

一、filebeat是什么

1.1、filebeat和beats的关系

1.2、filebeat是什么

1.3、filebeat和logstash的关系

二、filebeat原理是什么

2.1、filebeat的构成

2.2、filebeat如何保存文件的状态

2.3、filebeat何如保证至少一次数据消费

三、filebeat怎么玩

3.1、压缩包方式安装

3.2、基本命令

3.3、输入输出

3.4、keystore的使用

3.5、filebeat.yml配置（log输入类型为例）

3.6、实例一：logstash作为输出

3.7、实例二：elasticsearch作为输出

3.8、filebeat模块

FileBeat

一、fileBeat安装

1.linux安装部署

Filebeat

Filebeat 简介

filebeat概述

工作原理：

harvester

prospector

Filebeat 配置 - filebeat.yml

Filebeat 配置模板 - index template

modules

实时重新加载

配置日志输出

常见实践架构

Ingest Node - Pipeline：

Pipeline实践处理nginx日志：

案例：使用apache2模块

兼容性：

设置并运行模块:

28.Filebeat的高级配置-Filebeat部分

filebeat安装包

ELK+filebeat

Filebeat配置

filebeat.yml

filebeat