精华内容
下载资源
问答
  • Docker 搭建并启动 Logstash

    千次阅读 2019-12-30 00:16:50
    Docker 启动 logstash 做 mysql 和 elasticsearch 的数据同步 1. 使用docker拉取logstash镜像,打包容器启动logstash在容器中的绝对路径是/usr/share 2. 进入容器: docker exec -it logstash /bin/bash 进入...
    做 mysql 和 elasticsearch 的数据同步
    1. 使用docker拉取logstash镜像,打包容器启动
    2. 进入容器: docker exec -it logstash /bin/bash(logstash在容器中的绝对路径是/usr/share)
    3. 修改配置文件
    4. 安装同步插件
    5. 下载MySQL驱动包
    6. 修改通道配置
    7. 启动

    在这里插入图片描述

    进入logstash文件夹 (此时目录在 usr/share 目录下)

    在这里插入图片描述

    进入config文件夹

    在这里插入图片描述

    编辑logstash.yml文件,设置ES配置(连接地址等)

    要使用logstash,需要下载插件,例如我想要mysql与ES数据做同步,我就必须下载这两个插件:
    ● mysql input plugin
    ● elasticsearch output plugin

    把这两个插件安装成功之后,Logstash的插件都装在这个目录里
    usr/share/logstash/vendor/bundle/jruby/2.5.0/gems
    
    4. 进入logstash文件夹中的pipeline文件夹在这里插入图片描述
    mysql的驱动包也放在了这个目录下。

    (因为懒得下载wget,所以我没有通过wget去下载驱动包,是通过宿主机copy到容器中的)

    之后进入vi编辑logstash.conf文件
    设置input和output参数
    input {
      jdbc {
        jdbc_driver_library => "../pipeline/mysql-connector-java-5.1.46.jar"
        jdbc_driver_class => "com.mysql.jdbc.Driver"
        jdbc_connection_string => "jdbc:mysql://localhost:3306/datebasename"
        jdbc_user => "root"
        jdbc_password => "123456"
        schedule => "* * * * *"
        statement => "SELECT * FROM table_name"
        use_column_value => true
        tracking_column_type => "timestamp"
        tracking_column => update_time
        last_run_metadata_path => "syncpoint_c_order"
      }
    }
    filter {
      json {
        source => "message"
        remove_field => ["message"]
      }
    }
    output {
      elasticsearch {
        hosts => ["192.168.0.1"]
        user => ""
        password => ""
        index => "index_name"
        document_id => "%{数据库主键}"
      }
      stdout {
        codec => json_lines
      }
    }
    
    5.启动logstash
    进入logstash容器中:docker exec -it logstash /bash/bin

    在这里插入图片描述

    配置好conf之后:进入bin目录 ./logstash -f pipeline/logstash.conf 启动
    启动报错,无法启动logstash

    原因是logstash存在缓存区,进入data目录中,通过 ls -alh 查找隐藏文件.lock,rm .lock删除此文件。

    重新启动,打印了很多日志:

    好好读一读日志之后发现,除了提醒我6.x之后type被废除之外,还有一个最关键的是配置源无法找到。也就是我的logstash.conf未找到。原来是因为我进入了bin目录下启动logstash,不通过…/的方式返回上一级目录就无法找到conf文件。

    ./logstash -f …/pipeline/logstash.conf 继续启动一次
    还是有问题,这次又是因为mysql的驱动包没有找到,那一定是mysql的驱动包路径又写错了。那么在conf中找到驱动包配置的路径,配置好了正确的路径之后再启动。
    因为配置的是以分钟进行同步,所以他每分钟会执行一遍配置的sql语句
    ### 后台启动logstash
    nohup ./logstash -f ../pipeline/logstash.conf >/dev/null 2>&1 &
    
    展开全文
  • 启动logstash失败的一种解决方法1.启动logstash需要在bin目录里启动,但可能命令行会显示“findstr”不是内部或外部的命令2.正常启动logstash,但会启动成功后马上自动shutdown,即自动停止,这个应该是要运行的文件...

    1.启动logstash需要在bin目录里启动,但可能命令行会显示“findstr”不是内部或外部的命令

    • 一般这种问题是环境变量设置可以解决的(这里就不说明如何设置了,百度很多解决方法),但如果环境变量配置正确,还是有问题,那应该是内存不足的问题,在logstash的config文件里找到jvm.options
    • 修改里面的配置,把原来的1g改为2g试试,(我就是这个问题,)然后仍出现"findstr"不是内部或外部命令不用管,照常输入启动命令还是会运行的
    # Xms represents the initial size of total heap space
    # Xmx represents the maximum size of total heap space
    
    -Xms2g
    -Xmx2g
    
    • 若启动命令时还提示 此处不应出现 “/jdk/bin”等字样,应该是系统环境变量里JAVA_HOME 的路径有空格,更换jdk路径,再修改回JAVA_HOME,使之没有空格路径。

    2.正常启动logstash,但会启动成功后马上自动shutdown,即自动停止,这个应该是要运行的文件的代码错误,仔细看看哪里出错修改,如果不确定,就先试着运行最简单的代码看看行不行,如果能启动就是原来文件代码问题。

    input { stdin { } } output { stdout {} }
    

    这是我自己启动logstash时的一些错误,然后自己用以上操作解决的,若有错误,还请见谅

    展开全文
  • 启动logstash不成功问题与解决 现象:使用nohup command & 启动logstash过一会会自动断掉 [root@localhost ~]# jobs [1]+ 运行中 nohup /data/ota_soft/logstash-5.6.16/bin/logstash -f /data/ota_soft/...

    启动logstash不成功问题与解决

    现象:使用nohup command & 启动logstash过一会会自动断掉

    
    [root@localhost ~]# jobs
    [1]+  运行中               nohup /data/ota_soft/logstash-5.6.16/bin/logstash -f /data/ota_soft/logstash/config/ota_interface.conf &
    [root@localhost ~]# 
    [1]+  退出 1                nohup /data/ota_soft/logstash-5.6.16/bin/logstash -f /data/ota_soft/logstash/config/ota_interface.conf
    
    

    现象分析:使用logstash命令检查配置文件语法

    [root@localhost config]# /data/ota_soft/logstash-5.6.16/bin/logstash -f /data/ota_soft/logstash/config/ota_interface.conf -t
    [root@localhost ~]# cat nohup.out '//查看nohup日志和上面检查语法都发现下方的问题,原因是UTF-8的bom标记问题'
    [2020-07-24T17:24:20,561][ERROR][logstash.agent           ] Cannot create pipeline {:reason=>"Expected one of #, input, filter, output at line 1, column 1 (byte 1) after "}
    
    

    解决办法:取消配置文件中的UTF-8编码的bom标记

    使用vim编辑配置文件
    [root@localhost ~]# vim /data/ota_soft/logstash/config/ota_interface.conf
    查询是否有bom标记
    :set bomb?
    去除bomb标记
    :set nobomb
    
    

    问题解决!

    展开全文
  • 关于启动logstash后es自动关闭问题

    千次阅读 2019-10-23 16:19:16
    前几天同步数据库还好好的,近期发现启动logstash后es的服务会自动关闭 解决方法 将logstash和es配置文件中的jvm那个文件中的大小缩小,缩小之后即可同步,如果还是不行,再缩小,我是缩小了两倍,解决问题 然后再...

    前几天同步数据库还好好的,近期发现启动logstash后es的服务会自动关闭
    解决方法
    将logstash和es配置文件中的jvm那个文件中的大小缩小,缩小之后即可同步,如果还是不行,再缩小,我是缩小了两倍,解决问题
    在这里插入图片描述然后再重新启动就好了

    展开全文
  • centos7 启动logstash失败 Failed to start logstash.service: Unit not found. systemctl start logstash 出现这个问题,则需要生成logstash.server sudo /usr/share/logstash/bin/system-install /etc/logstash...
  • 解决docker启动logstash失败的问题(可能原因) 使用docker启动logstash时,可能会提示成功,然后自动就退出了,我的启动方式如下(以挂载的方式启动): docker run \ -v /usr/local/logstash/lib/mysql-...
  • crontab定时任务启动logstash失败分析

    千次阅读 2018-10-25 23:06:46
    注:crontab -e 指打开crontab进行定时任务配置 ...例如:启动logstash任务的 start-logstash.sh 脚本,定时执行。 * 1 * * * sh start-logstash.sh 标准输入可执行脚本,使用crontab启动定时任务...
  • 使用在容器中配置并启动docker.elastic.co/logstash/logstash:6.2.4 。 您可以自己更改发行版本。 有关使用docker映像的。 角色变量 docker_logstash_name (默认值:logstash):此名称用于主文件夹路径名称和容器...
  • cron检测并启动logstash

    2020-05-02 21:31:00
    线上的logstash总是莫名其妙的挂了,我打算写一个定时任务,一分钟去检查一次logstash进程,不存在时就把它启动 步骤 编写检测启动脚本 让cron定时来调用检测启动脚本 1、编写脚本 第一次完成是这个样子: #!/usr/...
  • 启动logstash服务出现的问题

    千次阅读 2019-03-05 13:06:19
    启动后发现logstash占用cpu超级高,问了师傅。师傅说你这个logstash应该是没启动,他在一直尝试重启。导致出现cpu占用100 调查问题开始 cmd执行,一步一步调查 由于小白。出现问题,报错如下 各种懵逼。。下面...
  • CentOS7下启动logstash报错

    千次阅读 2019-10-14 17:01:48
    Could not fetch all the sources {:exception=...LogStash::ConfigLoadingError, :message=>"The following config files contains non-ascii characters but are not UTF-8 encoded [2019-10-14T16:49:59,612]...
  • ./logstash -f /app/logstash-6.2.4/config/dgms_common.conf & 提示报错 。 请大神提供具体的解决方案和步骤。谢谢。
  • logstash开启后,会生成sincedb文件,这个应该能表明他是读了的吧,但是sincedb是0kb,应该表示没读取到内容, ![图片说明](https://img-ask.csdn.net/upload/201908/13/1565709233_169505.png), 求解,这是怎么...
  • 其实原因很简单,就是为了减少mysql的压力,比如说我现在业务需要查一个看课历史,这个看课历史总是导致慢sql或者同一时间总是调用很多,导致mysql的cpu总是很高,这个时候就可以使用logstash将数据同步到es中,直接...
  • 错误信息:解决办法:用editplus或其他工具打开logstash.bat,找到这行内容给%CLASSPATH%加上双引号,内容如下:%JAVA% %JAVA_OPTS% -cp "%CLASSPATH%" org.logstash.Logstash %*保存重启即可,但有可能你...
  • ![图片说明](https://img-ask.csdn.net/upload/201611/09/1478656932_966152.png)
  • logstash是elstic stack套件中负责收据、转换数据用的工具。 logstash其中一项功能是收集syslog日志,syslog的默认端口时514。 可能的配置文件 input { syslog { port => "514" } } output { ...
  • Logstash 启动失败

    2021-07-21 10:55:28
    启动logstash 总是提示这种失败 不知道去哪儿改? 这个是logstash.conf 配置文件 不知道哪儿除了问题?
  • Logstash

    2021-08-04 17:57:57
    安装 Logstash2.1 下载2.2 HelloWord2.3 配置Filebeat来发送日志到Logstash第一步:配置 filebeat.yml第二步:在logstash下新建文件 `pipipeline.conf`第三步:检查配置并启动logstash第四步:启动filebeat用Grok...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 20,261
精华内容 8,104
关键字:

如何启动logstash