精华内容
下载资源
问答
  • Python Django项目日志查询系统

    万次阅读 2020-08-07 18:06:11
    该项目适合中小型公司日志查询工作。大型公司可以使用elk等。 日志查询系统 维护手册 作者:陈土锋 ...

    该项目适合中小型公司日志查询工作。大型公司可以使用elk等,elk还可以分析性能指标、数据分析等等,是一个很好的日志查询数据分析应用。但是每个公司都有自己的需求,如果我们只需要查日志,只要最原始的日志,那么这个系统最初的由来。

    该系统其实就是调用了absible命令去查日志,然后把输出的信息输到页面查看。
    本工具是本人从 0 - 1 全程开发的,还有很多地方需要优化。包括安全方面的。但由于种种原因本人无法继续优化了,后续也没有继续维护。

    所以该系统只适合部署到内网。否则极不安全,切记!!!!!

     项目由来:
    本人曾任职于一家移动外包公司,服务器用的是内网,出口有移动的防火墙,所以相对云服务器绝对的安全。内部组件基本都是内网通信。只有对外的web页面或者后台做了外网域名的端口映射。
    因为移动限制了研发登录内网机器查看日志,elk也是有的,但是接入麻烦,两头对接,降低效率的同时也得不到自己想要的日志。只有直接使用系统命令去查找才能看到最原始的日志,才方便问题排查。
    故开发了此组件,便于研发查找原始日志。虽然目前本人已离职,但据听说该组件还一直在使用,虽然已无人维护更新迭代,但足以支撑目前那个项目的使用。


    项目代码git地址:
    https://github.com/MYF12/logsquery3.0.git

    有问题可联系本人QQ:1016401546

                                           日志查询系统

                                                                              维护手册
                                                                             作者:陈土锋
                                                                          日期:2020年6月11日

    目录

    前言... 1

    一、系统底层逻辑说明... 2

    二、环境说明... 2

    三、系统搭建... 2

    3.1 安装Python3. 2

    3.1.1 安装依赖环境... 2

    3.1.2下载Python3. 3

    3.1.3 安装Python3. 3

    3.1.4 建立Python3和pip3的软链:. 3

    3.1.5 并将/usr/local/python3/bin加入PATH. 3

    3.2 安装虚拟环境... 4

    3.2.1 生产环境虚拟环境包路径:... 4

    3.2.2 先安装distlib-0.3.0.zip. 4

    3.2.3 创建虚拟环境... 5

    3.3 安装Django. 6

    3.4 测试项目是否正常运行... 7

    3.4.1 项目部署... 7

    3.4.2 项目测试... 8

    四、nginx+uwsgi+Django代理项目... 8

    4.1 安装uwsgi 8

    4.2 配置uwsgi 9

    4.3 启动uwsgi 10

    4.4 配置nginx 代理Django. 10

    五、Django3.0.7安装... 12

    前言

    1、该程序是根据xxxxxx目前系统管理层面开发而成,故仅适用于xxxxxx系统平台。
    2、该系统开发初心为减少运维协助研发查询线上生产日志、线上配置和线上其他环境而开发出来的。
    3、架构使用了Python3+Django+uwsgi+nginx 基础架构。
    4、底层调用ansible命令
     

    一、系统底层逻辑说明

    1.1 前端代码通过form表单提交用户交互信息到后端。
    1.2 后端接受到输入信息,经过逻辑处理之后调用服务器的ansible命令来执行远程命令。
    1.3 远程命令返回的结果,再通过文本格式展示到前端页面供用户查看。
    1.4 如果文本文件行数过多,则用户可以通过下载的连接下载到文本到本地查看查看。 
     

    二、环境说明

     
    2.1 服务器安装ansible命令(前提)
    2.2 ansible服务器必须能通过下面命令格式去执行远程命令:
    如:ansible slivr --sudo -m shell -a "ls -l "
    如果是root用户则在sudoer文件加入root用户sudo权限即可,这样无需修改代码。
    2.3 安装Python3
    2.4 安装虚拟环境
    2.5 安装Django 1.8 版本(最新版Django3.5需要改下代码的URL转发方式)
     

    三、系统搭建

    3.1 安装Python3

    3.1.1 安装依赖环境

    输入命令:yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel

    3.1.2下载Python3

    1.进入opt文件目录下,cd opt/
    2.下载python3   (可以到官方先看最新版本多少)
    输入命令 wget https://www.python.org/ftp/python/3.7.1/Python-3.7.1.tgz
     

    3.1.3 安装Python3

    安装在/usr/local/python3(具体安装位置看个人喜好)
    (1)创建目录:  mkdir -p /usr/local/python3
    (2)解压下载好的Python-3.x.x.tgz包(具体包名因你下载的Python具体版本不不同⽽而不不同,如:我下载的是Python3.7.1.那我这里就是Python-3.7.1.tgz)
    输入命令 tar -zxvf Python-3.7.1.tgz
    解压后出现python的文件夹
    进入解压后的目录,编译安装。(编译安装前需要安装编译器yum install gcc)
    (3)进入python文件夹,生成编译脚本(指定安装目录):
     cd Python-3.7.1
    ./configure --prefix=/usr/local/python3  
    #/usr/local/python3为上面步骤创建的目录
    (4)编译:make
    (5)编译成功后,编译安装:make install
    安装成功:
    (6)检查python3.7的编译器:/usr/local/python3/bin/python3.7

    3.1.4 建立Python3和pip3的软链:

    ln -s /usr/local/python3/bin/python3 /usr/bin/python3
    ln -s /usr/local/python3/bin/pip3 /usr/bin/pip3

    3.1.5 并将/usr/local/python3/bin加入PATH

    (1)vim /etc/profile
    (2)按“I”,然后贴上下面内容:

    # vim ~/.bash_profile
    # .bash_profile
    # Get the aliases and functions
    if [ -f ~/.bashrc ]; then
    . ~/.bashrc
    fi
    # User specific environment and startup programs
    PATH=$PATH:$HOME/bin:/usr/local/python3/bin
    export PATH
    source ~/.bash_profile

    3.2 安装虚拟环境

    3.2.1 生产环境虚拟环境包路径:/xxxx/xxxx/

    使用pip3下载下面命令:

    vim requirements.txt
    appdirs==1.4.3
    distlib==0.3.0
    filelock==3.0.12
    importlib-metadata==1.6.0
    importlib-resources==1.4.0
    pbr==5.4.5
    setuptools==39.0.1
    six==1.14.0
    stevedore==1.32.0
    virtualenv==20.0.18
    virtualenv-clone==0.5.4
    virtualenvwrapper==4.8.2
    zipp==3.1.0
    #下载
    pip3 download requirements.txt

    下载完之后可以看到下面这些包:

    appdirs-1.4.3-py2.py3-none-any.whl
    distlib-0.3.0.zip
    filelock-3.0.12-py3-none-any.whl
    importlib_metadata-1.6.0-py2.py3-none-any.whl
    importlib_resources-1.4.0-py2.py3-none-any.whl
    pbr-5.4.5-py2.py3-none-any.whl
    six-1.14.0-py2.py3-none-any.whl
    stevedore-1.32.0-py2.py3-none-any.whl
    virtualenv-20.0.18-py2.py3-none-any.whl
    virtualenv_clone-0.5.4-py2.py3-none-any.whl
    virtualenvwrapper-4.8.2-py2.py3-none-any.whl
    zipp-3.1.0-py3-none-any.whl

    3.2.2 先安装distlib-0.3.0.zip

    unzip distlib-0.3.0.zip
    cd distlib-0.3.0
    python3 setup.py build
    python3 setup.py install
    再安装所有的whl包:
    pip3 install *.whl

    3.2.3 配置环境

    mkdir /root/.virtualenvs
    #用locate virtualenvwrapper.sh 找出这个文件的路径,一般在安装的python3 bin目录下
    vim ~/.bashrc 
    export WORKON_HOME=/root/.virtualenvs 
    #加载环境
    source /usr/local/python3/bin/virtualenvwrapper.sh

    vim  /usr/local/python3/bin/virtualenvwrapper.sh
    找到VIRTUALENVWRAPPER_PYTHON关键字,在下面的if上面添加红色代码,python路径要对。

    VIRTUALENVWRAPPER_PYTHON=/usr/local/python3/bin/python3
    if [ "${VIRTUALENVWRAPPER_PYTHON:-}" = "" ]
    then
    source ~/.bashrc

    做virtualenv命令软连接:否则后续创建虚拟环境会报错

    ln -s /usr/local/python3/bin/virtualenv /usr/bin/virtualenv

    [root@ansible-server2 dwlirui2]# pip3 list --可以看到已经安装了下面的包
    Package Version
    ------------------- -------
    appdirs 1.4.3
    distlib 0.3.0
    filelock 3.0.12
    importlib-metadata 1.6.0
    importlib-resources 1.4.0
    pbr 5.4.5
    pip 20.0.2
    setuptools 39.0.1
    six 1.14.0
    stevedore 1.32.0
    virtualenv 20.0.18
    virtualenv-clone 0.5.4
    virtualenvwrapper 4.8.2
    zipp 3.1.0

    3.2.3 创建虚拟环境

    [root@ansible-server2 dwlirui2]# mkvirtualenv -p python3 env1

    创建成功之后你会默认进入虚拟环境,如创建env1:

    [root@ansible-server2 dwlirui2]# mkvirtualenv -p python3 env1
    created virtual environment CPython3.6.5.final.0-64 in 1210ms
      creator CPython3Posix(dest=/root/.virtualenvs/env3, clear=False, global=False)
      seeder FromAppData(download=False, pip=latest, setuptools=latest, wheel=latest, via=copy, app_data_dir=/root/.local/share/virtualenv/seed-app-data/v1.0.1)
      activators BashActivator,CShellActivator,FishActivator,PowerShellActivator,PythonActivator,XonshActivator
    virtualenvwrapper.user_scripts creating /root/.virtualenvs/env3/bin/predeactivate
    virtualenvwrapper.user_scripts creating /root/.virtualenvs/env3/bin/postdeactivate
    virtualenvwrapper.user_scripts creating /root/.virtualenvs/env3/bin/preactivate
    virtualenvwrapper.user_scripts creating /root/.virtualenvs/env3/bin/postactivate
    virtualenvwrapper.user_scripts creating /root/.virtualenvs/env3/bin/get_env_details

    可以看到你已经进入虚拟环境env1,这个虚拟环境里面安装的软件和外面环境分开的

    (env1) [root@ansible-server2 dwlirui2]#

    3.3 安装Django

    通过旧的虚拟环境导出来的包:存放到requirements.txt文件里面。
    旧环境登陆虚拟环境执行导出命令:pip3 freeze >requirements.txt

    cat requirements.txt --下载如下包
    certifi==2020.4.5.1
    chardet==3.0.4
    Django==1.8.2
    idna==2.9
    requests==2.23.0
    urllib3==1.25.8

    然后找一台测试环境能联网的机器下载这些包:

    [root@vm44 django_instaa]# pip3 download -r requirements.txt
    [root@vm44 django_instaa]# ls --总共下载了下面这么多包
    backcall-0.1.0.tar.gz idna-2.9-py2.py3-none-any.whl
    backcall-0.1.0.zip requests-2.23.0-py2.py3-none-any.whl
    certifi-2020.4.5.1-py2.py3-none-any.whl requirements.txt
    chardet-3.0.4-py2.py3-none-any.whl
    distlib-0.3.0.zip urllib3-1.25.8-py2.py3-none-any.whl
    Django-1.8.2-py2.py3-none-any.whl

    scp * root@xx.xx.xx.xx:/data/python_install/django_install --把包传到远程离线服务器
    离线服务器登陆虚拟环境
    workon env1 --以下命令均在虚拟环境执行
    cd /data/python_install/django_install
    离线虚拟环境先安装:backcall-0.1.0.zip,distlib-0.3.0.zip
    以安装backcall-0.1.0.zip为例:

    unzip backcall-0.1.0.zip
    cd backcall-0.1.0
    python3 setup.py build
    python3 setup.py install
    再安装所有的whl包:
    pip3 install *.whl

    安装完了之后,确定是否存在下面这些包:

    [root@ansible-server2 logs]# workon  env1
     (env1) [root@ansible-server2 logs]# pip list
    Package    Version  
    ---------- ----------
    backcall   0.1.0    
    certifi    2020.4.5.1
    chardet    3.0.4    
    distlib    0.3.0    
    Django     1.8.2    
    idna       2.9      
    pip        20.0.2   
    requests   2.23.0   
    setuptools 46.1.3   
    urllib3    1.25.8   
    uWSGI      2.0.18   
    wheel      0.34.2 
    

    3.4 测试项目是否正常运行

    我是通过虚拟环境搭建这个的,nginx安装到服务器上面,uwsgi和Django部署到虚拟环境上面。uwsgi和Django在虚拟环境启动。nginx 在服务器层面启动。
    项目代码已经备份到xx.xx.xx.xx:/share/logs_bak/xx.xx.xx.xx/ logsquerybak/logsquery.20200601.tar.gz

    3.4.1 项目部署

    我的Django项目部署情况:
    部署路径:
    /biao/hly_yw_project/
    即将logsquery.20200601.tar.gz 直接解压到/biao/hly_yw_project 目录。
    manage.py 文件路径:/biao/hly_yw_project/logsquery/manage.py
    wsgi.py 文件路径:/biao/hly_yw_project/logsquery/logsquery/wsgi.py
    settings.py 文件路径:/biao/hly_yw_project/logsquery/logsquery/settings.py
    查询出来的文件放到这里:
    /biao/hly_yw_project/logsquery/queryapp/static/files/
    目前只保留7天的文件:

    0 2 * * * find /biao/hly_yw_project/logsquery/queryapp/static/files -name "*.txt" -mtime +7 -type f |xargs rm -f
    

    项目结构是这样的:

    3.4.2 项目测试

    1、确保Django项目能够正常运行,即能够用Python3 manage.py runserver 0.0.0.0:8000 运行。

    (env1) [root@ansible-server2 logs]# cd /biao/hly_yw_project/logsquery/
    (env1) [root@ansible-server2 logs]# Python3 manage.py runserver 0.0.0.0:8000
    

    用浏览器访问ip:8000看下能否正常访问下面页面。

    四、nginx+uwsgi+Django代理项目

    4.1 安装uwsgi

    uwsgi是wsgi协议的实现服务。
    我是离线安装的。
    下载 uwsgi-2.0.18.tar.gz
    可以找一台能够联网的服务器通过pip download 命令来下载,传到离线服务器上面。
    解压安装:(在虚拟环境里面安装)

    workon env1
    tar zxf uwsgi-2.0.18.tar.gz
    cd uwsgi-2.0.18
    python3 setup.py build
    python3 setup.py install
    pip list 查看是否安装成功
    uWSGI 2.0.18

    4.2 配置uwsgi

    mkdir /etc/uwsgi_conf/
    cat /etc/uwsgi_conf/uwsgi.ini
    
    # uwsig使用配置文件启动
    [uwsgi]
    # 项目所在的根目录
    chdir=/biao/hly_yw_project/logsquery
    # 指定项目的application,区别于启动命令--wsgi-filemysite/wsgi.py
    #logsquery自己应用的名字
    module=logsquery.wsgi:application
    #the local unix socket file than commnuincate to Nginx
    # 指定sock的文件路径,这个sock文件会在nginx的uwsgi_pass配置,用来nginx与uwsgi通信
    # 支持ip+port模式以及socket file模式
    #socket=/etc/uwsgi_conf/uwsgi.sock
    socket=127.0.0.1:9050
    # 进程个数
    processes = 8
    # 每个进程worker数
    workers=5
    procname-prefix-spaced=queryapp # uwsgi的进程名称前缀
    py-autoreload=1 # py文件修改,自动加载
    # 指定IP端口,web访问入口
    http=0.0.0.0:9051
    # 启动uwsgi的用户名和用户组
    uid=root
    gid=root
    # 启用主进程
    master=true
    # 自动移除unix Socket和pid文件当服务停止的时候
    vacuum=true
    # 序列化接受的内容,如果可能的话
    thunder-lock=true
    # 启用线程
    enable-threads=true
    # 设置一个超时,用于中断那些超过服务器请求上限的额外请求
    harakiri=30
    # 设置缓冲
    post-buffering=4096
    # 设置日志目录
    daemonize=/var/log/uwsgi_conf/uwsgi.log
    # uWSGI进程号存放
    pidfile=/etc/uwsgi_conf/uwsgi.pid
    #monitor uwsgi status 通过该端口可以监控 uwsgi 的负载情况
    # 支持ip+port模式以及socket file模式
    # stats=%(chdir)/uwsgi_conf/uwsgi.status

    4.3 启动uwsgi

    cd /etc/uwsgi_conf/
    uwsgi --ini uwsgi.ini
    停止:
    uwsgi --stop uwsgi.pid

    4.4 配置nginx 代理Django

    nginx添加一个server:  

    server {
                listen       8000;
                server_name  xxxxxx;
                #注释下面配置,同时支持https和http访问
                #ssl on;
                #access_log  off;
                access_log /var/log/nginx/nginx.log;
                error_log /var/log/nginx/nginx.log;
                charset utf-8;
                client_max_body_size 100M;
                location /static{
                        alias /biao/hly_yw_project/logsquery/queryapp/static;
                }
                location /  {
                        include  /etc/nginx/uwsgi_params;
                        uwsgi_pass 0.0.0.0:9050;
                        proxy_read_timeout 3600s;
                        proxy_send_timeout 3600s;
                        uwsgi_read_timeout 600;
                        uwsgi_send_timeout 600;
                        uwsgi_connect_timeout 600;
                }
                error_page   500 502 503 504  /50x.html;
                location = /50x.html {
                    root   html;
                }
                #使用497状态重写到http上面
            }

    重启nginx或者重载nginx
    nginx -s reload
    页面访问:
    http://ip:8000即可访问Django项目

    五、Django3.0.7安装

    因1.8.2版本有漏洞,需要升级到最新版。最新版有些模块不兼容,代码也有些地方相对1.8.2的有改动。
    Django3.0的需要用这个包:
    xx.xx.x.xx: /biao/hly_yw_project/logsquery.django3.0.7.tar.gz
    其他应用安装方式不变,安装Django3.0.7方式。
    安装包备份目录:
    xx.x.xx.xx: /usr/local/vvm/logs/django
    xx.xx.xx.xx:/share/logs_bak/xx.xx.xx.xx/django
    进入虚拟环境:
    workon env1
    #解压
    tar zxf django3.0.tar.gz
    #安装
    pip install *whl
    其他配置参考1.8.2的

    展开全文
  • kibana 日志查询技巧 Hi Habrausers! 您好Habrausers! As you may know Kibana is a visualization instrument, part of 您可能知道,Kibana是一种可视化工具,是ELK (Elastic, Logstash, Kibana) stack. With ...

    kibana 日志查询技巧

    image

    Hi Habrausers!

    您好Habrausers!

    As you may know Kibana is a visualization instrument, part of ELK (Elastic, Logstash, Kibana) stack. With the help of Kibana you may analyze and visualize your data, build different charts and combine them on the dashboard to present data in the most beautiful way.

    您可能知道,Kibana是一种可视化工具,是ELK (弹性,Logstash,Kibana)堆栈的一部分。 在Kibana的帮助下,您可以分析和可视化数据,构建不同的图表,并将它们组合在仪表板上,以最精美的方式显示数据。

    People who use Kibana in our company have different background — some of them are technical who process data, some are managers who simply want to monitor some KPIs. And all have various questions. In spite of Kibana is rather popular in IT companies, there are not many articles or courses about it. To fill the gap I have created Kibana Tips & Tricks — weekly letters with frequently asked questions or themes. Such letters help our users to become more familiar with Kibana. There are no secrets — just detailed description of how you may work with your data.
    I would like to share the first part of 'Kibana Tips & Tricks' with you — series of simple how-to articles for people who would like to know more about data analysis and visualization in Kibana. Today we will see how to view events in Kibana.
    在我们公司中使用Kibana的人员具有不同的背景-有些是处理数据的技术人员,有些是只想监视某些KPI的经理。 所有人都有各种各样的问题。 尽管Kibana在IT公司中相当流行,但关于它的文章或课程却很少。 为了填补空白,我创建了Kibana技巧与窍门-每周信件,其中包含常见问题或主题。 这样的信件有助于我们的用户更加熟悉Kibana。 没有秘密,只有详细说明如何处理数据。
    我想与您分享“ Kibana技巧与窍门”的第一部分,这是一系列简单的操作方法文章,面向希望了解Kibana中的数据分析和可视化知识的人们。 今天,我们将看到如何查看Kibana中的事件。

    The simplest an quickest way to see events in Kibana is to use

    在Kibana中查看事件的最简单,最快的方法是使用

    发现视图 (Discover view)

    .

    The

    发现视图 (Discover view)

    presents all the data in your index as a table of documents and allows you to see the number of events for selected time period.

    以文档表的形式显示索引中的所有数据,并允许您查看选定时间段内的事件数。

    To access discover mode click on

    要访问发现模式,请单击

    发现 (Discover)

    on the left Kibana panel:

    在左侧的Kibana面板上:

    image

    Discover view consists of several parts:

    发现视图包括以下几部分:

    • 顶板 (Top panel)

      with the ability to save a search or share it

      可以保存或共享搜索

    • 搜索面板 (Search panel)

      — where you may put specific filters, search for event and change the time range

      —您可以在其中放置特定的过滤器,搜索事件并更改时间范围

    • 索引选择 (Index choice)

      — to change the index you want to view the data from

      —更改要查看其数据的索引

    • 索引字段列表 (Index fields list)

      which lists all available fields for this index

      列出了该索引的所有可用字段

    • 事件直方图 (Events histogram)

      — total number of events per time bucket over a time range

      —在一个时间范围内每个时间段的事件总数

    • 活动窗格 (Event pane)

      — list of individual events

      —单个事件列表

    image

    Let's analyze discover view and see what we can do with specific index and event.

    让我们分析发现视图,看看我们可以使用特定的索引和事件来做什么。

    顶板 (Top Panel)

    On the Top panel you see buttons:

    在顶部面板上,您可以看到按钮:

    (New)

    ,

    保存 (Save)

    ,

    打开 (Open)

    ,

    分享 (Share)

    and Inspect.

    和检查。

    To save the data inside discover click on the

    要将数据保存在发现中,请单击

    保存 (Save)

    button on top right corner as shown below:

    右上角的按钮,如下所示:

    image

    After saving you will be able to open it — just click on

    保存后,您可以打开它-只需单击

    打开 (Open)

    button and input your saved search name:

    按钮并输入您保存的搜索名称:

    image

    If you want to share the data with others use

    如果您想与他人共享数据,请使用

    分享 (Share)

    button:

    按钮:

    image

    Choose

    选择

    固定链接 (Permalink)

    .

    image

    The

    快照 ( Snapshot )

    option will give a Kibana link which will display data available in the search currently.

    选项将提供一个Kibana链接,该链接将显示当前搜索中可用的数据。

    The

    保存的对象 ( Saved object)

    option will give a Kibana link which will display the recent data available in your search.

    选项将提供一个Kibana链接,该链接将显示搜索中可用的最新数据。

    If you turn on

    如果打开

    短网址 (Short URL)

    option — new short url will be generated for your search (this option depends on access level).

    选项-将会为您的搜索生成新的短网址(此选项取决于访问级别)。

    搜索面板 (Search Panel)

    You can use

    您可以使用

    搜索面板 (Search Panel)

    to look for data inside the index. Examples are below:

    在索引中查找数据。 示例如下:

    To see data for specific time range you need to click on

    要查看特定时间范围内的数据,您需要点击

    显示日期 (Show dates)

    in the top right corner and than on calendar icon. 

    在右上角,然后在日历图标上。

    image

    You can choose between

    您可以选择

    快速选择 (Quick select)

    ,

    常用的 (Commonly used)

    ,

    最近使用的日期范围 (Recently used date ranges)

    and

    自动刷新 (Auto-refresh)

    options.

    选项。

    image

    With

    快速选择 (Quick select)

    option you may choose last or future period, define seconds, minutes, hours, months or years and than put preferable range in numbers.

    选项,您可以选择上一个或将来的时间段,定义秒,分钟,小时,月或年,然后在数字上设置更合适的范围。

    常用的 (Commonly used)

    allows you to choose the time range from predefined options

    允许您从预定义选项中选择时间范围

    In

    刷新每一 (Refresh every)

    section you can set time interval in Kibana will auto-refresh the screen and get fresh data according to interval you set.

    您可以在Kibana中设置时间间隔的部分将根据您设置的时间间隔自动刷新屏幕并获取新数据。

    If you want to search by specific field in the list (event.module in our case), put

    如果要按列表中的特定字段(在本例中为event.module)进行搜索,请输入

    event.module:«kafka» (event.module: «kafka»)

    in the search pane end push "

    在搜索窗格中,按“

    更新资料 (Update)

    " button.

    ”按钮。

    image

    Writing search query is rather simple as it provides autocomplete — I only put

    编写搜索查询非常简单,因为它提供了自动填充功能-我只说了

    «modu» («modu»)

    and received the list of available fields to filter by:

    并收到可用字段列表进行过滤:

    image

    索引选择 (Index select)

    By default for demo Kibana you will see page for

    默认情况下, 演示版Kibana会显示

    filebeat- * (filebeat-*)

    index.

    指数。

    To choose another index press an

    要选择另一个索引,请按

    箭头 (arrow)

    .

    image

    Also you may see such picture with message

    你也会看到这样的图片和消息

    “没有结果符合您的搜索条件” (“No results match your search criteria”)

    :

    image

    That means you have no events matching the defined time period or filters. Adjust filters and the time range — it should fix the problem.

    这意味着您没有符合定义的时间段或过滤器的事件。 调整过滤器和时间范围-应该可以解决问题。

    事件直方图 (Events histogram)

    You can see the number of events per time interval on the histogram in the center of the screen.

    您可以在屏幕中央的直方图中看到每个时间间隔的事件数。

    By default the number of events is shown using «auto» time granularity, but you may change it.

    默认情况下,事件数是使用“自动”时间间隔显示的,但是您可以更改它。

    image

    Hourly:

    每小时:

    image

    Weekly:

    每周:

    image

    索引字段列表 (Index fields list)

    All available fields are located on the left side of the screen:

    所有可用字段位于屏幕左侧:

    image

    You can select the fields from available and add them to tabular mode. To do it just click on add button on the right:

    您可以从可用字段中选择字段,并将其添加到表格模式。 为此,只需单击右侧的添加按钮:

    image

    On the screenshot below 2 fields were added —

    在下面的屏幕截图中,添加了2个字段-

    event.module (event.module)

    and

    host.os.name (host.os.name)

    :

    image

    活动面板 (Event panel)

    All events are shown in row format.

    所有事件均以行格式显示。

    image

    Click the arrow to expand the row and it will give you details in Table format or JSON format.

    单击箭头展开该行,它将为您提供Table格式或JSON格式的详细信息。

    Table mode:

    表格模式:

    image

    JSON mode:

    JSON模式:

    image

    That's all for today! I hope that you now have a basic understanding of how to use Kibana and view events in Discover mode.

    今天就这些! 我希望您现在对如何使用Kibana和在“发现”模式下查看事件有基本的了解。

    If you have any questions regading Kibana that may be covered in «Tips & Tricks» feel free to share your ideas in comments.

    如果您对《基巴纳语》有任何疑问,而《技巧和窍门》可能会涉及这些问题,请随时在评论中分享您的想法。

    有用的链接 (Useful links)

    • For those who would like to try Kibana you may use demo here

      对于那些想尝试Kibana的人,您可以在此处使用演示

    • In case of other questions please read Kibana documentation

      如有其他疑问,请阅读Kibana文档

    • Initial picture of elk was taken here

      麋鹿的原始照片是在这里拍摄的

    翻译自: https://habr.com/en/post/505228/

    kibana 日志查询技巧

    展开全文
  • docker 日志查询

    千次阅读 2018-10-02 16:51:35
    docker 日志查询 docker exec -it 29bab410a9fa /bin/bash 注意:29bab410a9fa 为容器ID; 容器日志查询: 1、docker ps 获取容器id 2、docker logs -f 容器ID/name
    docker exec -it 29bab410a9fa /bin/bash
    

    注意:29bab410a9fa 为容器ID;

    容器日志查询:
    1)docker ps 获取容器id
    2) docker logs -f 容器ID/name

    展开全文
  • MySQL慢日志查询分析方法与工具

    万次阅读 2018-05-08 14:51:13
    MySQL中的日志包括:错误日志、二进制日志、通用查询日志、慢查询日志等等。这里主要介绍下比较常用的两个功能:通用查询日志和慢查询日志。1)通用查询日志:记录建立的客户端连接和执行的语句。2)慢查询日志:...

    MySQL中的日志包括:错误日志、二进制日志、通用查询日志、慢查询日志等等。这里主要介绍下比较常用的两个功能:通用查询日志和慢查询日志。

    1)通用查询日志:记录建立的客户端连接和执行的语句。

    2)慢查询日志:记录所有执行时间超过long_query_time秒的所有查询或者不使用索引的查询

    MySQL日志文件系统的组成
       a、错误日志:记录启动、运行或停止mysqld时出现的问题。
       b通用日志:记录建立的客户端连接和执行的语句。
       c、更新日志:记录更改数据的语句。该日志在MySQL 5.1中已不再使用。
       d二进制日志:记录所有更改数据的语句。还用于复制。
       e慢查询日志:记录所有执行时间超过long_query_time秒的所有查询或不使用索引的查询。
       f、Innodb日志:innodb redo log

     缺省情况下,所有日志创建于mysqld数据目录中。
       可以通过刷新日志,来强制mysqld来关闭和重新打开日志文件(或者在某些情况下切换到一个新的日志)。
       当你执行一个FLUSH LOGS语句或执行mysqladmin flush-logs或mysqladmin refresh时,则日志被老化。
       对于存在MySQL复制的情形下,从复制服务器将维护更多日志文件,被称为接替日志。

    同大多数关系型数据库一样,日志文件是MySQL数据库的重要组成部分。MySQL有几种不同的日志文件,通常包括错误日志文件,二进制日志,通用日志,慢查询日志,等等。这些日志可以帮助我们定位mysqld内部发生的事件,数据库性能故障,记录数据的变更历史,用户恢复数据库等等。今天我们要讲的是如何分析和查询mysql慢日志(主要影响程序调用和前端数据呈现)。

    mysql slow log 是用来记录执行时间较长(超过long_query_time秒)的sql的一种日志工具

    启用 slow log

    有两种启用方式:
    1, 在my.cnf 里 通过 log-slow-queries[=file_name]
    2, 在mysqld进程启动时,指定--log-slow-queries[=file_name]选项

    比较的五款常用工具

    mysqldumpslow, mysqlsla, myprofi, mysql-explain-slow-log, mysqllogfilter

    开源的MySQL慢日志查询监控工具

    pmm server、Navicat、mysqltop(天兔Lepus)、Box Anemometer、explain、pt-query-digest

    慢查询日志
       慢查询日志是将mysql服务器中影响数据库性能的相关SQL语句记录到日志文件,通过对这些特殊的SQL语句分析,改进以达到提高数据库性能的目的。
       通过使用--slow_query_log[={0|1}]选项来启用慢查询日志。所有执行时间超过long_query_time秒的SQL语句都会被记录到慢查询日志。
       缺省情况下hostname-slow.log为慢查询日志文件安名,存放到数据目录,同时缺省情况下未开启慢查询日志。
       缺省情况下数据库相关管理型SQL(比如OPTIMIZE TABLE、ANALYZE TABLE和ALTER TABLE)不会被记录到日志。
       对于管理型SQL可以通过--log-slow-admin-statements开启记录管理型慢SQL。
       mysqld在语句执行完并且所有锁释放后记入慢查询日志。记录顺序可以与执行顺序不相同。获得初使表锁定的时间不算作执行时间。
       
       可以使用mysqldumpslow命令获得日志中显示的查询摘要来处理慢查询日志。
       用查询缓存处理的查询不加到慢查询日志中,表有零行或一行而不能从索引中受益的查询也不写入慢查询日志。
       MySQL服务器按以下顺序记录SQL是否写入到慢查询日志
      a. The query must either not be an administrative statement, or --log-slow-adminstatements must have been specified.
     b. The query must have taken at least long_query_time seconds, or log_queries_not_using_indexes must be enabled and the query used no indexes for row lookups.
        c. The query must have examined at least min_examined_row_limit rows.
     d. The query must not be suppressed according to the log_throttle_queries_not_using_indexes setting.

    mysqldumpslow是mysql自带的用来分析慢查询的工具,当然不止这一种工具,还有percona-toolkit是percona公司出的一组命令行工具的集合,用来执行各种通过手工执行非常复杂和麻烦的mysql相关任务,包含以下内容:

    检查master和slave数据一致性/记录有效的归档/服务器信息汇总/分析和统计日志,为了省事这块使用mysqldumpslow命令做分析。

    需要开启mysql的慢查询日志,否则无法进行统计分析,开启mysql慢查询日志需要在mysql的配置文件中进行如下配置:

    1
    2
    3
    slow_query_log=1 #定义超过1秒的查询计数到变量Slow_queries
    slow-query-log- file =mysql-slow.log
    long_query_time=1

    1.1 简介

    开启慢查询日志,可以让MySQL记录下查询超过指定时间的语句,通过定位分析性能的瓶颈,才能更好的优化数据库系统的性能。

    1.2 登录数据库查看

    [root@localhost lib]# mysql –uroot

    因为没有设置设置密码,有密码的在 mysql –uroot –p 接密码

    1.2.1 进入MySql 查询是否开了慢查询

    mysql> show variables like 'slow_query%';
    
    +---------------------+--------------------------------------------+
    
    | Variable_name    | Value                   |
    
    +---------------------+--------------------------------------------+
    
    | slow_query_log   | OFF                    |
    
    | slow_query_log_file | /application/mysql/data/localhost-slow.log |
    
    +---------------------+--------------------------------------------+
    
    2 rows in set (0.00 sec)
    

    参数说明:

    1. slow_query_log 慢查询开启状态  OFF 未开启 ON 为开启
    2. slow_query_log_file 慢查询日志存放的位置(这个目录需要MySQL的运行帐号的可写权限,一般设置为MySQL的数据存放目录)

    1.2.2 查看慢查询超时时间

    mysql> show variables like 'long%';
    
    +-----------------+-----------+
    
    | Variable_name  | Value   |
    
    +-----------------+-----------+
    
    | long_query_time | 10.000000 |
    
    +-----------------+-----------+
    
    1 row in set (0.00 sec)
    

    long_query_time 查询超过多少秒才记录   默认10秒 修改为1秒

    1.3 修改方法1:(不推荐)

    方法一:优点临时开启慢查询,不需要重启数据库  缺点:MySql 重启慢查询失效

    推荐:根据业务需求,建议使用第二种,临时可以用第一种

    默认情况下slow_query_log的值为OFF,表示慢查询日志是禁用的,可以通过设置slow_query_log的值来开启,如下所示::是否开启慢查询日志,1表示开启,0表示关闭。

    1.3.1 查看是否开启慢查询

    mysql> show variables like '%slow_query_log%';
    
    +---------------------+--------------------------------------------+
    
    | Variable_name    | Value                   |
    
    +---------------------+--------------------------------------------+
    
    | slow_query_log   | OFF                    |
    
    | slow_query_log_file | /application/mysql/data/localhost-slow.log |
    
    +---------------------+--------------------------------------------+
    
    2 rows in set (0.01 sec)
    

    输入 语句修改(重启后失效,建议在/etc/my.cnf中修改永久生效)

    mysql> set global slow_query_log=1;
    
    Query OK, 0 rows affected (0.11 sec)
    

    1.3.2 再次查看

    mysql> show variables like '%slow_query_log%';
    
    +---------------------+--------------------------------------------+
    
    | Variable_name    | Value                   |
    
    +---------------------+--------------------------------------------+
    
    | slow_query_log   | ON                     |
    
    | slow_query_log_file | /application/mysql/data/localhost-slow.log |
    
    +---------------------+--------------------------------------------+
    
    2 rows in set (0.00 sec)
    

    1.4 修改方法2:(推荐)

    修改 MySql 慢查询,好多人不知道my.cnf 路径,可以用 find 查找

    备注:我的MySQL 是编译的 路径为 /etc/my.cnf (一般都是这里)

    [root@localhost log]# find / -type f -name "my.cnf"
    
    /application/mysql-5.5.51/mysql-test/suite/rpl/my.cnf
    
    /application/mysql-5.5.51/mysql-test/suite/federated/my.cnf
    
    /application/mysql-5.5.51/mysql-5.5.51-linux2.6-x86_64/mysql-test/suite/rpl/my.cnf
    
    /application/mysql-5.5.51/mysql-5.5.51-linux2.6-x86_64/mysql-test/suite/federated/my.cnf
    
    /etc/my.cnf  ###(一般都是这里)
    

    1.4.1.1 修改

    [root@localhost log]# vim /etc/my.cnf

    找到 [mysqld] 下面添加

    slow_query_log =1
    
    slow_query_log_file=/application/mysql/data/localhost-slow.log
    
    long_query_time = 1
    

    参数说明:

    1. slow_query_log 慢查询开启状态  1 为开启
    2. slow_query_log_file 慢查询日志存放的位置
    3. long_query_time 查询超过多少秒才记录   默认10秒 修改为1秒

    修改完重启MySQL

    1.5 查看、测试

    1.5.1.1 插入一条测试慢查询

    mysql> select sleep(2);
    
    +----------+
    
    | sleep(2) |
    
    +----------+
    
    |    0 |
    
    +----------+
    
    1 row in set (2.00 sec)
    

    1.5.1.2 查看慢查询日志

    [root@localhost data]# cat /application/mysql/data/localhost-slow.log
    
    /application/mysql/bin/mysqld, Version: 5.5.51-log (MySQL Community Server (GPL)). started with:
    
    Tcp port: 3306 Unix socket: /tmp/mysql.sock
    
    Time         Id Command  Argument
    
    /application/mysql/bin/mysqld, Version: 5.5.51-log (MySQL Community Server (GPL)). started with:
    
    Tcp port: 3306 Unix socket: /tmp/mysql.sock
    
    Time         Id Command  Argument
    
    /application/mysql/bin/mysqld, Version: 5.5.51-log (MySQL Community Server (GPL)). started with:
    
    Tcp port: 3306 Unix socket: /tmp/mysql.sock
    
    Time         Id Command  Argument
    
    # Time: 170605 6:37:00
    
    # User@Host: root[root] @ localhost []
    
    # Query_time: 2.000835 Lock_time: 0.000000 Rows_sent: 1 Rows_examined: 0
    
    SET timestamp=1496615820;
    
    select sleep(2);
    

    1.5.1.3 通过MySQL命令查看有多少慢查询

    mysql> show global status like '%Slow_queries%';
    
    +---------------+-------+
    
    | Variable_name | Value |
    
    +---------------+-------+
    
    | Slow_queries | 1   |
    
    +---------------+-------+
    
    1 row in set (0.00 sec)
    
    

    1.6 日志分析工具mysqldumpslow

    在生产环境中,如果要手工分析日志,查找、分析SQL,显然是个体力活,MySQL提供了日志分析工具mysqldumpslow

    MySQL 慢查询日志分析

    mysql> show variables like '%slow%';
    +---------------------+-------------------------+
    | Variable_name       | Value                    |
    +---------------------+-------------------------+
    | log_slow_queries    | ON                        |
    | slow_launch_time    | 2                          |
    | slow_query_log      | ON                         |
    | slow_query_log_file | D:/log/slow.txt       |
    +---------------------+-------------------------+

    其中,各参数说明如下:

    slow_launch_time: 慢查询超过的执行时间值

     slow_query_log: 是否打开慢查询日志功能

    show_query_log_file:慢查询日志目录  

    开启慢查询日志功能:

    mysql配置文件(win mysql.ini linux mysql.conf)下,

    [mysqld]

    log-slow-queries ="D:/xampp/mysql/long.txt"
    long_query_time = 1

    log-slow-queries=/var/lib/mysql/slowquery.log (指定日志文件存放位置,可以为空,系统会给一个缺省的文件host_name-slow.log)
    long_query_time=2 (记录超过的时间,默认为10s)
    log-queries-not-using-indexes (log下来没有使用索引的query,可以根据情况决定是否开启)
    log-long-format (如果设置了,所有没有使用索引的查询也将被记录)

    mysqldumpslow, mysql官方提供的慢查询日志分析工具. 输出图表如下:
    主要功能是, 统计不同慢sql的
    出现次数(Count), 
    执行最长时间(Time), 
    累计总耗费时间(Time), 
    等待锁的时间(Lock), 
    发送给客户端的行总数(Rows), 
    扫描的行总数(Rows), 
    用户以及sql语句本身(抽象了一下格式, 比如 limit 1, 20 用 limit N,N 表示).

    mysqlsla, hackmysql.com推出的一款日志分析工具(该网站还维护了 mysqlreport, mysqlidxchk 等比较实用的mysql工具)
    整体来说, 功能非常强大. 数据报表,非常有利于分析慢查询的原因, 包括执行频率, 数据量, 查询消耗等.

    格式说明如下:
    总查询次数 (queries total), 去重后的sql数量 (unique)
    输出报表的内容排序(sorted by)
    最重大的慢sql统计信息, 包括 平均执行时间, 等待锁时间, 结果行的总数, 扫描的行总数.

    Count, sql的执行次数及占总的slow log数量的百分比.
    Time, 执行时间, 包括总时间, 平均时间, 最小, 最大时间, 时间占到总慢sql时间的百分比.
    95% of Time, 去除最快和最慢的sql, 覆盖率占95%的sql的执行时间.
    Lock Time, 等待锁的时间.
    95% of Lock , 95%的慢sql等待锁时间.
    Rows sent, 结果行统计数量, 包括平均, 最小, 最大数量.
    Rows examined, 扫描的行数量.
    Database, 属于哪个数据库
    Users, 哪个用户,IP, 占到所有用户执行的sql百分比

    Query abstract, 抽象后的sql语句
    Query sample, sql语句

    除了以上的输出, 官方还提供了很多定制化参数, 是一款不可多得的好工具.

    mysql-explain-slow-log, 德国人写的一个perl脚本.
    http://www.willamowius.de/mysql-tools.html


    功能上有点瑕疵, 不仅把所有的 slow log 打印到屏幕上, 而且统计也只有数量而已. 不推荐使用.
    mysql-log-filter, google code上找到的一个分析工具.提供了 python 和 php 两种可执行的脚本.
    http://code.google.com/p/mysql-log-filter/
    功能上比官方的mysqldumpslow, 多了查询时间的统计信息(平均,最大, 累计), 其他功能都与 mysqldumpslow类似.
    特色功能除了统计信息外, 还针对输出内容做了排版和格式化, 保证整体输出的简洁. 喜欢简洁报表的朋友, 推荐使用一下.
    myprofi, 纯php写的一个开源分析工具.项目在 sourceforge 上.
    http://myprofi.sourceforge.net/

     
    功能上, 列出了总的慢查询次数和类型, 去重后的sql语句, 执行次数及其占总的slow log数量的百分比.
    从整体输出样式来看, 比mysql-log-filter还要简洁. 省去了很多不必要的内容. 对于只想看sql语句及执行次数的用户来说, 比较推荐.

    总结

    工具/功能一般统计信息高级统计信息脚本优势
    mysqldumpslow支持不支持perlmysql官方自带
    mysqlsla支持支持perl功能强大,数据报表齐全,定制化能力强.
    mysql-explain-slow-log支持不支持perl
    mysql-log-filter支持部分支持python or php不失功能的前提下,保持输出简洁
    myprofi支持不支持php非常精简
    【参考资料】
    1、MySQL 慢查询日志分析及可视化结果 – 运维生存时间 http://www.ttlsa.com/mysql/mysql-slow-query-log-analysis-and-visualization-of-results/
    2、Mysql 慢日志分析系统搭建 —— Box Anemometer_SleePerSir_新浪博客 http://blog.sina.com.cn/s/blog_c2839d2a0102wkuv.html
    3、mysql性能监控软件 慢日志分析利器 - pmm server https://blog.csdn.net/john1337/article/details/70855293

    4、MySQL 慢查询日志(Slow Query Log) - CSDN博客 https://blog.csdn.net/leshami/article/details/39829605

    5、关于MySQL 通用查询日志和慢查询日志分析 - CSDN博客 https://blog.csdn.net/timchen525/article/details/75268151

    6、mysql 慢日志分析工具pt-query-digest - CSDN博客 https://blog.csdn.net/stevendbaguo/article/details/47612359

    展开全文
  • Kibana日志查询表达式

    万次阅读 2018-10-31 10:13:16
    Kibana 日志查询 kibana 以下示例展示kibana基础查询语法 基础字符串匹配(全文检索) 实用指数 5 例如想查找某个IP,直接输入ip即可 "192.168.163.104" 知道日志某段内容可直接放到kibana中直接查询 &...
  • Greenplum错误信息日志查询

    千次阅读 2019-08-22 10:49:09
    [Greenplum错误信息日志查询] 关于错误信息的查询与解决。 最近工作经常遇到导入信息失败或者是导入后少了。 如图采集日志显示这个报表有778条错误信息。 初期猜测是oracle库采集到 greenplum库数据字段类型不正确...
  • macos 程序崩溃日志查询目录

    千次阅读 2020-01-08 23:18:18
    程序崩溃时,CrashReporter将记录详细信息。...在Internet上进行一些搜索时,崩溃日志通常存储在〜/ Library / Logs / CrashReporter /中。 https://www.sysgeek.cn/macos-view-system-log/ ...
  • 查询ZIP日志文件中此提示的日志:【创建人】保存出现异常 2.1查找Zip压缩包中的字符,先把中文转成Unicode编码,’‘需转义为’\’,忽略大小写 查’邮寄’ -->转成Unicode编码 ‘\u90ae\u5bc4’ -->加转义...
  • 接口错误日志查询(SRT_UTIL)

    千次阅读 2017-07-18 18:26:33
    SAP 接口在发送或者接口数据时,可能会发生异常,排查原因,就需要通过日志来判定 T-CODE:SRT_UTIL 点击“错误日志” 查看 XML文件和 传输数据
  • 搜狗日志查询分析 (MapReduce+Hive综合实验)

    千次阅读 多人点赞 2018-12-09 14:46:13
    前提条件: 安装好hadoop2.7.3(Linux系统下) 安装好MySQL(Windows或Linux系统下) 安装好Hive(Linux系统下...访问时间 用户ID [查询词] 该URL在返回结果中的排名 用户点击的顺序号 用户点击的URL 注意: 1...
  • 日志查询-统计行数

    千次阅读 2017-08-15 18:53:11
    //查询fileName.txt中id及id的值 | //管道符 a.txt|b.txt 可以将a.txt中的内容输出到b.txt中 grep -c "" 输出行数 2. awk: awk ‘END{print NR}’ fileName.txt 使用awk统计文件中id的个数: grep ...
  • Linux 日志查询 - 精确详细

    千次阅读 2017-01-03 09:56:41
    感谢有奉献精神的人 转自:... ...tail -n 10 test.log 查询日志尾部最后10行的日志; tail -n +10 test.log 查询10行之后的所有日志; head -n 10 test.log 查询日志
  • 如果你的日志文件非常大,那么在其中查找你想要的字符串并不是那么容易。more命令的查找功能可以帮你,通过参数+/string可以用来搜索字符串,找到的关键字会显示在第一行。比如我们要在/var/logs/syslog文件中搜索...
  • ORACLE 死锁日志查询

    千次阅读 2015-08-05 19:03:03
     --当前会话的SID  select sid from v$mystat where rownum=1; ... select userenv('sid') from dual;...select tracefile from v$... -- (分别是上面查询出的sid,serial#) 
  • lowmemorykiller 的日志查询

    千次阅读 2018-06-20 11:56:46
    1 lowmemorykiller 的日志查询 系统卡顿优化往往会触发lowmemorykiller,查看应用是否被lowmemorykiller的日志,一般需要查询对应包名对应的pid 例如 com.su.download pid 是16826,目前pid一般可以在event日志...
  • MySQL中的日志包括:通用查询日志、慢查询日志、错误日志、二进制日志等等。这里主要记录一下两种比较常用的日志:通用查询日志和慢查询日志。...1、查看当前通用日志查询是否开启:  show variab...
  • SQL SERVER2008历史日志查询

    千次阅读 2015-05-29 17:52:55
    有需要找个工具能够查询sql server历史操作日志,比如误删除,误操作等,网上搜了好多,没有一个靠谱的.当然排除自己写sql记录操作日志,俺不懂sql语言.有可用的工具求推荐,感谢.  log explorer for sql ...
  • linux系统中 tail 命令可用于查看文件的内容 1 tail 在centos 或者说是在 linux 系统中,例如 tomcat 或者是 ngixn 的log 日志等等 tail -n 20 error.log ...查看 error.log日志文件中的最前面的 20行 日志内容...
  • SQL日志查看 查询数据库日志详细

    热门讨论 2010-10-23 23:17:31
    SQL 日志 查看 查询数据库日志 详细 含注册码
  • postgresql开启历史查询记录日志

    千次阅读 2020-11-09 21:35:42
    postgresql版本:9.5.23 操作系统:Ubuntu 16.04 查看配置文件位置 在psql中输入如下sql: select...例如我的为/var/lib/postgresql/9.5/main/log 其中类似与postgresql-2020-11-09_205834.log这种格式的即为日志文件。
  • 日志-php-fpm慢日志查询

    万次阅读 2017-02-17 20:49:50
    项目用php开发,在平常的过程中,应该时常监测下php脚本的运行状态 ... ... 1.先查找到配置文件存放地址 ... ...2.如果没有开启慢日志查询,先开启 默认的 request_slowlog_timeout 是0,php的慢脚本日志是关闭的,因此
  • MySQL查询数据库日志查询

    千次阅读 2018-11-14 21:49:03
    一、查看mysql数据库日志可以查看对数据库的操作记录。 mysql日志文件默认没有产生,需要做如下配置: 1.打开mysql的配置文件 sudo vi /etc/mysql/mysql.conf.d/mysqld.cnf 2.修改配置文件的第68、69行,将#去掉,...
  • MySQL慢查询日志记录和分析

    千次阅读 2019-01-08 21:05:41
    一、引言 在日常的开发中,有时候会有用户反馈说网站的响应速度...这个时候,我们就需要慢慢分析,我们可以通过开启慢查询日志,来监控生产环境上有没有执行特别慢的SQL,如果有,我们可以定位到是哪一条SQL,从而...
  • Mysql慢查询日志以及优化

    千次阅读 2019-06-11 15:01:16
    查询日志设置 当语句执行时间较长时,通过日志的方式进行记录,这种方式就是慢查询日志。 1、临时开启慢查询日志(如果需要长时间开启,则需要更改mysql配置文件) set global slow_query_log = on; 注:...
  • zookeeper使用(四):Zookeeper 相关日志查询 参考博客:https://blog.csdn.net/liukuan73/article/details/78047786 http://www.solinx.co/archives/448 zookeeper服务器会产生...
  • 常用linux日志查询命令

    万次阅读 2017-06-09 10:12:22
    分页查看所有日志:cat nohup.out | more4.分页查看前N行日志:tail -n 1000 nohup.out | more5.查看实时日志并检索关键字:tail -f nohup.out | grep "关键字"6.检索日志,并显示该条日志的前后N行记录:c
  • Redis 慢查询日志

    千次阅读 2019-02-21 11:31:02
    Redis 慢查询日志
  • kibana日志查询没有更新

    千次阅读 2018-02-14 21:42:41
    如果发现日志没有更新,那么请先确保日志的选取日期范围是否是最新,不然日志范围太小,没办法找到最新的日志如果再不行,那么请打开logstash的debug日志,在logstash.yml里头设置同样打开firebeat的debug日志,再...
  • SLS-日志服务分析查询

    千次阅读 2021-02-28 13:54:04
    格式 查询格式 ...
  • 【阿里云日志查询指南

    千次阅读 2020-12-11 15:45:21
    阿里云日志存储查询一、基本简介二、查询简介 一、基本简介 阿里云日志的作用?日志服务(Log Service,简称SLS)是针对日志类数据的一站式服务,无需开发就能快捷完成日志数据采集、消费、投递以及查询分析等功能,...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 601,077
精华内容 240,430
关键字:

日志查询