精华内容
下载资源
问答
  • Python Django项目日志查询系统

    万次阅读 2020-08-07 18:06:11
    该项目适合中小型公司日志查询工作。大型公司可以使用elk等。 日志查询系统 维护手册 作者:陈土锋 ...

    该项目适合中小型公司日志查询工作。大型公司可以使用elk等,elk还可以分析性能指标、数据分析等等,是一个很好的日志查询数据分析应用。但是每个公司都有自己的需求,如果我们只需要查日志,只要最原始的日志,那么这个系统最初的由来。

    该系统其实就是调用了absible命令去查日志,然后把输出的信息输到页面查看。
    本工具是本人从 0 - 1 全程开发的,还有很多地方需要优化。包括安全方面的。但由于种种原因本人无法继续优化了,后续也没有继续维护。

    所以该系统只适合部署到内网。否则极不安全,切记!!!!!

     项目由来:
    本人曾任职于一家移动外包公司,服务器用的是内网,出口有移动的防火墙,所以相对云服务器绝对的安全。内部组件基本都是内网通信。只有对外的web页面或者后台做了外网域名的端口映射。
    因为移动限制了研发登录内网机器查看日志,elk也是有的,但是接入麻烦,两头对接,降低效率的同时也得不到自己想要的日志。只有直接使用系统命令去查找才能看到最原始的日志,才方便问题排查。
    故开发了此组件,便于研发查找原始日志。虽然目前本人已离职,但据听说该组件还一直在使用,虽然已无人维护更新迭代,但足以支撑目前那个项目的使用。


    项目代码git地址:
    https://github.com/MYF12/logsquery3.0.git

    有问题可联系本人QQ:1016401546

                                           日志查询系统

                                                                              维护手册
                                                                             作者:陈土锋
                                                                          日期:2020年6月11日

    目录

    前言... 1

    一、系统底层逻辑说明... 2

    二、环境说明... 2

    三、系统搭建... 2

    3.1 安装Python3. 2

    3.1.1 安装依赖环境... 2

    3.1.2下载Python3. 3

    3.1.3 安装Python3. 3

    3.1.4 建立Python3和pip3的软链:. 3

    3.1.5 并将/usr/local/python3/bin加入PATH. 3

    3.2 安装虚拟环境... 4

    3.2.1 生产环境虚拟环境包路径:... 4

    3.2.2 先安装distlib-0.3.0.zip. 4

    3.2.3 创建虚拟环境... 5

    3.3 安装Django. 6

    3.4 测试项目是否正常运行... 7

    3.4.1 项目部署... 7

    3.4.2 项目测试... 8

    四、nginx+uwsgi+Django代理项目... 8

    4.1 安装uwsgi 8

    4.2 配置uwsgi 9

    4.3 启动uwsgi 10

    4.4 配置nginx 代理Django. 10

    五、Django3.0.7安装... 12

    前言

    1、该程序是根据xxxxxx目前系统管理层面开发而成,故仅适用于xxxxxx系统平台。
    2、该系统开发初心为减少运维协助研发查询线上生产日志、线上配置和线上其他环境而开发出来的。
    3、架构使用了Python3+Django+uwsgi+nginx 基础架构。
    4、底层调用ansible命令
     

    一、系统底层逻辑说明

    1.1 前端代码通过form表单提交用户交互信息到后端。
    1.2 后端接受到输入信息,经过逻辑处理之后调用服务器的ansible命令来执行远程命令。
    1.3 远程命令返回的结果,再通过文本格式展示到前端页面供用户查看。
    1.4 如果文本文件行数过多,则用户可以通过下载的连接下载到文本到本地查看查看。 
     

    二、环境说明

     
    2.1 服务器安装ansible命令(前提)
    2.2 ansible服务器必须能通过下面命令格式去执行远程命令:
    如:ansible slivr --sudo -m shell -a "ls -l "
    如果是root用户则在sudoer文件加入root用户sudo权限即可,这样无需修改代码。
    2.3 安装Python3
    2.4 安装虚拟环境
    2.5 安装Django 1.8 版本(最新版Django3.5需要改下代码的URL转发方式)
     

    三、系统搭建

    3.1 安装Python3

    3.1.1 安装依赖环境

    输入命令:yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel

    3.1.2下载Python3

    1.进入opt文件目录下,cd opt/
    2.下载python3   (可以到官方先看最新版本多少)
    输入命令 wget https://www.python.org/ftp/python/3.7.1/Python-3.7.1.tgz
     

    3.1.3 安装Python3

    安装在/usr/local/python3(具体安装位置看个人喜好)
    (1)创建目录:  mkdir -p /usr/local/python3
    (2)解压下载好的Python-3.x.x.tgz包(具体包名因你下载的Python具体版本不不同⽽而不不同,如:我下载的是Python3.7.1.那我这里就是Python-3.7.1.tgz)
    输入命令 tar -zxvf Python-3.7.1.tgz
    解压后出现python的文件夹
    进入解压后的目录,编译安装。(编译安装前需要安装编译器yum install gcc)
    (3)进入python文件夹,生成编译脚本(指定安装目录):
     cd Python-3.7.1
    ./configure --prefix=/usr/local/python3  
    #/usr/local/python3为上面步骤创建的目录
    (4)编译:make
    (5)编译成功后,编译安装:make install
    安装成功:
    (6)检查python3.7的编译器:/usr/local/python3/bin/python3.7

    3.1.4 建立Python3和pip3的软链:

    ln -s /usr/local/python3/bin/python3 /usr/bin/python3
    ln -s /usr/local/python3/bin/pip3 /usr/bin/pip3

    3.1.5 并将/usr/local/python3/bin加入PATH

    (1)vim /etc/profile
    (2)按“I”,然后贴上下面内容:

    # vim ~/.bash_profile
    # .bash_profile
    # Get the aliases and functions
    if [ -f ~/.bashrc ]; then
    . ~/.bashrc
    fi
    # User specific environment and startup programs
    PATH=$PATH:$HOME/bin:/usr/local/python3/bin
    export PATH
    source ~/.bash_profile

    3.2 安装虚拟环境

    3.2.1 生产环境虚拟环境包路径:/xxxx/xxxx/

    使用pip3下载下面命令:

    vim requirements.txt
    appdirs==1.4.3
    distlib==0.3.0
    filelock==3.0.12
    importlib-metadata==1.6.0
    importlib-resources==1.4.0
    pbr==5.4.5
    setuptools==39.0.1
    six==1.14.0
    stevedore==1.32.0
    virtualenv==20.0.18
    virtualenv-clone==0.5.4
    virtualenvwrapper==4.8.2
    zipp==3.1.0
    #下载
    pip3 download requirements.txt

    下载完之后可以看到下面这些包:

    appdirs-1.4.3-py2.py3-none-any.whl
    distlib-0.3.0.zip
    filelock-3.0.12-py3-none-any.whl
    importlib_metadata-1.6.0-py2.py3-none-any.whl
    importlib_resources-1.4.0-py2.py3-none-any.whl
    pbr-5.4.5-py2.py3-none-any.whl
    six-1.14.0-py2.py3-none-any.whl
    stevedore-1.32.0-py2.py3-none-any.whl
    virtualenv-20.0.18-py2.py3-none-any.whl
    virtualenv_clone-0.5.4-py2.py3-none-any.whl
    virtualenvwrapper-4.8.2-py2.py3-none-any.whl
    zipp-3.1.0-py3-none-any.whl

    3.2.2 先安装distlib-0.3.0.zip

    unzip distlib-0.3.0.zip
    cd distlib-0.3.0
    python3 setup.py build
    python3 setup.py install
    再安装所有的whl包:
    pip3 install *.whl

    3.2.3 配置环境

    mkdir /root/.virtualenvs
    #用locate virtualenvwrapper.sh 找出这个文件的路径,一般在安装的python3 bin目录下
    vim ~/.bashrc 
    export WORKON_HOME=/root/.virtualenvs 
    #加载环境
    source /usr/local/python3/bin/virtualenvwrapper.sh

    vim  /usr/local/python3/bin/virtualenvwrapper.sh
    找到VIRTUALENVWRAPPER_PYTHON关键字,在下面的if上面添加红色代码,python路径要对。

    VIRTUALENVWRAPPER_PYTHON=/usr/local/python3/bin/python3
    if [ "${VIRTUALENVWRAPPER_PYTHON:-}" = "" ]
    then
    source ~/.bashrc

    做virtualenv命令软连接:否则后续创建虚拟环境会报错

    ln -s /usr/local/python3/bin/virtualenv /usr/bin/virtualenv

    [root@ansible-server2 dwlirui2]# pip3 list --可以看到已经安装了下面的包
    Package Version
    ------------------- -------
    appdirs 1.4.3
    distlib 0.3.0
    filelock 3.0.12
    importlib-metadata 1.6.0
    importlib-resources 1.4.0
    pbr 5.4.5
    pip 20.0.2
    setuptools 39.0.1
    six 1.14.0
    stevedore 1.32.0
    virtualenv 20.0.18
    virtualenv-clone 0.5.4
    virtualenvwrapper 4.8.2
    zipp 3.1.0

    3.2.3 创建虚拟环境

    [root@ansible-server2 dwlirui2]# mkvirtualenv -p python3 env1

    创建成功之后你会默认进入虚拟环境,如创建env1:

    [root@ansible-server2 dwlirui2]# mkvirtualenv -p python3 env1
    created virtual environment CPython3.6.5.final.0-64 in 1210ms
      creator CPython3Posix(dest=/root/.virtualenvs/env3, clear=False, global=False)
      seeder FromAppData(download=False, pip=latest, setuptools=latest, wheel=latest, via=copy, app_data_dir=/root/.local/share/virtualenv/seed-app-data/v1.0.1)
      activators BashActivator,CShellActivator,FishActivator,PowerShellActivator,PythonActivator,XonshActivator
    virtualenvwrapper.user_scripts creating /root/.virtualenvs/env3/bin/predeactivate
    virtualenvwrapper.user_scripts creating /root/.virtualenvs/env3/bin/postdeactivate
    virtualenvwrapper.user_scripts creating /root/.virtualenvs/env3/bin/preactivate
    virtualenvwrapper.user_scripts creating /root/.virtualenvs/env3/bin/postactivate
    virtualenvwrapper.user_scripts creating /root/.virtualenvs/env3/bin/get_env_details

    可以看到你已经进入虚拟环境env1,这个虚拟环境里面安装的软件和外面环境分开的

    (env1) [root@ansible-server2 dwlirui2]#

    3.3 安装Django

    通过旧的虚拟环境导出来的包:存放到requirements.txt文件里面。
    旧环境登陆虚拟环境执行导出命令:pip3 freeze >requirements.txt

    cat requirements.txt --下载如下包
    certifi==2020.4.5.1
    chardet==3.0.4
    Django==1.8.2
    idna==2.9
    requests==2.23.0
    urllib3==1.25.8

    然后找一台测试环境能联网的机器下载这些包:

    [root@vm44 django_instaa]# pip3 download -r requirements.txt
    [root@vm44 django_instaa]# ls --总共下载了下面这么多包
    backcall-0.1.0.tar.gz idna-2.9-py2.py3-none-any.whl
    backcall-0.1.0.zip requests-2.23.0-py2.py3-none-any.whl
    certifi-2020.4.5.1-py2.py3-none-any.whl requirements.txt
    chardet-3.0.4-py2.py3-none-any.whl
    distlib-0.3.0.zip urllib3-1.25.8-py2.py3-none-any.whl
    Django-1.8.2-py2.py3-none-any.whl

    scp * root@xx.xx.xx.xx:/data/python_install/django_install --把包传到远程离线服务器
    离线服务器登陆虚拟环境
    workon env1 --以下命令均在虚拟环境执行
    cd /data/python_install/django_install
    离线虚拟环境先安装:backcall-0.1.0.zip,distlib-0.3.0.zip
    以安装backcall-0.1.0.zip为例:

    unzip backcall-0.1.0.zip
    cd backcall-0.1.0
    python3 setup.py build
    python3 setup.py install
    再安装所有的whl包:
    pip3 install *.whl

    安装完了之后,确定是否存在下面这些包:

    [root@ansible-server2 logs]# workon  env1
     (env1) [root@ansible-server2 logs]# pip list
    Package    Version  
    ---------- ----------
    backcall   0.1.0    
    certifi    2020.4.5.1
    chardet    3.0.4    
    distlib    0.3.0    
    Django     1.8.2    
    idna       2.9      
    pip        20.0.2   
    requests   2.23.0   
    setuptools 46.1.3   
    urllib3    1.25.8   
    uWSGI      2.0.18   
    wheel      0.34.2 
    

    3.4 测试项目是否正常运行

    我是通过虚拟环境搭建这个的,nginx安装到服务器上面,uwsgi和Django部署到虚拟环境上面。uwsgi和Django在虚拟环境启动。nginx 在服务器层面启动。
    项目代码已经备份到xx.xx.xx.xx:/share/logs_bak/xx.xx.xx.xx/ logsquerybak/logsquery.20200601.tar.gz

    3.4.1 项目部署

    我的Django项目部署情况:
    部署路径:
    /biao/hly_yw_project/
    即将logsquery.20200601.tar.gz 直接解压到/biao/hly_yw_project 目录。
    manage.py 文件路径:/biao/hly_yw_project/logsquery/manage.py
    wsgi.py 文件路径:/biao/hly_yw_project/logsquery/logsquery/wsgi.py
    settings.py 文件路径:/biao/hly_yw_project/logsquery/logsquery/settings.py
    查询出来的文件放到这里:
    /biao/hly_yw_project/logsquery/queryapp/static/files/
    目前只保留7天的文件:

    0 2 * * * find /biao/hly_yw_project/logsquery/queryapp/static/files -name "*.txt" -mtime +7 -type f |xargs rm -f
    

    项目结构是这样的:

    3.4.2 项目测试

    1、确保Django项目能够正常运行,即能够用Python3 manage.py runserver 0.0.0.0:8000 运行。

    (env1) [root@ansible-server2 logs]# cd /biao/hly_yw_project/logsquery/
    (env1) [root@ansible-server2 logs]# Python3 manage.py runserver 0.0.0.0:8000
    

    用浏览器访问ip:8000看下能否正常访问下面页面。

    四、nginx+uwsgi+Django代理项目

    4.1 安装uwsgi

    uwsgi是wsgi协议的实现服务。
    我是离线安装的。
    下载 uwsgi-2.0.18.tar.gz
    可以找一台能够联网的服务器通过pip download 命令来下载,传到离线服务器上面。
    解压安装:(在虚拟环境里面安装)

    workon env1
    tar zxf uwsgi-2.0.18.tar.gz
    cd uwsgi-2.0.18
    python3 setup.py build
    python3 setup.py install
    pip list 查看是否安装成功
    uWSGI 2.0.18

    4.2 配置uwsgi

    mkdir /etc/uwsgi_conf/
    cat /etc/uwsgi_conf/uwsgi.ini
    
    # uwsig使用配置文件启动
    [uwsgi]
    # 项目所在的根目录
    chdir=/biao/hly_yw_project/logsquery
    # 指定项目的application,区别于启动命令--wsgi-filemysite/wsgi.py
    #logsquery自己应用的名字
    module=logsquery.wsgi:application
    #the local unix socket file than commnuincate to Nginx
    # 指定sock的文件路径,这个sock文件会在nginx的uwsgi_pass配置,用来nginx与uwsgi通信
    # 支持ip+port模式以及socket file模式
    #socket=/etc/uwsgi_conf/uwsgi.sock
    socket=127.0.0.1:9050
    # 进程个数
    processes = 8
    # 每个进程worker数
    workers=5
    procname-prefix-spaced=queryapp # uwsgi的进程名称前缀
    py-autoreload=1 # py文件修改,自动加载
    # 指定IP端口,web访问入口
    http=0.0.0.0:9051
    # 启动uwsgi的用户名和用户组
    uid=root
    gid=root
    # 启用主进程
    master=true
    # 自动移除unix Socket和pid文件当服务停止的时候
    vacuum=true
    # 序列化接受的内容,如果可能的话
    thunder-lock=true
    # 启用线程
    enable-threads=true
    # 设置一个超时,用于中断那些超过服务器请求上限的额外请求
    harakiri=30
    # 设置缓冲
    post-buffering=4096
    # 设置日志目录
    daemonize=/var/log/uwsgi_conf/uwsgi.log
    # uWSGI进程号存放
    pidfile=/etc/uwsgi_conf/uwsgi.pid
    #monitor uwsgi status 通过该端口可以监控 uwsgi 的负载情况
    # 支持ip+port模式以及socket file模式
    # stats=%(chdir)/uwsgi_conf/uwsgi.status

    4.3 启动uwsgi

    cd /etc/uwsgi_conf/
    uwsgi --ini uwsgi.ini
    停止:
    uwsgi --stop uwsgi.pid

    4.4 配置nginx 代理Django

    nginx添加一个server:  

    server {
                listen       8000;
                server_name  xxxxxx;
                #注释下面配置,同时支持https和http访问
                #ssl on;
                #access_log  off;
                access_log /var/log/nginx/nginx.log;
                error_log /var/log/nginx/nginx.log;
                charset utf-8;
                client_max_body_size 100M;
                location /static{
                        alias /biao/hly_yw_project/logsquery/queryapp/static;
                }
                location /  {
                        include  /etc/nginx/uwsgi_params;
                        uwsgi_pass 0.0.0.0:9050;
                        proxy_read_timeout 3600s;
                        proxy_send_timeout 3600s;
                        uwsgi_read_timeout 600;
                        uwsgi_send_timeout 600;
                        uwsgi_connect_timeout 600;
                }
                error_page   500 502 503 504  /50x.html;
                location = /50x.html {
                    root   html;
                }
                #使用497状态重写到http上面
            }

    重启nginx或者重载nginx
    nginx -s reload
    页面访问:
    http://ip:8000即可访问Django项目

    五、Django3.0.7安装

    因1.8.2版本有漏洞,需要升级到最新版。最新版有些模块不兼容,代码也有些地方相对1.8.2的有改动。
    Django3.0的需要用这个包:
    xx.xx.x.xx: /biao/hly_yw_project/logsquery.django3.0.7.tar.gz
    其他应用安装方式不变,安装Django3.0.7方式。
    安装包备份目录:
    xx.x.xx.xx: /usr/local/vvm/logs/django
    xx.xx.xx.xx:/share/logs_bak/xx.xx.xx.xx/django
    进入虚拟环境:
    workon env1
    #解压
    tar zxf django3.0.tar.gz
    #安装
    pip install *whl
    其他配置参考1.8.2的

    展开全文
  • Logstash+Redis+Elasticsearch+Kibana Nginx日志查询系统 环境 elasticsearch-0.90.5.zip kibana-latest.zip redis-2.6.16.tar.gz logstash-1.2.2-flatjar.jar nginx.conf配置 log_format main '$remote_addr - $...

    Logstash+Redis+Elasticsearch+Kibana Nginx日志查询系统

    环境

    elasticsearch-0.90.5.zip
    kibana-latest.zip
    redis-2.6.16.tar.gz
    logstash-1.2.2-flatjar.jar

    nginx.conf配置

    log_format  main  '$remote_addr - $remote_user [$time_local] ' 
                               '"$request" $status $body_bytes_sent '
                               '"$http_referer" "$http_user_agent" ';

    nginx日志

    172.16.201.174 - - [25/Mar/2014:16:39:13 +0800] "GET / HTTP/1.1" 304 0 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/34.0.1772.0 Safari/537.36"

    表达式

    %{IPORHOST:source_ip} - %{USERNAME:remote_user} \[%{HTTPDATE:timestamp}\] %{QS:request} %{INT:status} %{INT:body_bytes_sent} %{QS:http_referer} %{QS:http_user_agent}

    collection

    hadoop@stormspark:~/log/logstash$ cat  sp.conf 
    input {
       file {
           type => "nginx-access"
           path => "/var/log/nginx/access.log"
       }
    }
    output {
        stdout {
            debug => true
            debug_format => json
        }
    
    
        redis {
            host => "127.0.0.1"
            port => 6379
            data_type => "list"
            key => "logstash"
        }
    }

    index配置

    hadoop@stormspark:~/log/logstash$ cat index.conf 
    input {
      redis {
        host => "127.0.0.1"
        port => "6379"
        data_type => "list"
        key => "logstash"
        type => "redis-input"
      }
    }
    filter {
       grok {
           type => "nginx-access"
           pattern => "%{IPORHOST:source_ip} - %{USERNAME:remote_user} \[%{HTTPDATE:timestamp}\] %{QS:request} %{INT:status} %{INT:body_bytes_sent} %{QS:http_referer} %{QS:http_user_agent}"
       }
    }
    output {
      elasticsearch {
        host => "127.0.0.1"
      }
    }

    分别启动logstash,redis,es等。

    java -jar logstash-1.2.2-flatjar.jar agent -f sp.conf
    java -jar logstash-1.2.2-flatjar.jar agent -f index.conf

    最后来个截图:


    展开全文
  • 前段时间公司做splunk,然后找了个类似于splunk架构的日志查询和分析系统“Elasticsearch+Logstash+Kibana3”,网上有些帖子,有些做下去,以后发现没法实现,自己整理了文档和截图放在onenote上,不方便上传,就...
          前段时间公司做splunk,然后找了个类似于splunk架构的日志查询和分析系统“Elasticsearch+Logstash+Kibana3”,网上有些帖子,有些做下去,以后发现没法实现,自己整理了文档和截图放在onenote上,不方便上传,就直接截图发上来,大家不要见怪,但是可以正常使用。 还要感谢下 大神松涛大笑   






    kibana3貌似不用装ruby,回头再看看吧,这样就可以正常使用了,使用情况以后再写。
    展开全文
  • C++ 查询系统日志

    千次阅读 2019-08-25 18:25:06
    坑! 有一个大坑,浪费我整整8个小时。...使用 C++ 操作命令行,并接收命令行返回信息,通过 Dos 命令获取 Windows 系统日志。 Wevtutil 命令介绍 文档上介绍的很全,我就不一一列举了,这里只说下我用到的...

    坑! 有一个大坑,浪费我整整8个小时。最开始的思路是使用 Windows API 来操作日志,但是发现过程非常繁琐,而且到最后还有很多数据读不全,看了一天的 MSDN,最后放弃了。

    于是采用另一个思路,20分钟解决。
    使用 C++ 操作命令行,并接收命令行返回信息,通过 Dos 命令获取 Windows 系统日志。
    Wevtutil 命令介绍

    文档上介绍的很全,我就不一一列举了,这里只说下我用到的一行命令:
    在这里插入图片描述
    意思就是打印最近三条系统日志

    下面是接收命令行返回信息的代码:

    // Test_Console.cpp : 定义控制台应用程序的入口点。
    //
    
    #include "stdafx.h"
    #include <iostream>
    
    using namespace std;
    
    int execmd(char* cmd, char* result) {
    	char buffer[128];                         // 缓冲区                        
    	FILE* pipe = _popen(cmd, "r");            // 管道 
    	
    	// 管道打开失败
    	if (!pipe){return 0;}
    
    	// 检测管道中的结束符,0表示没有结束
    	while(!feof(pipe)){
    		// 从管道中读取数据
    		if (fgets(buffer, 128, pipe)) {             
    			// 拼接 char
    			strcat(result, buffer);
    		}
    	}
    
    	//关闭管道 
    	_pclose(pipe);           
    
    	return 1;                                 
    }
    
    int main()
    {
    	char result[0x7ffff] = "";        // 存放结果
    	
    	// 获取命令行返回值(保险起见这里获取 300 条日志信息)
    	if (execmd("wevtutil qe System /c:300 /rd:true /f:text", result) == 1) {
    		cout << result << endl;
    	}
    
    	// 查找关键数据
    	string s = result;
    	while ((s.find("igfx")) != -1) {
    		cout << "找到了 igfx " << endl;
    		break;
    	}
    
    	system("pause");   
        return 0;
    }
    
    

    效果图:
    在这里插入图片描述以后别再钻牛角尖,吸取教训。

    展开全文
  • weblogic下查询系统日志

    千次阅读 2019-06-18 10:07:25
    查询系统服务器的请求日志/u01/Oracle/Middleware/user_projects/domains/base_domain/servers/AdminServer/logs 命令:tail -fn30 access.log 获取请求地址,请求状态,返回数据信息。 命令:tail -fn30 ...
  • lowmemorykiller 的日志查询

    千次阅读 2018-06-20 11:56:46
    1 lowmemorykiller 的日志查询 系统卡顿优化往往会触发lowmemorykiller,查看应用是否被lowmemorykiller的日志,一般需要查询对应包名对应的pid 例如 com.su.download pid 是16826,目前pid一般可以在event日志...
  • ELK-日志分析系统

    万次阅读 2020-09-23 17:14:47
    但在规模较大的场景中,此方法效率低下,面临问题包括日志量太大如何归档、文本搜索太慢怎么办、如何多维度查询。需要集中化的日志管理,所有服务器上的日志收集汇总。 解决办法是建立集中式日志收集系统,将所有...
  • 日志管理系统

    万次阅读 2019-06-26 11:47:19
    为什么需要日志管理系统 保留现场 自知者自明 所有即将发生的,都取决于已经发生的 数据商业化运作 1.1 日志管理系统的解决方案 机器上的日志实时收集,存储到日志中心 给日志建立索引,通过索引能很快找到...
  • 采用logstash+kibana+elasticsearch+log4j的方式进行搭建log集群,方便对不同服务器上的日志进行查询和管理,提高了对日志的维护效率,更加方便开发人员发现bug,解决bug。
  • systemctl restart vsftpd 启动ftp报错,提示信息: See “systemctl status vsftpd....文章目录journalctl是什么journalctl -xe是什么意思结尾看日志,开头看日志滚屏输出日志时间段的日志某用户的日志某个服务的...
  • 海量日志存储和查询方法及系统

    千次阅读 2016-01-23 10:58:45
    本发明提供一种海量日志存储和查询方法及系统,其中的方法包括将分片后的日志按照主从关系存储为文件结构,其中,分片后的日志按照主从关系存储在主文件和从文件内,主文件包括日志的聚合数量、分片开始时间和分片...
  • 系统日志

    千次阅读 2018-04-14 09:04:43
    【Linux日志系统日志及分析Linux系统拥有非常灵活和强大的日志功能,可以保存几乎所有的操作记录,并可以从中检索出我们需要的信息。大部分Linux发行版默认的日志守护进程为 syslog,位于 /etc/syslog 或 /etc/...
  • 用户日志分析系统实战(一)

    千次阅读 2017-11-14 22:21:11
    用户日志分析系统实战(一)接下来的博客是一个连续的部分,主要...4. 用户日志分析系统实战(四),数据建模、分析与查询 5. 用户日志分析系统实战(五),用户行为分析 6. 用户日志分析系统实战(六),架构思考
  • 随着技术的发展,越来越多的系统从单机转向到分布式,同时对应的日志查看方式除了直接查看文件外,也发展出了各种集中日志管理方式。其中常见日志查看方式如下:
  • Linux查看系统日志常用指令

    万次阅读 2021-08-07 11:15:52
    tail -n 10 filename 查询日志尾部最后10行的日志 tail -n +10 filename 查询日志前10行之后的所有内容 -f:循环读取,可用于实时查询日志最新消息 tail -10f filename 实时查询监控日志100行内容 head:头部...
  • 在centos 或者说是在 linux 系统中,例如 tomcat 或者是 ngixn 的log 日志等等 tail -n 20 error.log 查看 error.log日志文件中的最后 20行 日志内容 tail -n +20 error.log 查看 error.log日志文件中的最前面的...
  • ELK分布式日志收集系统

    千次阅读 2020-07-31 15:25:15
    在传统项目中,如果在生产环境中,有多台不同的服务器集群,如果生产环境需要通过日志定位项目的Bug的话,需要在每台节点上使用传统的命令方式查询,这样效率非常底下。 通常,日志被分散在储存不同的设备上。如果你...
  • 数据库的日志是帮助数据库管理员,追踪分析数据库曾经发生的各种事件的有力依据,mysql中提供了错误日志、binlog日志(二进制日志)、查处日志、慢查询日志。在此,我力求解决以下问题:各个日志的作用是什么?怎样去...
  • [系统架构]分布式日志收集系统

    千次阅读 2014-11-04 10:25:06
    前言系统一大,就会拆分成多个独立的进程,比如web+wcf/web api等,也就成了分布式系统。...今天介绍一款全开源日志收集、展示系统 - logstash(基于java)+kibana(基于JRuby, logstash已自带)+Elastic
  • Loki日志系统

    千次阅读 2020-06-22 15:51:00
    Loki的第一个稳定版本于2019年11月19日发布,是 Grafana Labs 团队最新的开源项目,是一个水平可扩展,高可用性,多租户的日志聚合系统。 Grafana 对 Loki 的描述如下: Loki: like Prometheus, but for logs. Loki...
  • 日志系统之HBase日志存储设计优化

    万次阅读 2015-06-13 15:08:27
    本文探讨了基于HBase的日志存储原先自建索引存在的问题,展开分析了rowKey优化、索引优化等相关的优化策略。
  • MySQL 一般查询日志或者慢查询日志历史数据的清理   general log&amp;slow query log 对于MySQL的一般查询日志和慢查询日志,开启比较简单,其中公用的一个参数是log_output,log_output控制着慢查询和一般...
  • 工作日志管理系统

    热门讨论 2012-07-19 15:45:12
    平常对工作日志进行管理的好工具。有助于公司里对人员工作内容的管理。
  • 本发明实施例提供的一种系统日志的处理方法包括:访问生成系统日志的设备,从该设备采集系统日志;将采集到的系统日志的格式与指定的设备模板进行匹配,确认各系统日志对应的设备类型;根据各系统日志的设备类型,...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 431,045
精华内容 172,418
关键字:

日志查询系统