精华内容
下载资源
问答
  • docker logs 查看实时日志
    千次阅读
    2021-12-24 15:09:18

    docker logs -f -t --since="2017-05-31" --tail=10 edu_web_1

    --since : 此参数指定了输出日志开始日期,即只输出指定日期之后的日志。

    -f : 查看实时日志

    -t : 查看日志产生的日期

    -tail=10 : 查看最后的10条日志。

    edu_web_1 : 容器名称

    其实 docker的命令在17之后  开始划分对象进行管理了

    Management Commands:
      app*        Docker App (Docker Inc., v0.9.1-beta3)
      builder     Manage builds
      buildx*     Docker Buildx (Docker Inc., v0.7.1-docker)
      config      Manage Docker configs
      container   Manage containers
      context     Manage contexts
      image       Manage images
      manifest    Manage Docker image manifests and manifest lists
      network     Manage networks
      node        Manage Swarm nodes
      plugin      Manage plugins
      scan*       Docker Scan (Docker Inc., v0.12.0)
      secret      Manage Docker secrets
      service     Manage services
      stack       Manage Docker stacks
      swarm       Manage Swarm
      system      Manage Docker
      trust       Manage trust on Docker images
      volume      Manage volumes

    其中敲入 docker logs --help 又可以看到相关子命令的解释 很清楚了已经。

    更多相关内容
  • api错误统计 /实时日志 web显示 为方便统计 服务器日志错误,查询出mi,ms 出错文件 (400+服务器) 设想: 每台服务器计划任务 脚本过滤出错误日志,得出数据后提交至http接口 curl -d "rc=20043&uin=43252452&mbox=/...
  • Dozzle-dozzle.dev Dozzle是Docker的实时日志查看器。 免费。 它很小。 它在您的浏览器中。 尽管dozzle最适合工作,但这并不意味着它是完整的日志记录解决方案。 对于企业使用,我推荐Dozzle-dozzle.dev Dozzle是...
  • 航空电商大规模实时日志分析》-李锋.pdf
  • 主要为大家详细介绍了python实现定时提取实时日志程序,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
  • 如何查看应用的实时日志呢?方法还是有的。 先附图:看这功能是不是很赞? 机器强大了就是好,有好多创新可以派上用场了。后续继续探索新鲜的新功能。 运维的兄弟们可以松口气了,给你们减减压。 日志排查获取从此...
  • 本文实例讲述了SAE实时日志接口SDK用法。分享给大家供大家参考,具体如下: 新浪SAE是新浪研发中心开发的国内首个公有云平台,从2009年开始到现在也是也来越成熟,开放了很多接口以及服务供开发者使用。这次为了方便...
  • 本实例通过 Flink 结合 UDF 对系统上报的日志进行实时解析并生成告警,搭建实时监控告警系统
  • 小程序实时日志功能

    2021-06-28 09:36:35
    为帮助小程序开发者快捷地排查小程序漏洞、定位问题,我们推出了实时日志功能。从基础库2.7.1开始,开发者可通过提供的接口打印日志,日志汇聚并实时上报到小程序后台。 开发者可从小程序管理后台“开发->运维...

    为帮助小程序开发者快捷地排查小程序漏洞、定位问题,我们推出了实时日志功能。从基础库2.7.1开始,开发者可通过提供的接口打印日志,日志汇聚并实时上报到小程序后台。

    1. 新建log.js模块化文件 

    
    let log = uni.getRealtimeLogManager ? uni.getRealtimeLogManager() : null
    
    module.exports = {
      debug() {
        if (!log) return
        log.debug.apply(log, arguments)
      },
      info() {
        if (!log) return
        log.info.apply(log, arguments)
      },
      warn() {
        if (!log) return
        log.warn.apply(log, arguments)
      },
      error() {
        if (!log) return
        log.error.apply(log, arguments)
      },
      setFilterMsg(msg) { // 从基础库2.7.3开始支持
        if (!log || !log.setFilterMsg) return
        if (typeof msg !== 'string') return
        log.setFilterMsg(msg)
      },
      addFilterMsg(msg) { // 从基础库2.8.1开始支持
        if (!log || !log.addFilterMsg) return
        if (typeof msg !== 'string') return
        log.addFilterMsg(msg)
      }
    }
    

    2. 文件中引用和使用

    let log = require("./log.js")
    
    log.error('request 用户不存在',res)

    当方法被执行后大概十分钟左右时间就可以在小程序管理后台,从“开发->运维中心->实时日志”进入日志查询页面,查看上报的日志了,如图

    官方文档

    展开全文
  • Web实时日志输出查看管理系统

    万次阅读 2019-04-03 18:17:30
    开发人员无权限访问生产服务器,怎样查看日志来分析问题? 安全管理合规的原因,开发未被授权访问...开源产品 logiohttp://logio.org/可实时采集日志通过 web 展示 , 应用多了,日志多了分类浏览不便,无法解决持久存储...

    开发人员无权限访问生产服务器,怎样查看日志来分析问题?

    安全管理合规的原因,开发未被授权访问生产服务器,但经常会有分析问题查看日志的需求. 大家一般是怎样解决的?

    我尝试用过的,或者是想到的方法主要有如下几种,但都不太完美,有更好的方案或者工具吗?

    • 开源产品 logio http://logio.org/ 可实时采集日志通过 web 展示 , 应用多了,日志多了分类浏览不便,无法解决持久存储的问题
    • fluented 同步日志文本,以文本模式存储在专用的日志服务器.
    • 系统管理员手工复制日志
    • jenkins + ansible+shell 脚本 复制传输日志
    • 使用ELK 处理过多行文本,比如 tomcat 的日志
    • 利用linux服务器系统自带的rsyslog+php进行日志采集
    • 搭建FTP映射虚拟目录指向日志目录(前提只开读权限)
    • 考虑 log 实时上传到云上或者同步到一台专门的日志服务器上

    今天我们要介绍一款实时同步分析日志的web管理工具Log.io  让我们一起感受一哈Websocket的魅力。

    Node.js中使用Log.io在浏览器中实时监控日志,Log.io等同于tail -f命令,但更强大(web+node展示)

    官方介绍:http://logio.org/

    GitHub源码:https://github.com/NarrativeScience/Log.io

    日志是个好东西,对技术人员来说写日志能纪录成长,分享经验;对机器来说纪录日志能及时发现错误,为日后的排错提供信息。如果还在一台机器上用 tail -f 监听单个日志或者用 multitail 监听多个日志也太 out 了,我们需要一种工具能纪录上百台机器、不同类型的日志,并最好能汇集到一个界面里方便查看,最好还是实时的。

    log.io 是一个实时日志监控工具,采用 node.js + socket.io 开发,使用浏览器访问,每秒可以处理超过5000条日志变动消息。有一点要指出来的是 log.io 只监视日志变动并不存储日志,和其他的监控工具一样,log.io 也采用服务器-客户端的模式。

    log.io 由两部分组成:server 和 harvester

    server 运行在机器 A(服务器)上监视和纪录其他机器发来的日志消息;

    log harvester 运行在机器 B(客户端)上用来监听和收集机器 B 上的日志改动,并将改动发送给机器 A,每个需要纪录日志的机器都需要一个 harvester.

    在A和B两台机器上同时安装(第一步到第四步)

    一、安装依赖包

    yum install gcc gcc-c++ openssl-devel  pkgconfig -y
    

    二、下载 node.js 源代码,编译并安装:

    wget http://nodejs.org/dist/v0.8.14/node-v0.8.14.tar.gz
    tar xf node-v0.8.14/
    ./configure
    make
    make install
    

    三、安装NPM

    wget https://npmjs.org/install.sh && sh install.shsi
    

    四、安装 log.io(包含了 log server 和 log harvester)

    npm config set unsafe-perm true

    npm install -g --prefix=/usr/local log.io

    注意:第二部安装的时候安装时间较长(基于网络下载软件包),请耐心等待!!

     

    五、在服务端(A节点)上启动server

    cd node-v0.8.14
    log.io-server start
    

    六、在客户端(B节点)配置

    vim /root/.log.io/harvester.conf
    exports.config = {
      nodeName: "nodeB",          ####修改节点名称(自定义)
      logStreams: {
        nginx_access: [                  ####日志服务的名称(自定义)
          "/var/log/nginx/access.log",  ###日记存储路径
        ],
        nginx_error: [                  ####日志服务的名称(自定义)
           "/var/log/nginx/error.log"     ###日记存储路径
        ]
      },
      server: {
        host: '10.10.0.2',      ####log.io Server端的IP
        port: 28777              ####log.io Server端的端口(默认端口)
      }
    }

     

    七、在客户端(B节点)启动服务

    cd node-v0.8.14
    log.io-harvester start
    

    八、通过游览器查看日记实时信息

    附录Windows部署请参考:https://www.cnblogs.com/loveclumsybaby/p/10622974.html

    Log.IO能做什么

    这个软件的功能非常简单,对的,非常简单!不像Zabbix一样具备非常多的隐藏技能,安装过程非常简单.

    npm install -g log.io --user "root"
    //启动server
    log.io-server
    //修改一下配置,主要改服务器信息和日志路径
    vi ~/.log.io/harvester.conf
    //启动采集器
    log.io-harvester
    //访问页面
     http://localhost:28778
    

    Paste_Image.png

    他就提供了一个看实时日志的界面(原谅我突然就开启了吐槽模式,你这会不会也太简单了一点),不过总的来说,问题还是能解决的,左侧的菜单思路是节点->应用名这样的模式,这个倒是挺正派的,一个节点底下会有多份不同的日志(话说作者不知道有没考虑过给节点分个组呢),右侧的就是应用了,勾选的日志信息都会在这里展现出来,其实单服务器的话倒是没什么问题,但是多服务器,刷日志又刷的快的情况下,这个界面就会看的眼花缭乱了。

    Log.IO源码分析

    站在巨人的肩膀上(有现成的就拿来抄)的思想是我一直所坚持的(这才是生产力啊!ヽ( ∀)ノ),先看整体架构,直接上官方架构图

    Paste_Image.png

    做法是通过Harvester进行日志采集,通过TCP送到Server,然后Server通过WebSocket送到web页面上面。

    Harvester的运转方式

    • 记录指定日志文件的Current Position,然后监控日志文件的变化(NodeJS本身就挺多这样的库的),每当发生Change事件之后,往下读文件
    • 把变更的文件通过一定的格式采用TCP协议送到Server端
    +log|web_server|my_server01|info|this is log messages
    

    Server的运作方式

    Server在接受到Harvester送来的的信息之后,把字符串变成LogObject、LogStream、LogNode等一系列对象

    通过Socket.IO这个库把日志信息往外送,Socket.IO这个库倒是挺简单易用的,上个官网例子

    var io = require('socket.io')(80);
    var cfg = require('./config.json');
    var tw = require('node-tweet-stream')(cfg);
    tw.track('socket.io');
    tw.track('javascript');
    tw.on('tweet', function(tweet){
      io.emit('tweet', tweet);
    });
    

    Web

    Web的开发上倒是挺中规中矩的,采用比较流行的Express,然后通过WebSocket接收完数据之后就把对应的数据显示在页面上

    一些想法

    Log.IO这个应用代码量非常的少,这种易读性使得这个程序非常适合拿来改造(比起读Kibana那界面的原源码,这简直就是天堂T_T),所以,不由的就产生了一些想法

    对Harvester的一些想法

    按照Harvester的运作方式来看,我认为完全可以不采用log.io的Harvester,而直接采用类似Rsyslog这样的大多数操作系统上都存在的日志收集工具就可以了,免去Agent部署升级的烦恼。不然还不知道会不会碰上Agent性能不稳定搞挂服务器呢

    对Server的一些想法

    既然是WebSocket,那么是不是可以采用类似在Nginx上加WebSocket扩展之类的做法来把Server替换掉呢?

    log.io是不是能够集成到ELK这类日志搜索软件里面,作为辅助功能存在呢?日志先送到ES或者是一些其他地方,然后再通过一些Transfer程序把日志送到Server

    对Web的一些想法

    Web这种操作上的东西,应各业务场景(个人品味。。。)不同会有比较大的差别,假如是我设计这个功能的原型,我会希望页面上能有这样的功能。

    • 实时日志按照时间分屏展示;
    • 能够在界面上输入关键字,然后对关键字日志高亮,方便排查问题;
    • 再多一个业务模块的分组,方便对整组业务模块的服务器进行过滤;
    • 根据提供的关键字信息,只展示具备关键字的日志行(类似tail -f xxx|grep 这样的功能);

    websocket技术,在运维工具的浏览器上实时显示远程服务器上的日志信息

    一般我们在运维工具部署环境的时候,需要实时展现部署过程中的信息,或者在浏览器中实时显示程序日志给开发人员看。你还在用ajax每隔段时间去获取服务器日志?out了,试试用websocket方式吧。

    【参考文档】

    1、Log.IO的使用场景和改造思路 - 简书 https://www.jianshu.com/p/c301cae2f394

    2、运维开发:python websocket网页实时显示远程服务器日志信息 -  https://www.cnblogs.com/php-rearch/p/6661241.html

    3、如何把Tomcat的日志实时输出到Web页面上_https://www.linuxidc.com/Linux/2015-02/113356.htm

    4、网页中实时查看服务器日志(websocket + node.js实现) https://blog.csdn.net/definite_things/article/details/43058919

    5、Java用WebSocket + tail命令实现Web实时日志 -https://blog.csdn.net/xiao__gui/article/details/50041673

    6、个人开发者的服务器日志收集 - https://soulteary.com/2018/06/13/server-log-collection-for-individual-developers.html

    7、日志服务器应用开发 - vitaair的博客 - CSDN博客 https://blog.csdn.net/vitaair/article/details/80220619

    8、网站用户行为日志采集和后台日志服务器搭建 - https://blog.csdn.net/weixin_37490221/article/details/80894827

    9、windows下,Kiwi_Syslog日志服务器的搭建 - https://blog.csdn.net/McYaoYao/article/details/78225466

    10、远哥谈 使用WebSocket开发在线实时看远程服务器log日志的工具 - https://www.cnblogs.com/taven/p/3483002.html

     

    展开全文
  • requirement Django==2.1.7 paramiko==... ] WEBSOCKET_FACTORY_CLASS = 'dwebsocket.backends.uwsgi.factory.uWsgiWebSocketFactory' 实时日志系统 GitHub - py3study/real_time_log: django查看linux实时日志 效果

    requirement

    Django==2.1.7
    paramiko==2.7.1
    dwebsocket==0.5.12

    dwebsocket的配置与HTTPS部署

    安装uwsgi

    pip install uwsgi

    uwsgi.ini

    [uwsgi] 
    chdir = /home/MyBlog 
    module = MyBlog.wsgi:application 
    socket = 127.0.0.1:8000
    master = true 
    processes = 1
    threads = 2
    max-requests = 6000
    chmod-socket    = 666
    buffer-size    = 65535
    logto = /var/log/MyBlog.log
    pidfile=/home/MyBlog/uwsgi.pid
    ugreen =''
    http-timeout = 300
    enable-threads = true
    stats = :3031
    stats-http = true
    #plugins=python
    DJANGO_SETTINGS_MODULE=MyBlog.settings
    WEBSOCKET_FACTORY_CLASS="dwebsocket.backends.uwsgi.factory.uWsgiWebSocketFactory"
    http-websockets=true

    nginx.conf

    server {
          listen       443 ssl http2 default_server ;
          listen       [::]:443 default_server;
          server_name  _;
    	    ssl on;
    	    ssl_certificate   /etc/nginx/cert/7046953_guanacossj.com.pem;     # 路径/pem文件
    	    ssl_certificate_key  /etc/nginx/cert/7046953_guanacossj.com.key;  # 路径/key文件
    	    ssl_session_timeout 5m;
    	    ssl_ciphers ECDHE-RSA-AES128-GCM-SHA256:ECDHE:ECDH:AES:HIGH:!NULL:!aNULL:!MD5:!ADH:!RC4;
    	    ssl_protocols TLSv1 TLSv1.1 TLSv1.2;
    	    ssl_prefer_server_ciphers on;
          charset     utf-8;
          client_max_body_size 1000M;   # adjust to taste
          include /etc/nginx/default.d/*.conf;
          location /static {
          alias /home/MyBlog/static; # ָÏdjangoµÄtaticĿ¼
          }
          location /static/rest_framework/ {
          alias /usr/local/lib/python3.6/dist-packages/rest_framework/static/rest_framework/
          ;}
    
        # Finally, send all non-media requests to the Django server.
        location / {
            uwsgi_pass  127.0.0.1:8000;
            include     uwsgi_params; 	# the uwsgi_params file you installed;
            proxy_redirect off;
    	    proxy_http_version 1.1;
            proxy_set_header Upgrade $http_upgrade;
            proxy_set_header Connection "upgrade";
    	    uwsgi_send_timeout 600;
            uwsgi_connect_timeout 600;
            uwsgi_read_timeout 600;
        }
    
      }

    settings.py

    INSTALLED_APPS = [
        ...,
        'dwebsocket',
        ...
    ]
    
    WEBSOCKET_FACTORY_CLASS = 'dwebsocket.backends.uwsgi.factory.uWsgiWebSocketFactory'
    

    实时日志系统

    GitHub - py3study/real_time_log: django查看linux实时日志

    效果

     

    展开全文
  • 实时日志分析

    2018-05-31 19:51:49
    实时日志分析,有效帮助开发人员分析日志,提升开发效率
  • 调试小程序最常用的就是console.log了,但是小程序上线后,如果出了问题,尤其一些bug很难复现,这是开发经常会遇到的问题,好在小程序提供了实时日志功能,简单点就是通过调用api输出日志,微信客户端会定时打包...
  • ELK 是 Elasticsearch、 Logstash 和 Kibana 这三个软件集合的简称,ELK 搭建实时日志分析平台视频教程,本次课程,青云QingCloud 工程师彭科、东升将会从技术角度来分享如果搭建 ELK 实时日志分析平台。
  • tomcat终端查看实时日志输出

    千次阅读 2019-05-08 16:26:40
    进入tomcat中的logs目录,并键入命令:tail -f catalina.out,如下图所示: 结果显示: 退出:Ctrl+C;
  • 分布式实时日志分析解决方案ELK部署架构
  • linux 服务器查看实时日志

    千次阅读 2020-08-03 13:54:50
    1、使用cd命令,到指定日志目录下 例如:日志目录为:/opt/logs/yanshi 命令:cd/opt/logs/yanshi 2、浏览目录下日志文件 命令:ll,此时展示yanshi文件夹内所有的log文件列表名称等信息 3、查看当日log文件 ...
  • 实时日志监控系统

    千次阅读 2019-04-27 10:58:32
    grafana用来读取 5xx出图,并且每分钟把5xx写入到openfalcon里面作为阈值报警但是这样还是不是实时的,并且出现问题好要自己去过滤nginx日志太麻烦。 第一版结构 所有的API日志通过rsyslog 打到lo...
  • 日常开发工做中,服务部署完以后,须要查看服务实时运行日志等。经常使用的链接linux服务器的工具备SecureCRT、Xshell等等,挺多的,这里就不一一赘述了。日常工做中SecureCRT用的比较多点。固然,我的感受那个比较...
  • 1、通过cd命令去打自己上传项目jar包目录下,我的是/root/shuzijinian 2、通过ls命令可以看到文件夹下的内容,发现jar包ruoyi_admin.jar 3.使用nohup java -jar xxxx &...输入tail -f nohup.out 查看实时日志 ...
  • 项目中有两个测试人员,经常需要查看日志定位问题,但是有两个问题: 1.windows下tomcat输出日志跟linux下不一样,linux可以远程连接使用tail命令很轻松就可以看到日志,并且可以随时停止。但windows的日志只输入...
  • 1.实时日志处理系统架构及整体思路   整个系统分为三层:收集(Agent)层,汇总(Collector)层和处理层。 其中Agent层采用flume收集日志,每个机器部署一个进程,负责对单机的日志收集工作; Collector层flume...
  • 实时日志打印工具 打印app系统日志 实时日志打印工具 打印app系统日志
  • spring-boot推送实时日志到前端页面显示

    万次阅读 多人点赞 2018-08-28 10:53:36
    网上有很多后台推送日志到前端页面的例子,这里我也借鉴了别人的做法 稍加改进一下。以前做前端页面显示日志一般都会想到ajax轮询去做,这样太耗费服务器资源了,性能也很差。使用长连接来做更稳妥,这就想到了用...
  • Linux命令 查看实时日志 加过滤功能

    千次阅读 2020-07-17 14:23:04
    查看实时日志tail -f 文件路径/文件名 tail -f /app/projecttest/logs/20200717.log 若想实时过滤某个关键字,在后面增加|grep 关键字,则只打印带关键字的那行日志,例如要过滤 “失败” tail -f /app/...
  • websocket日志实时推送

    2018-12-24 17:23:19
    websocket日志实时推送,web网站,利用tail -f 和websocket实时推送到页面
  • django查看linux实时日志

    千次阅读 2020-04-16 17:47:00
    一、概述 有一台堡垒机,可以连接到...开发人员需要登录到后端服务器,使用tail -f查看实时日志。 但是敲命令比较繁琐,需要有一个管理平台来实现日志下载以及查看实时日志功能。 二、项目演示 github完整代码如下: ...
  • 微信小程序打印实时日志

    千次阅读 2020-12-30 14:11:55
    最近遇到了一个蜜汁bug,项目上线了但是定位不出问题,于是引入了微信的实时日志管理器对象来帮助定位,一起看下吧。 API地址 首先创建一个log.js文件 // 从基础库2.7.1开始支持 const log = wx....
  • 微服务日志之实时日志

    千次阅读 2018-07-01 14:43:00
     指定项目名称、服务名称和日志级别,打开实时日志页面后浏览器自动和服务器建立WebSocket连接,当有新的日志输出的时候,服务器就会主动通过WebSocket连接将日志推送给实时日志页面。  1、指定项目名称、服务...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 288,338
精华内容 115,335
关键字:

实时日志

友情链接: SendTel.zip