精华内容
下载资源
问答
  • $arr 就是我要接受的所有参数值,而 'msg_id'就是我以后要在阿里云日志查询字段,以此字段统计某些数据 $arr 是前台API接口传过来的数据 ,这里我需要使用 $arr['id'] 来在阿里云上统计某些数据,因为前台...

    第一步:在API基控制器(base文件下)下面

     

    $arr 就是我要接受的所有参数值,而 'msg_id'就是我以后要在阿里云日志中查询的字段,以此字段统计某些数据

     

     $arr 是前台API接口传过来的数据 ,这里我需要使用 $arr['id'] 来在阿里云上统计某些数据,因为前台传过来的API的 数 据中 不一定都会包含 id ,   所以,没有id值得话我默认为-1

     

    有因为这些值都是在new JobAliSLS()中的,所以我需要在该类中,继续定义参数 msg_id

     然后在队列执行中再复制一次到日志记录

     

     

    至此,添加参数的任务都已经完成了,然后登陆阿里云查询日志

     先在日志中 添加此字段

     

     

     

     

     添加完毕,点击你想统计的API 接口,下图的msg_id就出现了。

     

     

    转载于:https://www.cnblogs.com/wangshuazi/p/10288405.html

    展开全文
  • linux查询日志中指定字段

    千次阅读 2020-05-13 18:07:59
    根据字符串查询日志中关键词出现的位置:cat -n 日志文件| grep ‘keyword’ 例: cat -n 123.log | grep 'keyword' grep 'keyword' 123.log 检索日志,并显示该条日志的前后N(10)行记录:cat 日志文件 | grep -n...

    1.grep命令:cat 1.log | grep key 可以写为: grep key 123.log

    根据字符串查询日志中关键词出现的位置:cat -n 日志文件| grep ‘keyword’

    例:

    cat -n 123.log | grep 'keyword'
    grep 'keyword' 123.log
    

    检索日志,并显示该条日志的前后N(10)行记录:cat 日志文件 | grep -n -B10 -A10 “关键字”

    cat -n 123.log | grep -n -B10 -A10  'keyword'
    

    统计在文件中出现的行数

    grep -o "hello" 123.log | wc -l
    

    2.head和tail

    tail -n 10 日志文件 查询日志尾部最后10行的日志;
    tail -n +10 日志文件 查询10行之后的所有日志;
    head -n 10 日志文件 查询日志文件中的头10行日志;
    head -n -10 日志文件 查询日志文件除了最后10行的其他所有日志;

    展开全文
  • MySQL慢查询日志是我们在日常工作中经常会遇到的一个功能,MySQL慢查询日志提供了超过指定时间阈值的查询信息,为性能优化提供了主要的参考依据,是一个非常实用的功能,MySQL慢查询日志的开启和配置非常简单,可以...

    阅读文本大概需要3分钟。

          MySQL慢查询日志是我们在日常工作中经常会遇到的一个功能,MySQL慢查询日志提供了超过指定时间阈值的查询信息,为性能优化提供了主要的参考依据,是一个非常实用的功能,MySQL慢查询日志的开启和配置非常简单,可以指定记录的文件(或者表),超过的时间阈值等就可以记录到慢sql了,实话讲,相比较sqlserver的trace或者扩展事件(虽然此二者的作用并非仅仅如此),MySQL的配置总是给人一种非常清爽的感觉。

    一、慢查询日志的打开

    正常情况下,只需要在配置文件中增加slow_query_log = 1配置,即打开慢查询日志,未指定slow_query_log_file的情况下,会自动生成一个以主机名+‘slow'.log 的文件。  e8e6f329d6d612df724ac92f45adcc35.png

    二、默认情况下记录慢查询的时间阈值为10s  f35cf6366d30b8029a835c67028e87a4.png

    默认情况下,指定slow_query_log = 1的情况其启动MySQL,即可打开慢查询,自动生成一个默认的以主机名++‘slow'.log 的文件来记录超过执行超过10s的慢查询。

    也可以显式指定慢查询的日志文件名称(不存在会自动创建)和记录慢查询的时间阈值(非默认的10s)。  e26f9b5f77527f08beabb05547a48f70.png

    注意:在配置文件中指定long_query_time的时候,不需要时间单位,只需要一个值,比如1就代表1s,如果带了时间单位,服务将无法启动。3913f22d38ba517f8925fa1c00b16cb9.png

    如下是一个记录到日志文件中的慢sql的示例  490116e75251bdca229c66819e54b69d.png

    三、记录慢查询日志到表

    配置:需要添加一个log_output的配置,就可以将慢查询记录到表中了

    e86267821b8962847638c6e64a887ed8.png

    mysql库下面有一个默认的slow_log表,可以直接将slow_query_log_file = slow_log,即可将慢查询日志记录到表中。  47a1a6cd060d9c9c7f9d2645def42e4a.png

    记录到的slow sql如下,可以发现sql_text是一个二进制的信息,并非原始的sql文本  6a3e3df5be6e3b3bffb7184ce216e499.png

    可以通过CONVERT函数转换一下即可。  e042f6ae7c876b5abeeb96fc28cd74a8.png

    关于慢查询记录到日志文件和表中的区别:

    • 慢查询记录到日志文件和表中,记录本身差别不大,如果是记录在表中,慢查询的执行时间信息无法精确到微妙,

    • 如果将慢查询信息记录在表中,方便查询,但因为是结构化的数据,可能会比记录在慢查询日志文件中(平面文本文件)要慢一点点(个人猜测),如果是记录到文件,需要mysqldumpslow工具解析。

    • 慢查询不记录执行失败的查询,比如long_query_time设置为10(10秒钟),一个查询超过了10秒钟,但是因为其他原因执行失败,MySQL的慢查询将无法记录此查询信息。

    往期精彩

    01 Sentinel如何进行流量监控

    02 Nacos源码编译

    03 基于Apache Curator框架的ZooKeeper使用详解

    04 spring boot项目整合xxl-job

    05 互联网支付系统整体架构详解

    关注我

    每天进步一点点

    997ebfb937dcf8efadb44f9ce809a87f.png

    喜欢!在看☟
    展开全文
  •  --查询操作日志  DBCC SQLPERF(LOGSPACE) -- 数据库 日志使用情况  DBCC log (psydbnew, type=3 )    DBCC log ( {dbid|dbname}, [, type={0|1|2|3|4}] ) 参数: Dbid or dbname - 任一数据库的ID或名字  ...

    -----获取数据字典SQL(表字段说明)
    SELECT 
        [Table Name] = OBJECT_NAME(c.object_id), 
        [Column Name] = c.name, 
        [Description] = ex.value 
    FROM 
        sys.columns c 
    LEFT OUTER JOIN 
        sys.extended_properties ex 
    ON 
        ex.major_id = c.object_id 
        AND ex.minor_id = c.column_id 
        AND ex.name = 'MS_Description' 
    WHERE 
        OBJECTPROPERTY(c.object_id, 'IsMsShipped')=0 
        -- AND OBJECT_NAME(c.object_id) = 'your_table' 
    ORDER 
        BY OBJECT_NAME(c.object_id), c.column_id
        --第二种

    SELECT 
          CASE WHEN a.colorder = 1 THEN d.name ELSE '' END AS 表名, 
          CASE WHEN a.colorder = 1 THEN isnull(f.value, '') ELSE '' END AS 表说明, 
          a.colorder AS 字段序号, a.name AS 字段名, CASE WHEN COLUMNPROPERTY(a.id, 
          a.name, 'IsIdentity') = 1 THEN '√' ELSE '' END AS 标识, 
         CASE WHEN EXISTS
               (SELECT 1
            FROM dbo.sysindexes si INNER JOIN
                   dbo.sysindexkeys sik ON si.id = sik.id AND si.indid = sik.indid INNER JOIN
                  dbo.syscolumns sc ON sc.id = sik.id AND sc.colid = sik.colid INNER JOIN
                   dbo.sysobjects so ON so.name = si.name AND so.xtype = 'PK'
             WHERE sc.id = a.id AND sc.colid = a.colid) THEN '√' ELSE '' END AS 主键, 
          b.name AS 类型, a.length AS 长度, COLUMNPROPERTY(a.id, a.name, 'PRECISION') 
          AS 精度, ISNULL(COLUMNPROPERTY(a.id, a.name, 'Scale'), 0) AS 小数位数, 
          CASE WHEN a.isnullable = 1 THEN '√' ELSE '' END AS 允许空, ISNULL(e.text, '') 
    AS 默认值, ISNULL(g.[value], '') AS 字段说明, d.crdate AS 创建时间, 
         CASE WHEN a.colorder = 1 THEN d.refdate ELSE NULL END AS 更改时间
    FROM dbo.syscolumns a LEFT OUTER JOIN
          dbo.systypes b ON a.xtype = b.xusertype INNER JOIN
          dbo.sysobjects d ON a.id = d.id AND d.xtype = 'U' AND 
          d.status >= 0 LEFT OUTER JOIN
          dbo.syscomments e ON a.cdefault = e.id LEFT OUTER JOIN
          sys.extended_properties g ON a.id = g.major_id AND a.colid = g.minor_id AND 
          g.name = 'MS_Description' LEFT OUTER JOIN
          sys.extended_properties f ON d.id = f.major_id AND f.minor_id = 0 AND 
          f.name = 'MS_Description'
    ORDER BY d.name, 字段序号


    ----表名解释
        SELECT a.Name,b.Value
         from sys.Objects as a left outer join sys.extended_properties as b on a.Object_id=b.major_id
         where a.type_desc='USER_TABLE' and a.schema_id=1 and b.minor_id=0
         
     --查询表的默认值

    if object_id('tb_test') is not null
    drop table tb_test
    Go
    create table tb_test(id int,name varchar(50) default 'abc',num int default 5)
    insert  tb_test(id) select 1 ,'222',3
          UNION ALL select 1,'FF',100
          UNION ALL select 1,'WE'
    go
    declare @tbname varchar(50)
    set @tbname='tb_test'--表名
    select @tbname as tbname,c.name as colname,
      replace(replace(replace(replace(b.[text],'(''',''),''')',''),'((',''),'))','') as defaultvalue
     from sysconstraints a 
      join syscomments b on a.constid=b.id  
      join syscolumns c on a.id=c.id and a.colid=c.colid
      where a.id=object_id(@tbname) 
        and object_name(a.constid) like '%df%'  
         

    ---获取索引数据详细信息

    SELECT 
          CASE WHEN b.keyno = 1 THEN c.name ELSE '' END AS 表名, 
          CASE WHEN b.keyno = 1 THEN a.name ELSE '' END AS 索引名称, d.name AS 列名, 
          b.keyno AS 索引顺序, CASE indexkey_property(c.id, b.indid, b.keyno, 'isdescending') 
          WHEN 1 THEN '降序' WHEN 0 THEN '升序' END AS 排序, CASE WHEN p.id IS NULL 
          THEN '' ELSE '√' END AS 主键, CASE INDEXPROPERTY(c.id, a.name, 'IsClustered') 
          WHEN 1 THEN '√' WHEN 0 THEN '' END AS 聚集, CASE INDEXPROPERTY(c.id, 
          a.name, 'IsUnique') WHEN 1 THEN '√' WHEN 0 THEN '' END AS 唯一, 
          CASE WHEN e.id IS NULL THEN '' ELSE '√' END AS 唯一约束, 
          a.OrigFillFactor AS 填充因子, c.crdate AS 创建时间, c.refdate AS 更改时间
    FROM dbo.sysindexes a INNER JOIN
          dbo.sysindexkeys b ON a.id = b.id AND a.indid = b.indid INNER JOIN
          dbo.syscolumns d ON b.id = d.id AND b.colid = d.colid INNER JOIN
          dbo.sysobjects c ON a.id = c.id AND c.xtype = 'U' LEFT OUTER JOIN
          dbo.sysobjects e ON e.name = a.name AND e.xtype = 'UQ' LEFT OUTER JOIN
          dbo.sysobjects p ON p.name = a.name AND p.xtype = 'PK'
    WHERE (OBJECTPROPERTY(a.id, N'IsUserTable') = 1) AND (OBJECTPROPERTY(a.id, 
          N'IsMSShipped') = 0) AND (INDEXPROPERTY(a.id, a.name, 'IsAutoStatistics') = 0)
    ORDER BY c.name, a.name, b.keyno

     

    --
          
     --查询操作日志
     DBCC SQLPERF(LOGSPACE)  --数据库日志使用情况
     DBCC log (psydbnew, type=3 )
       
     DBCC log ( {dbid|dbname}, [, type={0|1|2|3|4}] )
    参数: Dbid or dbname - 任一数据库的ID或名字   
    type - 输出结果的类型:   
    0 - 最少信息(operation, context, transaction id)   
    1 - 更多信息(plus flags, tags, row length)   
    2 - 非常详细的信息(plus object name, index name,page id, slot id)   
    3 - 每种操作的全部信息   
    4 - 每种操作的全部信息加上该事务的16进制信息
    SELECT *  from::fn_dblog (null, null)   
                  where operation in('LOP_INSERT_ROWS','LOP_DELETE_ROWS','LOP_MODIFY_COLUMNS')  
                  
                  
     ---自增ID 被删除后,新增数据ID保持连续性
    create table a_test (id int identity(1,1) primary key,dd char(4))
    insert a_test select '1eee'union all select 'eeee'union all select '1eee'union all select 'eeee'
    select * from a_test
    --方法1
    truncate table a_test
    --方法2
    DBCC CHECKIDENT ('a_test', RESEED, 3)
    --解释说明
    dbcc checkident ('table_name', reseed, new_reseed_value)
    /* 当前值设置为 new_reseed_value。如果自创建表后没有将行插入该表,
    则在执行 DBCC CHECKIDENT 后插入的第一行将使用 new_reseed_value 作为标识。否则,下一个插入的行将使用 new_reseed_value + 1*/
    ---自增ID 被删除后,新增数据ID保持连续性    
    --------------常用存储过程
     

    exec master.dbo.sp_help tb----获取表结构信息
    exec master.dbo.sp_helptext procname|viewname|functionname    ----获取存储过程、视图、函数等内容
    exec master.dbo.sp_stored_procedures----获取存储过程列表
    exec master.dbo.xp_availablemedia;-- 获得当前所有驱动器
    exec master.dbo.xp_subdirs 'c:'-- 获得子目录列表
    exec master.dbo.xp_dirtree 'c:'--获得所有子目录的目录树结构及对应的深度
    exec master.dbo.xp_cmdshell  ' type e:\结婚失败.txt'-- 查看某个文件的内容。
    exec master.dbo.xp_cmdshell 'dir e:\*.txt ';--查找指定驱动器盘符下 后缀是txt的文件
    exec master.dbo.xp_cmdshell  'dir e:';--获取指定驱动器下根目录的数据信息
    exec master.dbo.xp_cmdshell 'dir e:\*.txt /s ';--查找指定驱动器盘符是所有目录下 后缀是txt的文件
    exec master.dbo.xp_cmdshell 'dir e:\*.txt /s/a ';--查找指定驱动器盘符是所有目录下 后缀是txt的文件及详细信息
    exec master.dbo.xp_cmdshell 'dir e:  /s/a';--指定驱动器盘符下 每个目录存在的文件及大小、创建时间
    exec master.dbo.xp_fileexist   N'd:/Program   Files/Microsoft   SQLServer2008/MSSQL/BACKUP/psydbnew.dat' ---查询某个盘符下的文件是否存在
    exec master.dbo.sp_addumpdevice   N'disk',   N'bakdevice',   N'D:/BACKUP/bakdevice'   ----添加备份设备、
    exec master.dbo.sp_dropdevice   N'bakdevice' --删除备份设备
    exec master.dbo.sp_rename   'test.dsd','dd'   ---  更改字段名  
    select   convert(sysname,   serverproperty(N'servername'))  --得到SQL   SERVER   的服务器名  
    exec master.dbo.xp_msver   N'ProductVersion',   N'Language',   N'Platform',   N'WindowsVersion',   N'ProcessorCount',   N'PhysicalMemory'  ---得到SQL   SERVER   平台信息     
    exec master.dbo.xp_instance_regwrite   N'HKEY_LOCAL_MACHINE',   N'SOFTWARE/Microsoft/MSSQLServer/MSSQLServer',   'LoginMode',   N'REG_DWORD',   1  ---修改SQL   SERVER实例的登陆模式
      1---Windows认证模式   
      2---SQL和Windows认证模式 
    ---截断事务日志 
    backup   log   database_name   with   NO_LOG|TRUNCATE_ONLY  
    exec master.dbo.xp_instance_regwrite   N'HKEY_CURRENT_USER',   N'Software/Microsoft/MSSQLServer',   N'LastBackupFileDir',REG_SZ,   N'D:/Program   Files/Microsoft   SQLServer2008/backup/MSSQL$FANHUI/BACKUP/' --  改写备份路径

    转载于:https://www.cnblogs.com/accumulater/p/6158702.html

    展开全文
  • MySQL查询字段区不区分大小写? MySQL innodb的事务与日志的实现方式 MySQL binlog的几种日志录入格式以及区别 MySQL查询字段区不区分大小写? 答案是不区分 如何解决需要区分英文大小写的...
  • MySQL查询字段区不区分大小写?MySQL innodb的事务与日志的实现方式?MySQL查询字段区不区分大小写?答案是不区分如何解决需要区分英文大小写的场景例如登录用户为admin,此时填写ADMIN也能登录,如果用户名需要区分...
  • -- 查看mysql查询日志位置show variables like "%general_log%";-- 查看mysql记录到哪里show variables like "%log_output%";-- 设置会话变量的值 查询日志set global general_log_file='/var/run/mysqld/mysql...
  • 今日工作:今日完成Hibernate的一些练习,看了 一些Hibernate的书籍,理解一些细节。问题:使用hql查询的时候出现类型转换错误String hql = &...解决办法:Hibernate 使用查询部分字段,有三种字现方式:第一种是使...
  • mongodb查询之只查询指定字段

    千次阅读 2019-12-31 14:29:41
    从开始直接使用api去查询,到后面使用DBcursor查询,虽然效率上取得了一旦的效果,但是没有达到预期,最后打日志分析得出,其实查询本身很快了,只是在数据传输的过程中比较慢(由于数据量比较大)。 于是就有了...
  • 1 概述很多系统的日志都会放在 Kibana 供查询,就是所谓的 ELK。Kibana 除了可以使用界面供的一些 tab 或者 button 去筛选日志,也可以在搜索栏中使用Lucene的语法简单的交互式查询。可以做基于字段的特定搜索,过滤...
  • Kibana 日志查询

    2019-01-28 16:37:00
    很多系统的日志都会放在 Kibana 供查询,就是所谓的 ELK。Kibana 除了可以使用界面供的一些 tab 或者 button 去筛选日志,也可以在搜索栏中使用Lucene的语法简单的交互式查询。可以做基于字段的特定搜索,过滤数据,...
  • 遇到的是查询日志中,需要获取 json中的某些字段 需要用到的关键字 举例查询实例 {"adOrder":"WZ20200903229821","amount":"0.00","stopDate":"2020-09-03","time":30} 获取这个json串中的其中 time的值30的...
  • Mysql 各种日志查询

    2020-08-23 16:41:43
    常用的查询日志操作 mysql 查询当天、最近一天、最近一周,本月,上一个月的数据 #查询当天 select * from 表名 where to_days(时间字段名) = to_days(now()); #查询昨天 SELECT * FROM 表名 WHERE TO_DAYS( NOW( )...
  • sql中查询日志表中的数据通过表中的某个字段中的某个值进行筛选SQL select * from sys_log where params like ‘%值%’ and ROWNUM <= 10 ORDER BY create_date desc;
  • 开局一张图这张图是重点!!!咱要先对MySQL有一个宏观的了解,知道...2.在正式查询之前,服务器会检查查询缓存,如果能找到对应的查询,则不必进行查询解析,优化,执行等过程,直接返回缓存中的结果集。3.MySQL的...
  • 会发现随着表中记录的增多,查询的速度也会也来越慢,特别是那种日志记录,少则几十万,多则上百万,甚至上千万数据,如果查询一次耗时太长,会严重影响业务逻辑,这时候可以考虑给经常作为条件的字段添加索引了...
  • nginx的log_format日志格式和字段介绍

    万次阅读 2020-08-27 14:45:01
    nginx中access_log记录日志是可以自定义格式的,通过自定义格式,一方面供我们更方便的查询请求,另外还可以做统计,接口访问速度分析等。 语法: log_format name format [format ...] 例如nginx中默认的格式...
  • 数据敏感字段的修改往往需要记录操作日志,例如客户表中的姓名、身份证等信息,需要系统记录下修改记录,方便以后溯源。 准备工作: 1、在白码低代码开发平台创建一个数据表,根据各自需求添加若干个字段,并准备...
  • Greenplum错误信息日志查询

    千次阅读 2019-08-22 10:49:09
    [Greenplum错误信息日志查询] 关于错误信息的查询与解决。 最近工作经常遇到导入信息失败或者是导入后少了。 如图采集日志显示这个报表有778条错误信息。 初期猜测是oracle库采集到 greenplum库数据字段类型不正确...
  • EFK日志系统采集日志时,采集时间和日志真正生成的时间会有差异,开发一般需要根据日志真正的生成时间在kibana中进行查询 2.解决方案 将收集到的日志的时间抽取出来,替换默认的@timestamp字段(将@timestamp字段...
  • 任务:crm日志查询条件 每次是哪几个字段查,有几种组合 ,统计每种组合查询的量 日志样例: 1 132.xxx.xx.x - - [2017-09-28 16:01:45] "GET /REST/HTableService?appId=crmyun&partition=2017&query...
  • <div><p>一期计划: <ul><li>[x] 修改查询权限部分的代码, 把instance_name改为id</li><li>[x] ...- [ ] 查询日志 - [x] 脱敏字段 - [x] RDS配置信息 <h1>67</h1><p>该提问来源于开源项目:hhyo/Archery</p></div>
  • 我通过日志发现前端查询字段值为空时,竟然被当作一个条件,因为后端采用的mybatis-plus,通过官网我找到了一个配置mybatis-plus:global-config:db-config:select-strategy: not_empty然后再测试一遍发现好使了。...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 1,279
精华内容 511
关键字:

日志查询字段