精华内容
下载资源
问答
  • 【阿里云日志】查询指南
    千次阅读
    2020-12-11 15:45:21

    阿里云日志存储查询

    一、基本简介

    阿里云日志的作用?日志服务(Log Service,简称SLS)是针对日志类数据的一站式服务,无需开发就能快捷完成日志数据采集、消费、投递以及查询分析等功能,提升运维、运营效率,建立DT时代海量日志处理能力。
    日志如何采集
    如上就是简答的日志如何采集的描述,本片文章主要介绍如何查询日志,所以基础功能就不过多的赘述。

    我们有了海量的日志,呢么我们该怎么去分析查询这些日志呢?
    日志服务提供大规模日志的实时查询与分析能力。接下来我们就从简至繁简介一下如何查询并且分析你所想要的数据。

    二、查询简介

    阿里云日志系统的查询语句中包含了查询语句|分析语句,每个语句中必须要要有查询语句,分析语句可选。

    1. 简单查询开始:
      查询分析图标最基础的语句:* | SELECT Request_method, COUNT(*) as number GROUP BY Request_method LIMIT 10
      |之前的是查询语句,*代表查询全表的数据
      |之后的语句是分析语句,相当于sql查询,分析出你所想要的数据类型以及格式,上述的分析语句所查询的是SELECT 请求模式, Count(*) as number GROUP BY 请求模式 LIMIT 10,是不是很简单?和原生的sql差不多?

      查询出的表如下:在这里插入图片描述

    2. 稍微复杂的查询:
      接下来我们看个稍微复杂点的图标是如何通过sqk查询出来的
      * | select time_series(__time__, '1m', '%H:%i:%s' ,'0') as Time, count(1) as PV, approx_distinct(IP) as UV group by Time order by Time limit 100
      不多说直接分析了:
      * | 日期格式化 , count(1) as PV, approx_distinct(IP) as UV group by Time order by Time limit 100
      涉及到的分析函数:
      select time_series(__time__, '1m', '%H:%i:%s' ,'0') 日期格式
      approx_distinct(x) 估算x列的唯一值的个数,,相当于去重操作

      PV代表时间段请求的总和,UV代表时间段中不重复的ip
      在这里插入图片描述

    3. 如何展开一个字段中的JSON
      如图,字段重的json如何取出来呢?在这里插入图片描述
      第一步:需要格式化这个json,将string转化为json格式(json_parse(properties)
      第二步:如何取出json中keyjson_extract_scalar(json_parse(properties), '$.username')
      参考文档:JSON函数 文档

    4. 如何将埋点的参数作为可控的数据操作
      第一步:cast(json_parse(properties) AS map(varchar, varchar))将所有的聚合条件的json中k-v转化为集合格式(这里注意一点,key和value的格式需要一致,否则map无法转化格式)
      第二步:unnest(cast(json_parse(properties) AS map(varchar, varchar))) AS t(a, b)将map集合中的k-v分别展开,所有的key存在a列,所有的value存在b列
      第三步:查询语句 | SELECT a, b from log, unnest(cast(json_parse(properties) AS map(varchar, varchar))) AS t(a, b)

    模拟查询出来的结果如下,接下来所有的操作就和sql一样了,针对a, b 的筛选聚合都可以操作了:
    在这里插入图片描述
    参考文档:类型转换

    更多相关内容
  • 华为云日志服务LTS详细介绍.pdf
  • 阿里云日志服务 react native SDK
  • 【阿里云】阿里云日志查询语法

    千次阅读 2021-06-08 10:14:16
    阿里云日志查询语法入门

    前言 本博客你可以看到什么?

    查询语法全文参考官方文档:点击查看

    由于阿里的官方文档对查询和分析的案例相当匮乏,导致很多函数只能猜测用法,这种不断试错的过程是在是浪费时间,并且浪费精力!所以我打算写一篇关于阿里云查询的案例,由简入深的案例分析,希望对大家有所帮助。

    一、查询语法

    1. 查询所有的日志

    *:代指所有日志

    2. 精确查询

    业务:我们想对每条日志中的uuid进行筛选查询,则只需要指定字段
    * and uuid:7dfc7e6b-9562-4c8a-9018-f085855f22ae

    3. 模糊查询

    业务:需要查询同一网段下的ip的日志情况,我们则可以使用模糊查询去匹配
    * and ip:172.25.*

    4. 查询关键词

    常用的关键词andor·、not
    业务:查询ip为192.168.1.1,或者ip为192.168.1.0,并且日期不等于2021-08-09
    * and ip:116.19.125.98 or ip:1.29.101.106 not time = '2021-06-08'


    查询语法其实很简单,只需要对日志进行大的筛选即可,无需对日志进行复杂的分析,阿里云的日志不在于此,精髓就在于分析,分析语法比较诡异,和关系型数据库SQL有点像,但又不完全相同,其实思想是一样的,可以用SQL的思想去分析需要分析的结构。

    二、分析语法

    1、聚合函数

    参考文档:聚合函数
    聚合函数相对于传统的数据库丰富不少,使用方法基本一致

    1. count 聚合

      * | SELECT ip, count(*) from log group by ip
      
    2. count_if 聚合
      统计满足指定条件的日志条数

      -- ip 满足这个条件 '192.168.%'  才进行统计
      * | SELECT ip, count_if(ip like '192.168.%') from log group by ip
      
    3. max 聚合

      -- 对每天进行分组,取最后访问的时间 (date_format后续章节会说到)
      * | SELECT max(time) from log group by (date_format(time, '%Y-%m-%d'))
      
    4. max_by 聚合
      max_by(KEY_01,KEY_02) :返回KEY_02为最大值时对应的KEY_01值。

      -- 统计 最后访问的ip
      * | SELECT max_by(ip, time) from log 
      

    2、字符串函数

    参考文档:字符串函数

    1. split分割字符串
      -- 按照空格拆分,拆分两个attr
      * | SELECT split(time, ' ', 2) as x from log 
      
      在这里插入图片描述
    2. lower 转小写
      * | SELECT lower(source) from log 
      
    3. 去除空格
      trim:删除字符串中开头和结尾的空格。
      ltrim:删除字符串中开头的空格。

    3、时间函数

    1. 格式化日期
      date_format(timestamp,format)
      * | SELECT date_format(time, '%Y-%m-%d') from log 
      
      在这里插入图片描述
    2. 计算时间差
      date_diff:一般这个函数主要用于计算两个时间差,一般用于join时比对时间的方法,后续到join章节会有说明,这里不过多赘述

    4、JSON函数

    本章节是重点,因为日志中最纠结的地方如何拆分json,对json中的数据进行分析。

    1. 步骤一:json_parse(properties)
      转化为阿里可识别的JSON类型

      *  | select json_parse(properties) from log
      

      在这里插入图片描述

    2. 步骤二:使用cast()函数转换数据类型
      转化为map(varchar,varchar)类型,这里必须是同一数据类型,否则无法进行后续查询

      *  | select cast(json_parse(properties) AS map(varchar,varchar)) from log
      

      在这里插入图片描述

    3. 步骤三:unnest(特殊格式的日志字段进行查询分析)

      在复杂的业务场景下,日志数据的某一列可能会是较为复杂的格式,例如数组(array)、对象(map)、JSON等格式。对这种特殊格式的日志字段进行查询分析,可以使用unnest语法。

      -- 将map类型转化为 x,y 列
      筛选条件 | SELECT x,y FROM log, unnest( cast(json_parse(properties) AS map(varchar,varchar)) ) AS t(x,y)
      

      在这里插入图片描述

    4. 步骤四:对x,y,log的进行查询分析,后续分析就是和正常sql一样,x,y中的数据可以随意查询分组,可以满足大部分的负责的查询需求了。

    5、unnest语法

    参考官方文档:unnest语法 官方讲的比较清楚,具体案例解析json已经讲解了,这里就不过多赘述了

    6、窗口函数

    参考我之前的博客:开窗函数

    1. rank() OVER 在窗口内,按照某一列排序,返回在窗口内的序号

      日志筛选关键词  |	SELECT 	ip, 
      						time,
      						user_id, 
      						rank() OVER (PARTITION BY user_id ORDER BY time DESC) AS rnk
      				FROM log
      

      关键rank() OVER (PARTITION BY user_id ORDER BY time DESC) AS rnk (表示查询的结果集按照user_id聚合,并且按照time升序进行排序,rnk是分组后的排序序号,同等级rnk一致)
      解析:rank()是一个聚合函数,可以使用分析语法中的任何函数,也可以使用本文档列出的函数。PARTITION BY 是值按照哪些桶进行计算。
      在这里插入图片描述

    2. row_number
      row_number() OVER (PARTITION BY user_id ORDER BY time DESC) AS rnk (返回在窗口内的行号)
      在这里插入图片描述

    3. first_value
      first_value(time) OVER (PARTITION BY user_id ORDER BY time DESC) AS rnk (返回窗口内第一time的值)
      在这里插入图片描述

    三、怎么查去哪查

    如上就是阿里云存储的基本查询指南,掌握这些,基本可以应对大部分的日志分析查询方法了!
    其实大部分的语法和sql十分类似,核心问题就是如何将字段的json展开是个大问题,只要会展开,其他的都是小kiss。
    如果是相对复杂的join查询也是可以的,只不过写起来不美观,可以参考官方文档来学习剩下的查询分析语法。

    展开全文
  • 阿里云日志配置告警

    2021-06-12 12:48:23
    所以我们后面就把日志服务迁移到阿里云日志服务上,可以查询、分析日志也可以配置相对应的告警功能。 配置告警功能 一、创建用户和用户组 用户和用户组的作用是告警通知的对象,下面是创建步骤。 登录阿里云,选择...

    背景

    我所在的公司目前用的是ELK日志查询,但是用ELK都是出了问题我们开发人员上去查询对应的报错日志最后解决问题。但是出了问题我们开发人员要怎么知道的,只能通过业务人员反馈才能知道。所以我们后面就把日志服务迁移到阿里云日志服务上,可以查询、分析日志也可以配置相对应的告警功能。可以在业务发现问题前解决相对应的问题。

    配置告警功能

    一、创建用户和用户组

    用户和用户组的作用是告警通知的对象,下面是创建步骤。

    1. 登录阿里云,选择日志服务
    2. 在Project区域中选择你想要配置的目标Project
    3. 在左侧导航栏中选择告警
    4. 打开告警中心,选择告警管理>用户管理
      在这里插入图片描述

    点击用户管理,开始创建用户:
    在这里插入图片描述

    创建完用户之后,我们开始创建用户组,然后把用户添加到用户组内。
    在这里插入图片描述

    二、配置日志告警信息

    1. 选择日志存储,在日志库中选择目标Logstore
    2. 在页面右上角选择另存为告警>新版告警(公测中)
      在这里插入图片描述

    在告警规则面板配置相对应的信息,然后点击确定

    在这里插入图片描述
    在这里插入图片描述

    三、查看告警触发记录

    1. 告警中心页面,选择告警管理>监控规则中心
    2. 告警监控规则最新评估状态区域,查看已执行的告警监控规则

    在这里插入图片描述

    在这里插入图片描述

    以上就是阿里云日志服务的告警配置过程,我演示的是告警到手机,正常应该是告警到相对应的群,然后@所有人。

    PS:告警配置信息演示的是最简单的,正常配置告警信息都是要结合正则表达式和SQL分析一起做才能达到一个更佳的效果。

    总结

    以前就用习惯ELK,这次迁移到阿里云日志服务,多少还是有点懵。还好阿里云有相关的文档可以供我学习,最后一步步搭建起来。写这篇的目的只是记录一下我的踩坑之路,作为笔记,方便以后遇到类似的问题可以查看。

    参考文档

    展开全文
  • 接入腾讯日志平台

    一、准备环境

    • CentOS
    • SpringBoot应用程序
    • 腾讯云账号
    • 本文接入SpringBoot的logback日志,格式为单行文本格式日志

    二、接入步骤

    1. 开通腾讯云日志服务

    在这里插入图片描述

    2. 新建日志主题

    点击日志主题,新建主题。按自己的需求填写日志主题的名称。
    在这里插入图片描述
    在这里插入图片描述

    3. 在要采集的机器安装采集服务 LogListener

    目前LogListener仅支持64位 Linux操作系统。
    安装命令:

    # 下载及安装
    wget https://mirrors.tencent.com/install/cls/loglistener-linux-x64-2.6.5.tar.gz  
    tar -zxvf loglistener-linux-x64-2.6.5.tar.gz -C /usr/local 
    cd /usr/local/loglistener-2.6.5/tools 
    ./loglistener.sh install
    # 初始化参数
    ./loglistener.sh init -secretid AKIDPEtPyKabfW8Z3Uspdz83xxxxxxxxxxxx -secretkey whHwQfjdLnzzCE1jIf0xxxxxxxxxxxx -region ap-xxxxxx -network internet
    # 启动LogListener
    /etc/init.d/loglistenerd start
    
    

    这里要获取secretid、secretkey信息,可以在腾讯云平台->产品->管理与审计->访问密钥处获取。

    4. 其它一些LogListener命令:

    ## 1. 查看 LogListener 版本
    /etc/init.d/loglistenerd -v
    ## 2. 查看 LogListener 帮助文档
    /etc/init.d/loglistenerd -h
    ## 3. LogListener 进程管理
    /etc/init.d/loglistenerd (start|restart|stop) # 启动、重启、停止
    ## 4. 查看 LogListener 进程状态
    /etc/init.d/loglistenerd status
    # LogListener 正常情况会运行两个进程:
    
    ## 5. 检查 LogListener 心跳及配置
    /etc/init.d/loglistenerd check
    
    ## 6. 卸载 LogListener
    # 以管理员权限执行 loglistener/tools 目录下的卸载命令:
    ./loglistener.sh uninstall
    
    ## 7. 手动更新 LogListener
    ### 复用断点文件(不会重复采集日志):
    ### 使用停止命令停止运行旧版本的 LogListener。
    ### 备份旧版本中的断点文件目录(loglistener/data)。例如,将旧版的断点文件备份至/tmp/loglistener-backup目录下。
    cp -r loglistener-2.2.3/data /tmp/loglistener-backup/
    ### 使用卸载命令卸载旧版本的 LogListener。
    ### 下载最新版本的 LogListener,并使用相关命令安装和初始化新版本 LogListener。
    ### 复制所备份的断点文件目录(步骤2)到新版本 LogListener 目录下。
    cp -r /tmp/loglistener-backup/data loglistener-<version>/
    ### 请根据实际情况替换 <version>,例如:
    cp -r /tmp/loglistener-backup/data loglistener-2.2.8/
    ### 使用启动命令启动运行新版本 LogListener。
    ### 不复用断点文件(可能会重复采集日志):
    ### 使用停止命令停止运行旧版本的 LogListener。
    ### 使用卸载命令卸载旧版本的 LogListener。
    ### 下载最新版本的 LogListener,并使用相关命令安装和初始化新版本 LogListener。
    ### 使用启动命令启动运行新版本 LogListener。
    

    5. 到腾讯云平台配置机器组

    有相同采集需求的机器可以放到同一个机器组。
    在这里插入图片描述

    6. 采集配置日志目录

    在这里插入图片描述

    7. 索引设置

    可以先简单设置全文索引。

    三、问题排查

    如果没有日志上来,可以从下面几点排查。

    1. 到机器组列表,查看机器组的心跳状态是否正常。没有日志上来通常心跳状态会有殿堂。
    2. 检查loglistener是否正常运行,使用 /etc/init.d/loglistenerd check 诊断。如果服务运行异常,则检查安装配置。 如果已经正常运行,则进行下一步排查。
    3. 使用命令 grep group_ip etc/loglistener.conf 检查机器组IP与获取的IP是否一致。二者要保持完全一致。

    四、查询日志

    在检索分析界面进行查询操作。

    整体上感觉腾讯云的日志服务比起阿里云接入方式少一些、使用界面也简单一些,以后再慢慢摸索。

    展开全文
  • Palo Alto Networks创新云日志服务.pdf
  • 关于阿里云日志服务使用教程详细内容:阿里云日志服务使用教程 产品架构: 日志服务的架构如下图所示: Logtail 帮助您快速收集日志的Agent。其特点如下所示: 基于日志文件、无侵入式的收集日志 只读取文件...
  • 阿里云日志服务sls的典型应用场景

    千次阅读 2022-04-22 16:41:12
    日志服务的典型应用场景包括:数据采集与消费、数据清洗与流计算 (ETL/Stream Processing)、数据仓库对接(Data Warehouse)、日志实时查询与分析。 云起实验室日志服务体验(活动期完成有机会参与100%中奖):...
  • 1、application.yml中日志文件配置如下: logging: config: classpath:logback-spring.xml 2、logback-spring.xml中日志输出配置如下: <configuration scan="true" scanPeriod="60 seconds"> <...
  • 阿里云日志服务使用教程

    千次阅读 2019-09-13 11:33:40
    日志服务(Log Service,简称 Log)是针对日志类数据的一站式服务,在阿里巴巴集团经历大量大数据场景锤炼而成。您无需开发就能快捷完成日志数据采集、消费、投递以及查询分析等功能,提升运维、运营效率,建立 DT ...
  • 记录几条阿里云日志服务里的查询sql 万一以后还用的上呢 * AND requestURL : sendReportNotificationSMS | SELECT COUNT(*) as number from prod-error // sendReportNotificationSMS每天16点少于200 * | select ...
  • Log4j整合阿里云日志服务

    千次阅读 2019-03-28 09:56:36
    ### 日志级别 ERROR > WARN > INFO > DEBUG ### # 优先采用slf4j获取log 所有的第三方jar都不太想看到输出日志,但是error的级别以上的需要 # private static final Logger logger = LoggerFactory....
  • 阿里云日志服务器—-logtail部署使用

    千次阅读 2020-03-20 10:45:01
    公司有2台window服务器,需要收集日志,到阿里云日志服务器中进行监控,需求如下: 1,需要监控2台windows服务器。 2,监控用户的登录,登出,以及文件操作(主要是增加,删除) 需求分析: 1,window日志类型分析 ...
  • 阿里 日志服务接入

    千次阅读 2019-01-16 14:14:47
    目前项目中都有用到日志记录,一般会存到本地,但是时间长了,去删除也是很麻烦的,阿里云日志服务 是个不错的选择 可分为两种,自动采集和自动上传到云 1.写文件到本地,然后配置,让阿里云自动采集 LogHub 支持...
  • 之前调研打算使用Spark Streaming来消费阿里云日志服务SLS的日志,具体的架构实现见之前的博客,大概流程就是使用Flume去收集阿里云日志服务SLS的数据,把采集到的数据sink到Kafka,最后Spark Streaming来消费。...
  • cloud-webapp:云日志Web应用程序
  • 阿里云日志服务操作流程

    千次阅读 2018-12-06 10:09:50
    技术白,前段时间用到阿里日志服务,请教朋友外加自己折腾,暂时搞定,所以对操作流程大概做一个简单的记录。 1、开通日志服务  开启服务后,选择一即参考 五分钟快速入门,选择二即接着往下看我的2 2、添加...
  • 使用阿里云日志服务来分析日志

    千次阅读 2017-02-09 11:23:21
    在此我就以阿里云日志服务,给我带来的便利给大家做一个分享:一,在使用阿里云的日志服务之前,我分析日志的方法是这样婶儿的,如下图。 通过rsyslog把服务器上的日志汇总到另外一台机器上,...
  • 阿里云日志报警

    千次阅读 2018-03-13 16:47:53
    这里简单介绍下基于阿里云日志服务的报警设置1:首先通过loghub输出到阿里云日志服务2:基于日志服务这里简单介绍两种报警 2.1:基于阿里云本身提供的报警设置 2.1.1:进入需要查询的标签页面,在输入框输入查询语句。...
  • thinkphp5引用阿里云日志服务sdk

    千次阅读 2018-12-20 21:58:05
    1,下载阿里云日志sdk,地址 2,下载完成后,把文件夹改个名字(因为原文件夹名字太长了-_-|),比如aliyun_log,并放到vendor目录下 3,用tp的vendor函数引入,然后按照阿里云给的例子写就行了 4,阿里云原文地址,...
  • 阿里云日志服务使用步骤

    千次阅读 2018-01-19 16:18:32
    阿里可收集分布式实时日志 安装Logtail 详情地址: https://help.aliyun.com/document_detail/28982.html?spm=5176.2020520112.116.d11.7dfb432ayQ8yUu ECS经典网络 cd /Data/Software wget ...
  • 阿里SLS服务Ruby SDK 简单日志服务(Simple Log Service,简称SLS) 是针对日志收集、存储和查询的平台化服务。服务提供各种类型日志的实时收集,平台化存储及实时查询海量的日志。并可以将日志归档至ODPS,以利用...
  • log4j2日志接入阿里云日志服务

    千次阅读 2018-07-26 09:48:00
    阿里云的Log4j2 Appender 是基于Java Producer开发,可以控制日志的输出目的地为阿里云日志服务,写到日志服务中的日志的样式如下:   level: ERROR location: ...
  • 由于项目要用的日志方面的东西,之前使用log4j一直无法输出log,可能是由于jar包中含有其他配置信息,导致我的配置文件无法生效,这次索性使用log4j2去生成日志. 配置按照网上的来: 1、pom.xml中去除spring-boot-...
  • 使用阿里云日志服务

    千次阅读 2016-11-17 10:50:01
    阿里云日志服务
  • 阿里云日志系统的外部数据源external store的php api示例,比阿里云文档更详细!
  • 阿里云日志服务(SLS)SDK混淆规则

    千次阅读 2019-01-17 11:13:39
    阿里云日志的github项目说明里并未展示怎样混淆   release编译发现使用了fastjson和greendao。   # greenDAO -keepclassmembers class * extends org.greenrobot.greendao.AbstractDao { public static java...
  • 阿里云日志服务基础

    千次阅读 2016-04-29 17:07:54
    阿里云日志服务使用

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 182,465
精华内容 72,986
关键字:

云日志