精华内容
下载资源
问答
  • logback 日志输出格式

    2021-03-09 19:29:29
    下面为大家共享一下通过设置logback日志输出格式,打印出令人欣喜的日志样式。一、未指定日志格式,日志输出1、代码实现(1)演示日志输出控制器/** Copyright (c) 2019. zhanghan_java@163.com All Rights Reserv...

    前言

    日志对一个系统的重要性不言而喻;日志通常是在排查问题时给人看,一个友好的输出样式让人看到后赏心悦目,排查效率通常也会随之提高;下面为大家共享一下通过设置logback日志输出格式,打印出令人欣喜的日志样式。

    一、未指定日志格式,日志输出

    1、代码实现

    (1)演示日志输出控制器

    /*

    * Copyright (c) 2019. zhanghan_java@163.com All Rights Reserved.

    * 项目名称:实战SpringBoot

    * 类名称:CheckMobileController.java

    * 创建人:张晗

    * 联系方式:zhanghan_java@163.com

    * 开源地址: https://github.com/dangnianchuntian/springboot

    * 博客地址: https://zhanghan.blog.csdn.net

    */

    package com.zhanghan.zhboot.controller;

    import com.mysql.jdbc.StringUtils;

    import com.zhanghan.zhboot.controller.request.MobileCheckRequest;

    import com.zhanghan.zhboot.properties.MobilePreFixProperties;

    import com.zhanghan.zhboot.util.wrapper.WrapMapper;

    import com.zhanghan.zhboot.util.wrapper.Wrapper;

    import io.swagger.annotations.Api;

    import io.swagger.annotations.ApiOperation;

    import org.slf4j.Logger;

    import org.slf4j.LoggerFactory;

    import org.springframework.beans.factory.annotation.Autowired;

    import org.springframework.validation.annotation.Validated;

    import org.springframework.web.bind.annotation.RequestBody;

    import org.springframework.web.bind.annotation.RequestMapping;

    import org.springframework.web.bind.annotation.RequestMethod;

    import org.springframework.web.bind.annotation.RestController;

    import java.util.HashMap;

    import java.util.Map;

    @RestController

    @Api(value = "校验手机号控制器", tags = {"校验手机号控制器"})

    public class CheckMobileController {

    private static Logger logger =

    LoggerFactory.getLogger(CheckMobileController.class);

    @Autowired

    private MobilePreFixProperties mobilePreFixProperties;

    @ApiOperation(value = "优雅校验手机号格式方式", tags = {"校验手机号控制器"})

    @RequestMapping(value = "/good/check/mobile", method =

    RequestMethod.POST)

    public Wrapper goodCheckMobile(@RequestBody @Validated MobileCheckRequest

    mobileCheckRequest) {

    logger.info("good check mobile param {}",

    mobileCheckRequest.toString());

    String countryCode = mobileCheckRequest.getCountryCode();

    String proFix = mobilePreFixProperties.getPrefixs().get(countryCode);

    if (StringUtils.isNullOrEmpty(proFix)) {

    logger.error("good check mobile param is error; param is {}, profix is {}",

    mobileCheckRequest.toString(), proFix);

    return WrapMapper.error("参数错误");

    }

    String mobile = mobileCheckRequest.getMobile();

    Boolean isLegal = false;

    if (mobile.startsWith(proFix)) {

    isLegal = true;

    }

    Map map = new HashMap();

    map.put("mobile", mobile);

    map.put("isLegal", isLegal);

    map.put("proFix", proFix);

    return WrapMapper.ok(map);

    }

    @ApiOperation(value = "扩展性差校验手机号格式方式", tags = {"校验手机号控制器"})

    @RequestMapping(value = "/bad/check/mobile", method =

    RequestMethod.POST)

    public Wrapper badCheckMobile(@RequestBody MobileCheckRequest

    mobileCheckRequest) {

    logger.info("bad check mobile param {}",

    mobileCheckRequest.toString());

    String countryCode = mobileCheckRequest.getCountryCode();

    String proFix = "";

    if (countryCode.equals("CN")) {

    proFix = "86";

    } else if (countryCode.equals("US")) {

    proFix = "1";

    } else {

    无锡看妇科的医院 http://www.ytsgfk120.com/

    logger.error("bad check mobile param is error; param is {}, profix is {}",

    mobileCheckRequest.toString(), proFix);

    return WrapMapper.error("参数错误");

    }

    String mobile = mobileCheckRequest.getMobile();

    Boolean isLegal = false;

    if (mobile.startsWith(proFix)) {

    isLegal = true;

    }

    Map map = new HashMap();

    map.put("mobile", mobile);

    map.put("isLegal", isLegal);

    map.put("proFix", proFix);

    return WrapMapper.ok(map);

    }

    }

    2、项目部署服务器后访问打印日志的效果

    二、指定日志格式,日志输出

    1、代码实现

    (1)演示日志输出控制器(同上)

    (2)在项目的resources目录下增加logback.xml设置打印格式,logback.xml内容如下:

    %d{yyyy-MM-dd HH:mm:ss} %highlight(%-5level)

    %green([${LOG_HOME},%X{X-B3-TraceId:-},%X{X-B3-SpanId:-},%X{X-Span-Export:-}])

    %magenta(${PID:-}) %white(---) %-20(%yellow([%20.20thread]))

    %-55(%cyan(%.32logger{30}:%L)) %highlight(- %msg%n)

    UTF-8

    ${LOG_PATH}/${appName}-log-console-%d{yyyy-MM-dd}.%i.log.zip

    ${maxSaveDays}

    ${maxFileSize}

    %d{yyyy-MM-dd HH:mm:ss} %highlight(%-5level)

    %green([${LOG_HOME},%X{X-B3-TraceId:-},%X{X-B3-SpanId:-},%X{X-Span-Export:-}])

    %magenta(${PID:-}) %white(---) %-20(%yellow([%20.20thread]))

    %-55(%cyan(%.32logger{30}:%L)) %highlight(- %msg%n)

    UTF-8

    ${LOG_PATH}/${appName}-log-info-%d{yyyy-MM-dd}.%i.log.zip

    ${maxSaveDays}

    ${maxFileSize}

    %d{"yyyy-MM-dd

    HH:mm:ss,SSS"}[%X{userId}|%X{sessionId}][%p][%c{0}-%M]-%m%n

    UTF-8

    ERROR

    DENY

    ACCEPT

    ${LOG_PATH}/${appName}-log-error-%d{yyyy-MM-dd}.%i.log.zip

    ${maxSaveDays}

    ${maxFileSize}

    %d{"yyyy-MM-dd

    HH:mm:ss,SSS"}[%X{userId}|%X{sessionId}][%p][%c{0}-%M]-%m%n

    UTF-8

    ERROR

    ACCEPT

    DENY

    level="INFO"/>

    3、项目部署服务器后访问打印日志的效果

    4、查看日志记录文件,效果也一样,效果图:

    三、项目地址

    1、地址:https://github.com/dangnianchuntian/springboot

    2、代码版本:1.5.0-Release

    【总结】

    1、通过设定日志格式,输出的样式更加人性化,错误也更加明显;

    2、这个小小的改变,使得在排查程序时更加的赏心悦目,心情上的开心将在无形中增加排错的效率。

    展开全文
  • 每个map都有一个环形的内存缓冲区,用于任务输出,默认缓冲区大小为100MB(由参数io.sort.mb调整),一旦缓冲区内容达到阈值(默认0.8),后台进程边开始把内容写到磁盘(spill),在写磁盘过程中,map输出继续被写...

    展开全部

    可以只用一行代码来运行MapReduce作业:JobClient.runJon(conf),Job作业运62616964757a686964616fe78988e69d8331333433626464行时参与的四个实体:

    1.JobClient 写代码,配置作业,提交作业。

    2.JobTracker:初始化作业,分配作业,协调作业运行。这是一个java程序,主类是JobTracker。

    3.TaskTracker:运行作业划分后的任务,即分配数据分配上执行Map或Reduce任务。

    4.HDFS:保存作业数据、配置信息等,保存作业结果。

    Map/Reduce 作业总体执行流程:

    代码编写 ----> 作业配置  ---->  作业提交 ----> Map任务分配和执行 ----> 处理中间结果 ---->  Reduce任务分配与执行 ---->  输出结果

    而对于每个作业的执行,又包含:

    输入准备 ----> 任务执行 ----> 输出结果

    作业提交JobClient:

    JobClient的runJob方法产生一个Jobclient实例并调用其submitJob方法,然后runJob开始循环吗,并在循环中调用getTaskCompetionEvents方法,获得TaskCompletionEvent实例,每秒轮询作业进度(后面有介绍进度和状态更新),把进度写到控制台,作业完成后显示作业计数器,若失败,则把错误记录到控制台。

    submitJob方法作业提交的过程:

    1.向JobTracker请求一个新的JobId。

    2.检查作业相关路径,如果路径不正确就会返回错误。

    3.计算作业输入分片及其划分信息。

    4.将作业运行需要的资源(jar文件、配置文件等)复制到Shared HDFS,并

    复制多个副本(参数控制,默认值为10)供tasktracker访问,也会将计算的分片复制到HDFS。

    5.调用JobTracker对象的submitJob()方法来真正提交作业,告诉JobTracker作业准备执行。

    作业的初始化JobTracker:

    JobTracker收到submitJob方法调用后,会把调用放入到一个内部队列,由作业调度器(Job scheduler)进行调度并对其初始化。Job初始化即创建一个作业对象。

    当作业被调度后,JobTracker会创建一个代表这个作业的JobInProgress对象,并将任务和记录信息封装在这个对象中,以便跟踪任务状态和进程。

    初始化过程就是JobInProgress对象的initTasks方法进行初始化的。

    初始化步骤:

    1.从HDFS中读取作业对应的job.split信息,为后面的初始化做好准备。

    2.创建并初始化map和reduce任务。根据数据分片信息中的个数确定map task的个数,然后为每个map task生成一个TaskInProgress对象来处理数据分片,先将其放入nonRunningMapCache,以便JobTracker分配任务的时候使用。接下来根据JobConf中的mapred.reduce.tasks属性利用setNumReduceTasks()方法设置reduce task的数量,然后同map task创建方式。

    3.最后就是创建两个初始化task,进行map和reduce的初始化。

    任务的分配JobTracker:

    消息传递HeartBeat: tasktracker运行一个简单循环定期发送心跳(heartbeat)给JobTracker。由心跳告知JobTracker自己是否存活,同时作为消息通道传递其它信息(请求新task)。作为心跳的一部分,tasktracker会指明自己是否已准备好运行新的任务,如果是,jobtracker会分配它一个任务。

    分配任务所属于的作业:在Jobtracker分配任务前需先确定任务所在的作业。后面会介绍到各种作业调度算法,默认是一个FIFO的作业调度。

    分配Map和Reduce任务:tasktracker有固定数量的任务槽,一个tasktracker可以同时运行多个Map和Reduce任务,但其准确的数量由tasktracker的核的数量和内存大小决定。默认调度器会先填满Map任务槽,再填Reduce任务槽。jobtracker会选择距离离分片文件最近的tasktracker,最理想情况下,任务是数据本地化(data-local)的,当然也可以是机架本地化(rack-local),如果不是本地化的,那么他们就需要从其他机架上检索数据。Reduce任务分配很简单,jobtracker会简单的从待运行的reduce任务列表中选取下一个来执行,不用考虑数据本地化。

    任务的执行TaskTracker:

    TaskTracker收到新任务后,就要在本地运行任务了,运行任务的第一步就是通过localizedJob将任务本地化所需要的注入配置、数据、程序等信息进行本地化。

    1.本地化数据:从共享文件系统将job.split 、job.jar (在分布式缓存中)复制本地,将job配置信息写入job.xml。

    2.新建本地工作目录:tasktracker会加压job.jar文件到本工作目录。

    3.调用launchTaskForJob方法发布任务(其中会新建TaskRunner实例运行任务),如果是Map任务就启用MapTaskRunner,对于Reduce就是ReduceTaskRunner。

    在这之后,TaskRunner会启用一个新的JVM来运行每个Map/Reduce任务,防止程序原因而导致tasktracker崩溃,但不同任务间重用JVM还是可以的,后续会讲到任务JVM重用。

    对于单个Map,任务执行的简单流程是:

    1.分配任务执行参数

    2.在Child临时文件中添加map任务信息(Child是运行Map和Reduce任务的主进程)

    3.配置log文件夹,配置map任务的通信和输出参数

    4.读取input split,生成RecordReader读取数据

    5.为Map生成MapRunnable,依次从RecordReader中接收数据,并调用Map函数进行处理。

    6.最后将map函数的输出调用collect收集到MapOutputBuffer(参数控制其大小)中。

    Streaming和Pipes:

    Streaming和Pipes都运行特殊的Map和Reduce任务,目的是运行用户提供的可执行程序并与之通信。

    Streaming:使用标准输入输出Streaming与进程进行通信。

    Pipes:用来监听套接字,会发送一个端口号给C++程序,两者便可建立链接。

    进度和状态更新:

    一个作业和它的任务都有状态(status),其中包括:运行成功失败状态、Map/Reduce进度、作业计数器值、状态消息。

    状态消息与客户端的通信:

    1.对于Map任务Progress的追踪:progress是已经处理完的输入所占的比例。

    2.对于Reduce:稍复杂,reduce任务分三个阶段(每个阶段占1/3),复制、排序和Reduce处理,若reduce已执行一半的输入的话,那么任务进度便是1/3+1/3+1/6=5/6。

    3.任务计数器:任务有一组计数器,负责对任务运行各个事件进行计数。

    4.任务进度报告:如果任务报告了进度,便会设置一个标记以表明状态将被发送到tasktracker。有一个独立线程每隔三秒检查一次此标记,如果已设置,则告知tasktracker当前状态。

    5.tasktracker进度报告:tasktracker会每隔5秒(这个心跳是由集群大小决定,集群越大时间会越长)发送heartbeat到jobtracker,并且tasktracker运行的所有状态都会在调用中被发送到jobtracker。

    6.jobtracker合并各任务报告:产生一个表明所有运行作业机器所含任务状态的全局视图。

    前面提到的JobClient就是通过每秒查询JobTracker来接收最新状态,而且客户端JobClient的getJob方法可以得到一个RunningJob的实例,其包含了作业的所以状态信息。

    作业的完成:

    当jobtracker收到作业最后一个任务已完成的通知后,便把作业状态设置成成功。JobClient查询状态时,便知道任务已成功完成,于是JobClient打印一条消息告知用户,然后从runJob方法返回。

    如果jobtracker有相应设置,也会发送一个Http作业通知给客户端,希望收到回调指令的客户端可以通过job.end.notification.url属性来进行设置。

    jobtracker情况作业的工作状态,指示tasktracker也清空作业的工作状态,如删除中间输出。

    失败

    实际情况下,用户的代码存在软件错误进程会崩溃,机器也会产生故障,但Hadoop能很好的应对这些故障并完成作业。

    1.任务失败

    子任务异常:如Map/Reduce任务中的用户代码抛出异常,子任务JVM进程会在退出前向父进程tasktracker发送错误报告,错误被记录用户日志。tasktracker会将此次task attempt标记为tailed,并释放这个任务槽运行另外一个任务。

    子进程JVM突然退出:可能由于JVM bug导致用户代码造成的某些特殊原因导致JVM退出,这种情况下,tasktracker会注意到进程已经退出,并将此次尝试标记为failed。

    任务挂起:一旦tasktracker注意一段时间没有收到进度更新,便会将任务标记为failed,JVM子进程将被自动杀死。任务失败间隔时间通常为10分钟,可以以作业或者集群为基础设置过期时间,参数为mapred.task.timeout。注意:如果参数值设置为0,则挂起的任务永远不会释放掉它的任务槽,随着时间的推移会降低整个集群的效率。

    任务失败尝试次数:jobtracker得知一个tasktracker失败后,它会重新调度该任务执行,当然,jobtracker会尝试避免重新调度失败过的tasktracker任务。如果一个任务尝试次数超过4次,它将不再被重试。这个值是可以设置的,对于Map任务,参数是mapred.map.max.attempts,对于reduce任务,则由mapred.reduce.max.attempts属性控制。如果次数超过限制,整个作业都会失败。当然,有时我们不希望少数几个任务失败就终止运行的整个作业,因为即使有些任务失败,作业的一些结果可能还是有用的,这种情况下,可以为作业设置在不触发作业失败情况下的允许任务失败的最大百分比,Map任务和Reduce任务可以独立控制,参数为mapred.max.map.failures.percent 和mapred.max.reduce.failures.percent。

    任务尝试中止(kill):任务终止和任务失败不同,task attempt可以中止是因为他是一个推测副本或因为它所处的tasktracker失败,导致jobtracker将它上面的所有task attempt标记为killed。被终止的task attempt不会被计入任务运行尝试次数,因为尝试中止并不是任务的错。

    2.tasktracker失败

    tasktracker由于崩溃或者运行过慢而失败,他将停止向jobtracker发送心跳(或很少发送心跳)。jobtracker注意已停止发送心跳的tasktracker(过期时间由参数mapred.tasktracker.expiry.interval设置,单位毫秒),并将它从等待调度的tasktracker池中移除。如果是未完成的作业,jobtracker会安排次tasktracker上已经运行成功的Map任务重新运行,因为此时reduce任务已无法访问(中间输出存放在失败的tasktracker的本地文件系统上)。

    即使tasktracker没有失败,也有可能被jobtracker列入黑名单。如果tasktracker上面的失败任务数量远远高于集群的平均失败任务次数,他就会被列入黑名单,被列入黑名单的tasktracker可以通过重启从jobtracker黑名单中移除。

    3.jobtracker失败

    老版本的JobTracker失败属于单点故障,这种情况下作业注定失败。

    作业调度:

    早期作业调度FIFO:按作业提交顺序先进先出。可以设置优先级,通过设置mapred.job.priority属性或者JobClient的setJobPriority()方法制定优先级(优先级别:VERY_HIGH,HIGH,NORMAL,LOW,VERY_LOW)。注意FIFO调度算法不支持抢占(preemption),所以高优先级作业仍然会被那些已经开始的长时间运行的低优先级作业所阻塞。

    Fair Scheduler:目标是让每个用户公平地共享集群能力。当集群存在很多作业时,空闲的任务槽会以”让每个用户共享集群“的方式进行分配。默认每个用户都有自己的作业池。FairScheduler支持抢占,所以,如果一个池在特定的一段时间未得到公平地资源共享,它会终止池中得到过多的资源任务,以便把任务槽让给资源不足的池。FairScheduler是一个后续模块,使用它需要将其jar文件放在Hadoop的类路径下。可以通过参数map.red.jobtracker.taskScheduler属性配置(值为org.apache.hadoop.mapred.FairScheduler)

    Capacity Scheduler:

    集群由很多队列组成,每个队列都有一个分配能力,这一点与FairScheduler类似,只不过在每个队列内部,作业根据FIFO方式进行调度。本质上说,Capacity Scheduler允许用户或组织为每个用户模拟一个独立使用FIFO的集群。

    shuffle和排序:

    MapReduce确保每个Reducer的输入都是按键排序的。系统执行排序的过程-将map输出作为输入传给reducer的过程称为shuffle。shuffle属于不断被优化和改进的代码库的一部分,从许多方面来看,shuffle是MapReduce的心脏。

    整个shuffle的流程应该是这样:

    map结果划分partition  排序sort 分割spill   合并同一划分   合并同一划分  合并结果排序 reduce处理 输出

    Map端:

    写入缓冲区:Map函数的输出,是由collector处理的,它并不是简单的将结果写到磁盘。它利用缓冲的方式写到内存,并处于效率的考虑进行预排序。每个map都有一个环形的内存缓冲区,用于任务输出,默认缓冲区大小为100MB(由参数io.sort.mb调整),一旦缓冲区内容达到阈值(默认0.8),后台进程边开始把内容写到磁盘(spill),在写磁盘过程中,map输出继续被写到缓冲区,但如果缓冲区被填满,map会阻塞知道写磁盘过程完成。写磁盘将按照轮询方式写到mapred.local.dir属性制定的作业特定子目录中。

    写出缓冲区:collect将缓冲区的内容写出时,会调用sortAndSpill函数,这个函数作用主要是创建spill文件,按照key值对数据进行排序,按照划分将数据写入文件,如果配置了combiner类,会先调用combineAndSpill函数再写文件。sortAndSpill每被调用一次,就会写一个spill文件。

    合并所有Map的spill文件:TaskTracker会在每个map任务结束后对所有map产生的spill文件进行merge,merge规则是根据分区将各个spill文件中数据同一分区中的数据合并在一起,并写入到一个已分区且排序的map输出文件中。待唯一的已分区且已排序的map输出文件写入最后一条记录后,map端的shuffle阶段就结束了。

    在写磁盘前,线程首先根据数据最终要传递到的reducer把数据划分成响应的分区(partition),在每个分区中,后台线程按键进行内排序,如果有一个combiner,它会在排序后的输出上运行。

    内存达到溢出写的阈值时,就会新建一个溢出写文件,因为map任务完成其最后一个输出记录之后,会有几个溢出写文件。在任务完成前,溢出写文件会被合并成一个已分区且已排序的输出文件。配置属性io.sort.facor控制一次最多能合并多少流,默认值是10。

    如果已经指定combiner,并且写次数至少为3(通过min.mum.spills.for.combine设置)时,则combiner就会在输出文件写到磁盘之前运行。运行combiner的意义在于使map输出更紧凑,舍得写到本地磁盘和传给reducer的数据更少。

    写磁盘时压缩:写磁盘时压缩会让写的速度更快,节约磁盘空间,并且减少传给reducer的数据量。默认情况下,输出是不压缩的,但可以通过设置mapred.compress.map.output值为true,就可以启用压缩。使用的压缩库是由mapred.map.output.compression.codec制定。

    reducer获得文件分区的工作线程:reducer通过http方式得到输出文件的分区,用于文件分区的工作线程数量由tracker.http.threads属性指定,此设置针对的是每个tasktracker,而不是每个map任务槽。默认值为40,在大型集群上此值可以根据需要而增加。

    Reduce端:

    复制阶段:reduce会定期向JobTracker获取map的输出位置,一旦拿到输出位置,reduce就会从对应的TaskTracker上复制map输出到本地(如果map输出很小,则会被复制到TaskTracker节点的内存中,否则会被让如磁盘),而不会等到所有map任务结束(当然这个也有参数控制)。

    合并阶段:从各个TaskTracker上复制的map输出文件(无论在磁盘还是内存)进行整合,并维持数据原来的顺序。

    Reduce阶段:从合并的文件中顺序拿出一条数据进行reduce函数处理,然后将结果输出到本地HDFS。

    Map的输出文件位于运行map任务的tasktracker的本地磁盘,现在,tasktracker要为分区文件运行reduce任务。每个任务完成时间可能不同,但是只要有一个任务完成,reduce任务就开始复制其输出,这就是reduce任务的复制阶段(copy phase)。reduce任务有少量复制线程,因此能够并行取得map输出。默认值是5个线程,可以通过mapred.reduce.parallel.copies属性设置。

    Reducer如何得知从哪个tasktracker获得map输出:map任务完成后会通知其父tasktracker状态已更新,tasktracker进而通知(通过heart beat)jobtracker。因此,JobTracker就知道map输出和tasktracker之间的映射关系,reducer中的一个线程定期询问jobtracker以便获知map输出位置。由于reducer有可能失败,因此tasktracker并没有在第一个reducer检索到map输出时就立即从磁盘上删除它们,相反他会等待jobtracker告示它可以删除map输出时才删除,这是作业完成后最后执行的。

    如果map输出很小,则会被直接复制到reduce tasktracker的内存缓冲区(大小由mapred.job.shuffle.input.buffer.percent控制,占堆空间的百分比),否则,map输出被复制到磁盘。一旦内存缓冲区达到阈值大小(由mapred.iob.shuffle.merge.percent)

    或达到map输出阈值大小(mapred.inmem.threadhold),则合并后溢出写到磁盘中。

    随着磁盘上副本增多,后台线程会将他们合并为更大的、排好序的文件。注意:为了合并,压缩的map输出必须在内存中被解压缩。

    排序阶段:复制阶段完成后,reduce任务会进入排序阶段,更确切的说是合并阶段,这个阶段将合并map输出,维持其顺序排列。合并是循环进行的,由合并因子决定每次合并的输出文件数量。但让有可能会产生中间文件。

    reduce阶段:在最后reduce阶段,会直接把排序好的文件输入reduce函数,不会对中间文件进行再合并,最后的合并即可来自内存,也可来自磁盘。此阶段的输出会直接写到文件系统,一般为hdfs。

    细节:这里合并是并非平均合并,比如有40个文件,合并因子为10,我们并不是每趟合并10个,合并四趟。而是第一趟合并4个,后三趟合并10,在最后一趟中4个已合并的文件和余下6个未合并会直接并入reduce。

    展开全文
  • 前面学习了log4j以及log4j2 java日志控制,通过配置可以实现java日志的输出级别,输出位置,输出格式等日志控制,甚至可通过配置控制不同java类的日志输出方式。在大型web系统中,这些基本的日志控制可能还是不够的...

    前面学习了log4j以及log4j2 java日志控制,通过配置可以实现java日志的输出级别,输出位置,输出格式等日志控制,甚至可通过配置控制不同java类的日志输出方式。在大型web系统中,这些基本的日志控制可能还是不够的。由于日志输出是非常耗费资源的事情,特别在大型应用特定场景中。所以一般情况下只做warn或者只做error级别的日志输出。然而,我们可能需要更加精细的日志控制,比如说想控制每一个方法的输出级别,同时想在打印错误日志的时候把某一个方法的输入参数也打印出来,以便更方便的查找问题的所在。本文将介绍通过配置文件和AOP技术控制方法级别的日志输出。

    先看LogActive日志类:

    package com.lf.testLog4j.aop;

    import com.google.gson.Gson;

    import com.lf.testLog4j.Util.PropertiesUtil;

    import com.lf.testLog4j.common.CommonLogUtil;

    import com.lf.testLog4j.domain.ConfigLog;

    import org.apache.commons.lang.StringUtils;

    import org.apache.logging.log4j.LogManager;

    import org.apache.logging.log4j.Logger;

    import org.aspectj.lang.JoinPoint;

    import java.util.HashMap;

    import java.util.Map;

    import java.util.Properties;

    /**

    * Created by lufei3 on 2015/7/14.

    */

    public class LogActive {

    private static final Logger logger = LogManager.getLogger(LogActive.class);

    //前切入方法,该方法会在所有切入点之前执行。

    public void before(JoinPoint jp){

    //从配置文件读取配置信息

    Properties prop = PropertiesUtil.getProperties("/ConfigCenter.properties");

    Map map = new HashMap((Map) prop);

    Gson gson = new Gson();

    ConfigLog configLog = null;

    String cName = jp.getThis().toString();

    Object[] args = jp.getArgs(); //获得切入点参数列表

    String className = cName.substring(cName.lastIndexOf(".")+1,cName.lastIndexOf("@"));

    String methodName = jp.getSignature().getName(); //获得方法名

    String key = className + "." + methodName;

    //获取配置信息

    String configValue = map.get(key);

    try {

    configLog = gson.fromJson(configValue,ConfigLog.class);

    } catch (Exception e) {

    logger.error("Gson Format Exception!! logLevel:{}",configValue);

    e.printStackTrace();

    return;

    }

    if(configLog == null) {

    return;

    }

    //通过配置信息控制日志输出

    String logLevel = configLog.getLevel();

    int offset = configLog.getOn();

    if(StringUtils.isBlank(logLevel)){

    logger.warn("method:{} log not config", key);

    return;

    }

    if(CommonLogUtil.isInfoEnable(logLevel,offset)) {

    logger.info("====Method:{};", key);

    if(args.length <=0){

    logger.info("===={}方法没有参数", methodName);

    } else{

    for(int i=0; i

    logger.info("====参数 {}:{} ", (i + 1), args[i]);

    }

    }

    }

    }

    public void after(){

    logger.info("调用完毕!!");

    }

    }

    下面看具体配置信息ConfigCenter.properties:

    TestLogAOP.test={"level":"TRACE","on":0}

    TestLogAOP.test2={"level":"TRACE","on":1}

    配置说明执行test()方法的日志开关是0,即不打印日志;test2方法的日志级别是trace,开关为1,即可以打印trace级别的日志。而trace比info级别高,所以在LogActive 方法里info级别的日志是可以打印的。而如果level为warn或者error则info级别的日志就不会输出。

    CommonLogUtil类是用来确定是否可以输出info级别的日志:

    package com.lf.testLog4j.common;

    /**

    * Created by lufei3 on 2015/7/20.

    */

    public class CommonLogUtil {

    public static boolean isInfoEnable(String logLevel,int offset) {

    if (offset == 1&&(logLevel.equalsIgnoreCase(LogLevelEnum.INFO_LEVEL.getLogLevel())

    ||logLevel.equalsIgnoreCase(LogLevelEnum.DEBUG_LEVEL.getLogLevel())

    ||logLevel.equalsIgnoreCase(LogLevelEnum.TRACE_LEVEL.getLogLevel()))){

    return true;

    }

    return false;

    }

    }

    Spring配置如下:

    xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:aop="http://www.springframework.org/schema/aop"

    xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans.xsd http://www.springframework.org/schema/aop http://www.springframework.org/schema/aop/spring-aop.xsd"

    default-autowire="byName">

    TestLogAOP类:

    package com.lf.testLog4j.service;

    import org.springframework.stereotype.Component;

    /**

    * Created by lufei3 on 2015/7/14.

    */

    @Component

    public class TestLogAOP {

    public void test(){

    System.out.println("测试类的test方法被调用");

    }

    public void test2() {

    System.out.println("测试2的方法被调用!");

    }

    }

    最后main方法:

    package com.lf.testLog4j;

    import com.lf.testLog4j.service.TestLogAOP;

    import org.springframework.beans.factory.annotation.Autowired;

    import org.springframework.context.ApplicationContext;

    import org.springframework.context.support.ClassPathXmlApplicationContext;

    /**

    * Created by lufei3 on 2015/7/14.

    */

    public class LogAOPMain {

    @Autowired

    public static void main(String... args) {

    ApplicationContext act = new ClassPathXmlApplicationContext("spring/spring-config.xml");

    TestLogAOP testLogAOP = (TestLogAOP) act.getBean("testLogAOP");

    testLogAOP.test();

    testLogAOP.test2();

    }

    }

    输出:

    测试类的test方法被调用

    13:43:35.673 [main] INFO com.lf.testLog4j.aop.LogActive - 调用完毕!!

    13:43:35.713 [main] INFO com.lf.testLog4j.aop.LogActive - ====Method:TestLogAOP.test2;

    13:43:35.713 [main] INFO com.lf.testLog4j.aop.LogActive - ====test2方法没有参数

    测试2的方法被调用!

    13:43:35.714 [main] INFO com.lf.testLog4j.aop.LogActive - 调用完毕!!

    可以看出日志根据配置文件打印了TestLogAOP.test2方法调用前后的日志输出。

    展开全文
  • 在执行MR任务时,mapper和reducer都正常运行,但是hdfs输出文件为空。(任务是关于MR执行排序任务的) 数据如下: 排查经历 1.查看core-site.xml是不是路径(hadoop.tmp.dir属性)配置错误了,导致数据放错了位置。...

    问题提出

    1.输出空文件之前遇到过ArrayIndexOutOfBoundsException->数组越界的错误,解决也很简单:加上判断语句 。其实当时是有些怀疑是不是读取数据错误了,但是考虑可能是最后一行空值数据被读到了导致出现的这个错误,就没往下想。
    2).在执行MR任务时,mapper和reducer都正常运行,但是hdfs输出文件为空。(任务是关于MR执行排序任务的)
    数据如下:
    在这里插入图片描述

    排查经历

    1.查看core-site.xml是不是路径(hadoop.tmp.dir属性)配置错误了,导致数据放错了位置。然而 不是
    2.因为没有报错所以排除了是集群的问题。然后就是考虑的是可能程序错误了,但是一直没有发现错误。期间也尝试过重写输入文本,重写MR程序,重新打包等操作。
    3.注意到了命令行MR程序执行结束后留下的信息:
    在这里插入图片描述

    Mapper的输出为空(Map output records=0)
    这说明错误完全是出现在mapper阶段
    尝试使用了程序经典的输出语句标志位,但是因为没找到它的输出,就暂时放弃了。本来想使用hadoop本地模式运行MR并使用Debug的方式查找错误的,感觉有些复杂就舍弃了。最后网上查询了如何查看MR程序的println输出(方法末尾附上)后,发现了问题。
    这里需要查看logs文件(如果添加了历史服务器,则可以直接查看历史服务器的map任务,找到最新执行的任务,查看logs文件。没有则见最后查询logs日志的方法)
    println输出结果如下:
    在这里插入图片描述
    可以发现得到的每一行数据都没有问题但是得到的数组长度始终为1,说明map任务中的split函数(以“\t”拆分)并没有将数据拆分。查看输入文件发现,间距很小。怀疑是间隔符的问题。但是在vim编辑输入文件时发现确实\t间距就是很小。多次尝试之后,发现结果:
    vim编辑器并不很好适应所有外部文件复制的\t,很可能将其看为空格了。如果出现这种情况要么将数据拿出来使用记事本重新添加\t再复制到vim编辑器中,要么直接使用vim编辑器将间隔修改为\t
    修改结束后:MR任务正常运行
    Map输出如下:
    在这里插入图片描述
    MR运行结果如下:
    在这里插入图片描述

    小结

    1.重点学会看logs日志文件,从日志文件中我们可以发现很多错误,也可以很好帮助我们解决问题。
    2.遇到错误的时候,先考虑自己翻译下错误,不要忙着找文章看是什么错误(之前我就是…),比如数组越界异常ArrayIndexOutOfBoundsException,翻译过来就很好理解错误在哪里了。
    3.使用好MR程序添加println输出的tip,可以提示自己那些位置出错了,快速反应。

    补充查看日志

    有历史服务器(JobHistoryServer)的:
    找到最新执行完的MR程序点击history查看
    1.
    在这里插入图片描述

    在这里插入图片描述
    3.
    在这里插入图片描述
    4.
    在这里插入图片描述
    向下翻就可以找到我们添加的输出结果,如果不想使用本地的集群运行模式通过debug找错的,可以使用这个方法。
    无历史服务器的:
    打开hdfs web界面,打开/tmp/logs/目录找到用户的最新log文件,如图:

    在这里插入图片描述
    将文件下载下来搜索stdout,一直下一个就可找到相应的输出结果:
    在这里插入图片描述

    展开全文
  • 分别调用框架自己的方法来输出日志信息。 2. 绑定slf4j一起使用。调用slf4j的api来输入日志信息,具体使用与底层日志框架无关(需要底层框架的配置文件) 简单来说,logback是一个日志框架,而slf4j封装了很多日志...
  • log4j自定义日志输出

    2021-02-28 19:01:09
    import java.io.ByteArrayOutputStream;import java.io....import java.util.Map;import org.apache.log4j.Logger;import org.apache.log4j.PropertyConfigurator;/****/public class LogUtil {private sta...
  • ViseLog 日志系统,使用森林对象维护不同的日志树进行日志输出,可以是Logcat树、文件树等,支持Bundle、Intent、Reference、Throwable、Map、Collection、JSON、Xml等格式化的输出。项目引用:compile '...
  • 在不同的情况下,日志记录器都预先配置为使用控制台输出,同时还提供可选的文件输出。默认情况下,SpringBoot使用Logback进行日志记录。日志级别有(从高到低):FATAL(致命),ERROR(错误),WARN(警告),INFO(信息)...
  • 使用python简单模拟日志输出 使用模块:datetime–>日期模块,类似Java里的calendar作用,主要用于日期与字符串之间相互转换,time–>日期和时间戳的相互转换,random–>随机数,math–>四舍五入 代码...
  • 文章目录前言其他类型的规范日志输出过多日志无脑打印批量打印日志中带方法讲故事其他基本要求 前言 做Java开发的,大多数可能都有看过阿里的Java后台开发手册,里面有关于Java后台开发规范的一些内容,基本覆盖了...
  • 把每个请求的请求信息以及返回值信息输出控制台或者是日志文件中,在开发或者是测试环境中,方便定位错误。 首先,在ruoyi-admin 这个module的application.yml配置文件中添加下面的内容,方便控制输出哪些内容。 ...
  • 使用log4j配置不同文件输出不同内容 敲代码中很不注意写日志,虽然明白很重要.今天碰到记录日志,需要根据内容分别输出到不同的文件. 参考几篇文章: 感觉最详细:http://blog.csdn.net/azheng270/article/ ... log4j...
  • 我们开发程序的时候,好多人都喜欢用sysout输出内容来查看运行情况。但是在MR程序里写了之后,却不知道去哪里查找,可以参考这篇文章。第一种方法,我们可以在MapReduce任务查看页面找到这些日志1.在MapReduce任务...
  • 1.hadoop项目日志输出级别首先了解log4j的基本知识,参考之前的博客。对于hadoop来说,日志很繁杂。对于输出日志的级别,首先查看hadoop的日志文件log4j.properties log4j.rootLogger=${hadoop.root.logger}, ...
  • Tez-之log日志内容解析

    2021-05-12 21:44:13
    Tez-之log日志内容解析 参考网站: https://stackoverflow.com/questions/39115712/map-reduce-logs-on-hive-tez/39144600#39144600 ...tez的日志中的内容代表什么含义呢? INFO
  • 在消费端有一个单线程消费这些 LogEvent 写入对应的 Appender,假设我们这里只有一个 Appender,其配置是将所有日志输出到一个文件: 异步日志 logger 配置为(配置 includeLocation 为 false,避免每次打印日志需要...
  • class java.lang.NullPointerException json日志输出效果 {"project":"log-demo","timestamp":"2020-11-24T19:40:57,433+0800","log_level":"INFO","thread":"http-nio-8080-exec-1","class_name":...
  • 原文:http://blog.csdn.net/smile326/article/details/522182641.场景需求后台攻城狮和前端攻城狮一起开发时,经常...好吧,就是这样的一种情况,然后我希望让他们自己去看后台日志,而又不想给他们登陆服务器的权...
  • ELK Stack日志系统 ELK 是三个开源软件的缩写,提供一套完整的企业级日 志平台解决方案。 分别是: • Elasticsearch:搜索、分析和存储数据 • Logstash :采集日志、格式化、过滤,最后将数据推送到Elastic...
  • Spring Boot 日志配置方法(超详细)

    千次阅读 2020-12-20 23:53:13
    默认日志 Logback :默认...从上图可以看到,日志输出内容元素具体如下:时间日期:精确到毫秒日志级别:ERROR, WARN, INFO, DEBUG or TRACE进程ID分隔符:— 标识实际日志的开始线程名:方括号括起来(可能会截断控...
  • (1)Hadoop系统服务输出日志; (2)Mapreduce程序输出来的日志(应用程序日志)。 这两类的日志存放的路径是不一样的。本文基于Hadoop 2.x版本进行说明的,其中有些地方在Hadoop 1.x中是没有的,请周知。 一、...
  • 日志统一输出到页面 <pre id="logs"></pre> configureLogging(document.getElementById("logs")); function configureLogging(logs) { function log(level, messages) { const text = messages ...
  • 由于本人不定期会整理相关博文,会对相应内容作出完善。因此强烈建议在原始出处查看此文。 输出流的顺序怎么无法改变 一个视频文件,常规地,会将视频流放在第一个位置,其次将音频流放到第二个位置。对于一些特殊的...
  • 在方法级别的java日志输出控制(一)这篇文章中主要讨论了通过properties配置文件以及AOP技术批量控制方法级别的日志输出。用properties配置文件的好处是不用更改程序即可控制日志的输出,然而大型的应用通常是分布式...
  • 为了减少应用服务器对磁盘的读写,以及可以集中日志在一台机器上,方便使用ELK收集日志信息,所以考虑做一个jar包,让应用集中输出日志网上搜了一圈,只发现有人写了个程序在github本来打算引用一下这个jar就完事了,没...
  • ORACLE常用命令日志

    2021-05-08 04:19:07
    第一章:日志管理1.forcing log switchessql> alter system switch logfile;2.forcing checkpointssql> alter system checkpoint;3.adding online redo log groupssql> alter database add logfile [group ...
  • Spring Boot 日志配置(超详细)

    千次阅读 2021-01-15 12:17:19
    image.png默认日志 Logback:默认情况下,Spring Boot会用Logback来记录日志,并用INFO级别输出到控制台。在运行应用程序和其他例子时,你应该已经看到很多INFO级别的日志了。从上图可以看到,...
  • 目标:根据启动jar时传进main()的参数动态修改日志位置一、修改启动项MainMapLookup.setMainArguments(args);注:不要在lookup设置之前初始化log(如:private static final Logger log = LoggerFactory.getLogger...
  • } } else if (isMap(parameterObjectClass)) { // 如果参数是Map则直接强转,通过map.get(key)方法获取真正的属性值 // 这里主要是为了处理、、、时传入parameterType为map的场景 Map paramMap = (Map) parameter...
  • 目标:根据启动jar时传进main()的参数动态修改日志位置一、修改启动项MainMapLookup.setMainArguments(args);注:不要在lookup设置之前初始化log(如:private static final Logger log = LoggerFactory.getLogger...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 113,134
精华内容 45,253
关键字:

日志输出map内容