精华内容
下载资源
问答
  • 修改Spark日志级别

    2019-01-08 10:08:12
    7、修改Spark日志级别   7.1、永久修改  从我们运行的 spark 程序运行的情况来看,可以看到大量的 INFO 级别的日志信息。淹没了 我们需要运行输出结果。可以通过修改 Spark 配置文件来 Spark 日志级别。  ...

    7、修改Spark的日志级别

     

    7.1、永久修改 

    从我们运行的 spark 程序运行的情况来看,可以看到大量的 INFO 级别的日志信息。淹没了 我们需要运行输出结果。可以通过修改 Spark 配置文件来 Spark 日志级别。 

    以下是详细步骤: 

    第一步:先进入 conf 目录

    [hadoop@hadoop05 conf]$ cd $SPARK_HOME/conf 
     
    第二步:准备 log4j.properties

    [hadoop@hadoop05 conf]$ cp log4j.properties.template log4j.properties 
     
    第三步:配置日志级别:

    把 INFO 改成你想要的级别:主要有 ERROR, WARN, INFO, DEBUG 几种 

     

    展开全文
  • Spark有多种方式设置日志级别,这次主要记录一下如何在Spark-submit设置Spark日志级别,本文介绍三种方式 需求 因为Spark的日志级别默认为INFO(log4j.rootCategory=INFO, console),这样在运行程序的时候有很多我不...

    1. Spark设置日志级别

    前言

    Spark有多种方式设置日志级别,这次主要记录一下如何在Spark-submit设置Spark日志级别,本文介绍三种方式

    需求

    • 因为Spark的日志级别默认为INFO(log4j.rootCategory=INFO, console),这样在运行程序的时候有很多我不需要的日志信息都打印出来了,看起来比较乱,比较烦,抓不住重点,而我只想把warn和error打印出来。
    • 之前在测试环境或者在IDEA我是通过其他几种方式(下面会介绍)设置的,但是在生产环境下不允许我修改集群的配置文件(不是我负责~),而在代码里设置日志级别却不生效(原因还没找到),最后通过spark-submit里设置日志级别搞定的。

    1.1 Spark-sumbit设置日志级别, Spark job 独立的log4j配置方法

    1.1.1 Linux命令如下

    spark-submit \
    --conf "spark.driver.extraJavaOptions=-Dlog4j.configuration=file:log4j.properties"
    

    或者

    spark-submit \
    --conf "spark.driver.extraJavaOptions=-Dlog4j.configuration=file:/log4j.xml" 
    

    这里的log4j配置可以是 log4j.properties 或者 log4j.xml ,没有限制
    其中log4j.properties/xml为我将本地的日志文件,拷贝到执行spark-submit的机器上

    1.1.2 Spark job 独立的log4j配置方法详解

    • spark中提供了log4j的方式记录日志。可以在**$SPARK_HOME/conf/下,将 log4j.properties.template 文件copy为 log4j.properties 来启用log4j配置。但这个配置为全局配置, 不能单独配置某个job的运行日志。如下介绍spark (streaming) job独立配置**的log4j的方法。

    • 设置方法
      spark job提交时可以在 --conf 中配置log4j.configuration 参数来指定log4j 配置文件,例如:

    spark-submit \
    --conf "spark.driver.extraJavaOptions=-Dlog4j.configuration=file:/log4j.xml" 
    

    (这里的log4j配置可以是 log4j.properties 或者 log4j.xml ,没有限制)

    • 配置示例
      例如使用xml格式配置文件:
    <?xml version="1.0" encoding="UTF-8"?>
    <!DOCTYPE log4j:configuration SYSTEM "log4j.dtd">
    <log4j:configuration xmlns:log4j='http://jakarta.apache.org/log4j/' >
    
        <appender name="FILE" class="org.apache.log4j.DailyRollingFileAppender">
            <param name="file" value="${log_name}.log" />
            <param name="threshold" value="INFO"/>
            <param name="DatePattern" value="yyyyMMdd"/>
            <param name="append" value="true" />
            <layout class="org.apache.log4j.PatternLayout">
                <param name="ConversionPattern" value="%d [%t] %-5p %c(%L) - %m%n"/>
            </layout>
        </appender>
    
        <root>
        //指出日志级别
            <priority value ="INFO"/>
            <appender-ref ref="FILE"/> 
        </root>
    </log4j:configuration> 
    

    对于<param name="file" value="${log_name}.log" >可以写死一个log路径,也可以在代码中做设置,例如设置log名字为myLog,可以在Logger初始化之前 设置: System.setProperty(“log_name”, “myLog”);

    1.2 修改集群配置文件

    cd $SPARK_HOME/conf 
    cp log4j.properties.template log4j.properties
    vim log4j.properties
    

    将log4j.rootCategory=INFO, console改为log4j.rootCategory=WARN, console

    1.3 在IDEA里设置

    • 将log4j.properties放在项目的src/main/resources即可
    • 代码里配置
    spark.sparkContext.setLogLevel("WARN")
    

    在这里插入图片描述

    2. 总结Spark三种设置日志级别方式

    • 如果在自己的测试集群上, 直接修改$Spark_HOME/conf下的log4j.properties即可
    • 如果在IDEA里,将log4j.properties放在项目的src/main/resources即可
    • 如果在生产环境的集群,又不允许修改配置文件的话,用上面的spark-submit --conf即可
    展开全文
  • Spark日志级别修改

    2018-01-20 19:36:00
    摘要 在学习使用Spark的过程中,总是想对内部运行过程作深入的了解,其中DEBUG和...调整Spark日志级别的配置文件是$SPARK_HOME/conf/log4j.properties,默认级别是INFO,如果曾经将其改为DEBUG的朋友可能会有这样...

    摘要

    在学习使用Spark的过程中,总是想对内部运行过程作深入的了解,其中DEBUGTRACE级别的日志可以为我们提供详细和有用的信息,那么如何进行合理设置呢,不复杂但也绝不是将一个INFO换为TRACE那么简单。

    主要问题

    调整Spark日志级别的配置文件是$SPARK_HOME/conf/log4j.properties,默认级别是INFO,如果曾经将其改为DEBUG的朋友可能会有这样的经历,有用的信息还没看完,就被大量的心跳检测日志给淹没了。

    解决办法

    只将需要的日志级别调整为_TRACE_,而将心跳检测类的设置为_INFO_级别以上,避免干扰。

    log4j.properties示范

     # Set everything to be logged to the console
       log4j.rootCategory=INFO, console
       log4j.appender.console=org.apache.log4j.ConsoleAppender
       log4j.appender.console.target=System.err
       log4j.appender.console.layout=org.apache.log4j.PatternLayout
       log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n
    
       # Settings to quiet third party logs that are too verbose
       log4j.logger.org.eclipse.jetty=WARN
       log4j.logger.org.eclipse.jetty.util.component.AbstractLifeCycle=ERROR
       log4j.logger.org.apache.spark.repl.SparkIMain$exprTyper=INFO
       log4j.logger.org.apache.spark.repl.SparkILoop$SparkILoopInterpreter=INFO
       log4j.logger.org.apache.spark.sql.SQLContext=TRACE
       log4j.logger.org.apache.spark.sql.catalyst.analysis.Analyzer=TRACE
       log4j.logger.org.apache.spark=TRACE
       log4j.logger.org.apache.spark.storage.BlockManagerMasterActor=WARN
       log4j.logger.org.apache.spark.HeartbeatReceiver=WARN
       log4j.logger.org.apache.spark.scheduler.local.LocalActor=WARN

     

    转载于:https://www.cnblogs.com/itboys/p/8321718.html

    展开全文
  • Spark修改控制台日志级别

    千次阅读 2019-07-26 22:59:56
    Spark修改控制台日志级别一、修改conf/log4j.properties二、重启集群 INFO日志过多不易于观察错误和执行结果,需要调整日志输出级别。 一、修改conf/log4j.properties cp log4j.properties.template log4j....

    Spark修改控制台日志级别


    INFO日志过多不易于观察错误和执行结果,需要调整日志输出级别。

    在这里插入图片描述

    一、修改conf/log4j.properties

    cp log4j.properties.template log4j.properties
    vi log4j.properties
    

    log4j.rootCategory=INFO, console
    修改为:
    log4j.rootCategory=WARN, console

    # Set everything to be logged to the console
    log4j.rootCategory=WARN, console
    log4j.appender.console=org.apache.log4j.ConsoleAppender
    log4j.appender.console.target=System.err
    log4j.appender.console.layout=org.apache.log4j.PatternLayout
    log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n
    
    # Set the default spark-shell log level to WARN. When running the spark-shell, the
    # log level for this class is used to overwrite the root logger's log level, so that
    # the user can have different defaults for the shell and regular Spark apps.
    log4j.logger.org.apache.spark.repl.Main=WARN
    
    # Settings to quiet third party logs that are too verbose
    log4j.logger.org.spark_project.jetty=WARN
    log4j.logger.org.spark_project.jetty.util.component.AbstractLifeCycle=ERROR
    log4j.logger.org.apache.spark.repl.SparkIMain$exprTyper=INFO
    log4j.logger.org.apache.spark.repl.SparkILoop$SparkILoopInterpreter=INFO
    log4j.logger.org.apache.parquet=ERROR
    log4j.logger.parquet=ERROR
    
    # SPARK-9183: Settings to avoid annoying messages when looking up nonexistent UDFs in SparkSQL with Hive support
    log4j.logger.org.apache.hadoop.hive.metastore.RetryingHMSHandler=FATAL
    log4j.logger.org.apache.hadoop.hive.ql.exec.FunctionRegistry=ERROR
    

    二、重启集群

    spark-sql效果如下:
    在这里插入图片描述
    spark-shell效果如下:
    在这里插入图片描述
    效果完美。

    注:代码做如下修改

    SparkSession.builder.getOrCreate().sparkContext.setLogLevel("WARN")
    

    喜欢就点赞评论+关注吧

    在这里插入图片描述

    感谢阅读,希望能帮助到大家,谢谢大家的支持!

    展开全文
  • 修改 Spark日志级别

    2019-02-09 22:27:12
    可以通过修改 Spark 配置文件来 Spark 日志级别。  以下是详细步骤:  第一步:先进入 conf 目录 [hadoop@hadoop05 conf]$ cd $SPARK_HOME/conf  第二步:准备 log4j.properties  [hadoop@...
  • spark修改日志级别

    千次阅读 2019-06-17 10:46:52
    通过SparkSession进行设置 val spark = SparkSession .builder() .appName("AWSMMonitorInfo") .enableHiveSupport() .config("hive.exec.dynamic.partition", true) // 支持 Hive 动态分区 .conf...
  • Spark日志级别设置

    千次阅读 2018-06-06 20:39:21
    在运行spark程序的时候,有很多info的消息,一是看着很烦,而是让人找不到我们需要的...所以上网查了别的方法,发现很有用,就是重新创建一个log4j.properties文件,然后将其中的日志级别改为WARN,然后就可以了.具体的实...
  • spark日志输出级别

    2020-06-08 10:28:32
    spark-shell或者pyspark终端下可使用下面命令来改变日志级别sc.setLogLevel("WARN") # 或者INFO等 2.修改日志设置文件 通过调整日志的级别来控制输出的信息量.减少Spark Shell使用过程中在终端显示的日志 切换...
  • 修改spark日志配置

    千次阅读 2017-08-16 19:30:18
    在测试Spark计算时,将作业提交到yarn(模式–master yarn-cluster)上,想查看print到控制台这是imposible的,因为作业是提交到yarn的集群上,so 去yarn集群上看日志是很麻烦的,但有特别想看下print的信息,方便...
  • 1. 修改Spark-shell日志打印级别 如果觉得 shell 中输出的日志信息过多而使人分心,可以调整日志级别来控制输出的信息量。你需要在 conf 目录下创建一个名为 log4j.properties 的文件来管理日志设置。Spark开发者...
  • spark-sql 控制台修改日志级别

    千次阅读 2018-08-07 16:55:35
    spark-sql 控制台修改日志级别这个我找了好久的解决方法 修改文件 conf/log4j.properties # Set everything to be logged to the console log4j.rootCategory=WARN, console log4j.appender.console=org.apache....
  • Spark应用日志级别设置

    千次阅读 2017-10-31 17:01:17
    Spark-core包设置默认的日志级别为info,所以我们才看到一大堆日志信息。 开发的时候,把print的日志掩盖了。 方法一: 代码中设置日志级别 JavaSparkContext context=new JavaSparkContext(conf); ...
  • 完美解决Spark应用日志级别设置

    万次阅读 2017-06-01 08:50:10
    最近在研究Spark的相关知识,本地搭建了一个开发环境Windows7+Eclipse+JDK1.7。...由上图可知,Spark-core包设置默认的日志级别为info,所以我们才看到一大堆日志信i息。 那针对以上问题,在开发过程中我
  • 运行spark程序时,控制台总会输出很多红色日志,默认日志输出级别为INFO,可通过以下两种方法进行日志级别修改 方法一:在代码块中进行日志级别的设置 val sc = SparkSession.builder() .config("spark....
  • Spark 通过 spark-submit 设置日志级别

    千次阅读 2019-04-20 14:19:12
    Spark有多种方式设置日志级别,这次主要记录一下如何在spark-submit设置Spark日志级别。 1、需求 因为Spark日志级别默认为INFO(log4j.rootCategory=INFO, console),这样在运行程序的时候有很多我不需要的日志...
  • 摘要 在学习使用Spark的过程中,总是想对内部运行过程作深入的了解,其中...调整Spark日志级别的配置文件是$SPARK_HOME/conf/log4j.properties,默认级别是INFO,如果曾经将其改为DEBUG的朋友可能会有这样的经历...
  • Spark 日志配置

    千次阅读 2015-12-28 15:21:57
    在使用spark 环境开发时,有时为了方便,需要pyspark环境下执行一些代码,但默认的日志级别是INFO, 这样会输出超级多的日志,界面一几乎是一直在刷屏状态。 可以调一下日志的输出级别。 一、修改日志配置 在$SPARK_...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 7,632
精华内容 3,052
关键字:

修改spark日志级别