精华内容
下载资源
问答
  • Spark错误汇总

    2017-10-15 21:39:00
    Spark错误汇总积累 1、spark带的scala库比较旧(2.11.8), 系统安装的安装scala比较新(2.12.2)引起的问题. zhouhh@/Users/zhouhh/test/spark/wordcount $ spark-submit --class WordCount --master local target/scala...

    Spark错误汇总积累


    1、spark带的scala库比较旧(2.11.8), 系统安装的安装scala比较新(2.12.2)引起的问题.

    zhouhh@/Users/zhouhh/test/spark/wordcount $ spark-submit --class WordCount --master local target/scala-2.12/wordcount-spark_2.12-0.0.1.jar
    ...
    Exception in thread "main" java.lang.BootstrapMethodError: java.lang.NoClassDefFoundError: scala/runtime/java8/JFunction2$mcIII$sp
    	at WordCount$.main(wordcount.scala:15)
    	at WordCount.main(wordcount.scala)
    	at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    	at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    	at java.lang.reflect.Method.invoke(Method.java:498)
    	at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:743)
    	at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:187)
    	at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:212)
    	at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:126)
    	at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)
    Caused by: java.lang.NoClassDefFoundError: scala/runtime/java8/JFunction2$mcIII$sp


    (to be done)

    展开全文
  • spark错误合集

    千次阅读 2017-07-08 08:46:40
    spark错误合集

    spark错误合集

    问题一:

    sparksql问题: java.lang.OutOfMemoryError: Unable to acquire 68 bytes of memory, got 0
    The problem for me was indeed coalesce(). What I did was exporting the file not using coalesce() but parquet instead using df.write.parquet("testP").
     Then read back the file and export that with coalesce(1).
    

    问题二

     Exit code: 52
    Stack trace: ExitCodeException exitCode=52: 
        at org.apache.hadoop.util.Shell.runCommand(Shell.java:561)
        at org.apache.hadoop.util.Shell.run(Shell.java:478)
        at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:738)
        at org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor.launchContainer(DefaultContainerExecutor.java:211)
        at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:302)
        at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:82)
        at java.util.concurrent.FutureTask.run(FutureTask.java:262)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
        at java.lang.Thread.run(Thread.java:745)
    
    
    Container exited with a non-zero exit code 52

    解决方案:
    driver-memory executor-memory分配过小导致

    展开全文
  • Spark错误异常-sparkMaster GC overhead limit exceeded

    Spark在以standalone模式运行一段时间户总会出现Spark Master GC overhead limit exceeded异常

    16/09/20 05:42:24 ERROR ActorSystemImpl: Uncaught fatal error from thread [sparkMaster-akka.actor.default-dispatcher-6] shutting down ActorSystem [sparkMaster]
    java.lang.OutOfMemoryError: GC overhead limit exceeded
    

    Spark master的内存被GC释放不掉,主要是因为随着时间的推移会缓存大量的对象Web UI中需要显示的已完成的Applications对象,默认设置的缓存数据是50,而启动的spark master进程内存默认设置的大小1G   -Xms1g -Xmx1g

    spark.history.retainedApplications 50
    在配置文件spark-default.conf中修改保存为一个合适的数量

    spark.eventLog.enabled              true
    spark.eventLog.dir                  hdfs://namespace/tmp/spark/events
    spark.serializer                    org.apache.spark.serializer.KryoSerializer
    spark.history.fs.logDirectory       hdfs://namespace/tmp/spark/events
    spark.history.ui.port               18080
    spark.history.retainedApplications  20
    spark.kafka.metadata.broker.list    kafka1:9092,kafka2:9092,kafka3:9092
    spark.flume.listener.port           44445
    spark.executor.extraJavaOptions     -XX:HeapDumpPath=/data0/spark/temp/dump
    


    展开全文
  • 【Spark】Spark错误记录

    千次阅读 2020-04-02 15:53:55
    提交Spark任务到Yarn上运行,得到如下报错信息???? 研究了一会儿发现是自己粗心大意导致的,自己在本地IDEA跑多了,打包的时候忘记删除setMaster了,如下???? 虽然我们在提交任务到Yarn的时候,指定了Master,奈何...

    声明!本篇博客记录博主遇到的所有Spark相关的错误!

    希望这篇博客能够帮助到你,如果你也有遇到Spark相关的错误,但苦于无法解决,可以私信博主,博主很乐意解决bug,但是不一定能解决!!!

    在这里插入图片描述在这里插入图片描述在这里插入图片描述在这里插入图片描述

    (图片来源于网络,侵删)


    错误【1】

    提交Spark任务到Yarn上运行,得到如下报错信息👇

    在这里插入图片描述
    研究了一会儿发现是自己粗心大意导致的,自己在本地IDEA跑多了,打包的时候忘记删除setMaster了,如下👇
    在这里插入图片描述
    虽然我们在提交任务到Yarn的时候,指定了Master,奈何在代码的优先级高于命令行指定参数,所以就算我们指定了Master也没有效果

    所以删除了setMaster这个属性就可以了


    警告【2】

    Standalone集群(cluster)模式下提交任务的1个警告

    Warning: Master endpoint spark://node01:7077 was not a REST server. 
    Falling back to legacy submission gateway instead.
    

    在standalone集群模式下,有两个提交网关:
    1.使用org.apache.spark.deploy.Client作为包装器来使用传统的RPC网关
    2.Spark 1.3中引入的基于rest的网关
    第二种方法是Spark 1.3的默认行为,但是Spark submit将会失败
    如果master不是一个REST服务器,那么它将无法使用REST网关。

    if (args.isStandaloneCluster && args.useRest) {
        try {
          printStream.println("Running Spark using the REST application submission protocol.")
          // 调用doRunMain()方法
          doRunMain()
        } catch {
          // Fail over to use the legacy submission gateway
          case e: SubmitRestConnectionException =>
            printWarning(s"Master endpoint ${args.master} was not a REST server. " +
              "Falling back to legacy submission gateway instead.")
            args.useRest = false
            submit(args)
        }
        // 其他模式,直接调用doRunMain方法
      } else {
        doRunMain()
      }
    

    错误【3】

    今天在跑一个任务的时候,运行的时候报了如下错误👇

    Error:(93, 23) No TypeTag available for String
        spark.udf.register("Spider", (FlowID: String) => {
    

    在这里插入图片描述
    我Google了一下,发现把 String 改为 java.lang.String就可以运行了


    错误【4】

    今天在配置Yarn的日志历史服务的时候,配置完成,想跑一个应用看一下效果,就使用了spark-shell --master yarn --deploy-mode client这个命令,结果出现了如下错误👇

    在这里插入图片描述
    在这里插入图片描述

    我看了下错误,先是去看了下报错信息的源码,结果没有找到我想看的东西,无奈只能去查阅一下资料,奈何找寻了半天还是没有找到解决方法

    此时我就准备试试 spark-submit 提交一下官方案例,看一下yarn的日志,终于给我找到了原因所在,如下👇

    在这里插入图片描述

    没错,就是时间不同步的原因!!!

    在这里插入图片描述

    此时,我赶紧同步了一下时间 ntpdate ntp1.aliyun.com

    然后再次提交官方案例,结果终于成功了!!!

    在这里插入图片描述


    错误【5】

    下面这个错误👇,原因要么就是没有创建视图表,要么就是创建了全局视图表,但是查询的时候没有在表名前面添加 global_temp导致的
    在这里插入图片描述


    错误【6】

    下面这个错误这个👇,原因就是想要导入隐式转换,SparkSession只能被val修饰,var不行!!!
    在这里插入图片描述


    错误【7】

    今天在用SparkSQL操作Hive的时候,出现了以下错误👇

    在这里插入图片描述
    在这里插入图片描述

    代码如上图

    原因就是我使用了笛卡尔积,但是在Spark2.x中是笛卡尔积操作是不被允许的,默认关闭,如果想要开启,则添加如下配置:"spark.sql.crossJoin.enabled","true"即可执行笛卡尔积操作!

    在这里插入图片描述


    错误【8】

    最近在学习StructuredStreaming,但是很多人都运行代码时报错了,如下👇

    在这里插入图片描述

    我也是刚学,也不知道如何解决,所以我查阅了一些资料,主要是以下两个原因导致出现这个错误

    原因1:缺少Hadoop环境

    hadoop.dll放到 Windows/system32目录下

    原因2:权限不足

    以管理员方式运行IDEA


    错误【9】

    未完待续。。。

    更新不易,点个赞评论一下吧!

    在这里插入图片描述

    展开全文
  • initial job has not accepted any resources的spark错误解决办法原创 2016年03月04日 16:57:35标签:spark /多个程序 /同步提交1936在运行多个spark应用程序的时候,经常会出现initial job has not accepted any...
  • spark错误日志查看方法

    千次阅读 2018-01-03 21:11:37
    查看错误日志yarn logs -applicationId application_1512098667219_5898489yarn logs -applicationId xxx执行方式spark-submit \ --master yarn-cluster \ --class com.jd.astron.jrdm.ClusterTest \ --num-...
  • 在做日志分析的时候,spark出现一个很匪夷所思的问题,更新完代码,运行本地环境报错(错误见下),在集群yarn环境正常2017-08-29 09:46:30 [org.apache.hadoop.util.NativeCodeLoader]-[WARN] Unable to load ...
  • 报错:ERROR LiveListenerBus: SparkListenerBus has already stopped! 报错位置: if(configure.ifdebug){ Common.colorful_println("print topItem_set_with_sort_feaNum:\n") topItem_set_with_...
  • hadoop-spark错误问题总结(二)

    千次阅读 2017-10-16 14:48:13
    1.Caused by: java.lang.NoClassDefFoundError: scala/collection/GenTraversableOnce$class具体错误日志:Caused by: java.lang.NoClassDefFoundError: scala/collection/GenTraversableOnce$class at org....
  • Spark错误异常-stdout日志乱码

    千次阅读 2016-12-30 11:14:50
    采用Apache版本spark1.2.1时没有出现乱码,但spark-1.1.0-cdh5.2.1版本中,在分布处理的map函数里对中文数据进行debug打印输出进行时出现问号乱码
  • 遇到的spark 错误

    2014-05-28 18:48:05
    val conf = new SparkConf().setMaster("spark://ue191:7077").setAppName("LdaSpark").set("spark.executor.memory", "6g").set("spark.cor es.max","5") setMaster要用域名才不会出错 2. java...
  • kafka结合spark 错误整理

    千次阅读 2016-03-23 16:35:30
     spark-submit --class sparkstreaming.KafkaStreaming --master spark://bihdp01:7077 --executor-memory 1G --total-executor-cores 1 (未指定前两个) /data/peng/spark.jar  ...
  • 笨鸟的平凡之路-记一次spark错误

    千次阅读 2019-05-29 10:33:03
    在集群运行spark时出现java.lang.NoSuchMethodError: scala.Predef$.refArrayOps([Ljava/lang/Object;) 查询得知是版本对应问题 CDH版的spark是1.6.0版本 本地编写代码中的pom文件引用的是2.2.3版本的Spark 之后在...
  • 工作中遇到的Spark错误(持续更新)

    千次阅读 2016-10-13 09:59:29
    解决办法:在spark-submit时候设定conf部分的spark.driver.extraJavaOptions:-XX:PermSize=256M –MaxPermSize=256M 12. Spark中driver的stack overflow 堆栈溢出 一般有两种: 1.过于深度的递归 2....
  • 出现该错误是因为未设置环境变量SPARK_HOME 设置好SPARK_HOME,如SPARK_HOME=D:\Spark 即可
  • Spark错误异常-资源占用,任务挂起

    千次阅读 2016-12-30 11:57:19
    运行在standalone模式下,提交的app应用一直在被挂起无法运行 15/04/08 02:06:09 WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are ...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 41,789
精华内容 16,715
关键字:

spark错误