精华内容
下载资源
问答
  • 核心:配置POM打包插件 使用插件: scala-maven-plugin : 这个插件是编译scala代码的,之前一直没有添加这个插件,导致编译后的包里面找不到主类,也就是没有你要运行的那个object(class)文件 整体POM.XML 4.0.0 ...

    折腾了一晚上加一上午,总算解决了。

    解决:

    1.

    21/04/13 20:55:27 INFO scheduler.EventLoggingListener: Logging events to hdfs://master:8020/directory/local-1618372526737
    Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/kafka/common/serialization/StringDeserializer

    2.

    使用maven 不加插件的打包 maven package 会打不上依赖包从而报错的问题
     

    背景:使用windows写sparkstreaming和kafka整合的代码,提交到伪分布式系统ubuntu上运行,在windows上使用maven下载了依赖库,但是打包的时候不带依赖,在集群上运行会报错。

    前前后后尝试了idea、sbt、maven打包,最终还是用maven打包成功了。

    核心:配置POM打包插件

    使用插件: scala-maven-plugin : 这个插件是编译scala代码的,之前一直没有添加这个插件,导致编译后的包里面找不到主类,也就是没有你要运行的那个object(class)文件

    整体POM.XML

    <?xml version="1.0" encoding="UTF-8"?>
    <project xmlns="http://maven.apache.org/POM/4.0.0"
             xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
             xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
        <modelVersion>4.0.0</modelVersion>
    
        <groupId>org.example</groupId>
        <artifactId>maven_kafka_test</artifactId>
        <version>1.0-SNAPSHOT</version>
    
        <properties>
            <maven.compiler.source>8</maven.compiler.source>
            <maven.compiler.target>8</maven.compiler.target>
        </properties>
    
      <!-- 以下是我sparkstreaming用到的两个依赖 -->
        <dependencies>
    
            <dependency>
                <groupId>org.apache.spark</groupId>
                <artifactId>spark-streaming_2.11</artifactId>
                <version>2.4.7</version>
            </dependency>
    
            <dependency>
                <groupId>org.apache.spark</groupId>
                <artifactId>spark-streaming-kafka-0-10_2.11</artifactId>
                <version>2.4.7</version>
            </dependency>
        </dependencies>
    
    
      
        <build>
            <plugins>
                <plugin>
                <!-- !!必须有这个插件,才可以编译scala代码找到主类,版本我是网上搞来的 -->
                    <groupId>net.alchim31.maven</groupId>
                    <artifactId>scala-maven-plugin</artifactId>
                    <version>3.2.2</version>
                    <executions>
                        <execution>
                            <id>compile-scala</id>
                            <phase>compile</phase>
                            <goals>
                                <goal>add-source</goal>
                                <goal>compile</goal>
                            </goals>
                        </execution>
                        <execution>
                            <id>test-compile-scala</id>
                            <phase>test-compile</phase>
                            <goals>
                                <goal>add-source</goal>
                                <goal>testCompile</goal>
                            </goals>
                        </execution>
                    </executions>
                    <!-- 填写你的scala version -->
                    <configuration>
                        <scalaVersion>2.11.12</scalaVersion>
                    </configuration>
                </plugin>
    
                <!-- maven编译插件,版本我是网上搞来的 -->
                <plugin>
                    <groupId>org.apache.maven.plugins</groupId>
                    <artifactId>maven-compiler-plugin</artifactId>
                    <version>3.2</version>
                    <configuration>
                        <source>1.8</source>
                        <target>1.8</target>
                    </configuration>
                </plugin>
    
    
                <!-- assembly模式编译,带依赖-->
                <plugin>
                    <groupId>org.apache.maven.plugins</groupId>
                    <artifactId>maven-assembly-plugin</artifactId>
                    <version>3.0.0</version>
    
                    <configuration>
                        <appendAssemblyId>false</appendAssemblyId>
                        <descriptorRefs>
                            <descriptorRef>jar-with-dependencies</descriptorRef>
                        </descriptorRefs>
                        <archive>
                            <manifest>
                            <!-- 你的mainclass入口,我就是test.scala 在scala文件夹下, 目录就是scr/main/scala -->
                                <mainClass>test</mainClass>
                            </manifest>
                        </archive>
                    </configuration>
                    <executions>
                        <execution>
                            <id>make-assembly</id>
                            <phase>package</phase>
                            <goals>
                                <goal>single</goal>
                            </goals>
                        </execution>
                    </executions>
                </plugin>
            </plugins>
    
        </build>
    
    
    
    
    </project>

     

    有什么问题欢迎留言,第一次用scala maven打包的确遇到了很多问题,大家群策群力一起解决!

    展开全文
  • 在flink开发的时候,scala程序在打包编译的时候,进来,但是在idea里面直接运行是没有问题的。了下原因,需要引入scala的编译插件,mark下。 scala-maven-plugin <build> <plugins> <!-- ...

    在flink开发的时候,scala程序在打包编译的时候,进不来,但是在idea里面直接运行是没有问题的。找了下原因,需要引入scala的编译插件,mark下。

    scala-maven-plugin

    <build>
            <plugins>
                <!-- 编译插件,将scala文件编译成class文件 -->
                <plugin>
                    <groupId>net.alchim31.maven</groupId>
                    <artifactId>scala-maven-plugin</artifactId>
                    <version>4.4.0</version>
                    <executions>
                        <execution>
                            <id>compile-scala</id>
                            <phase>compile</phase>
                            <goals>
                                <goal>add-source</goal>
                                <goal>compile</goal>
                            </goals>
                        </execution>
                        <execution>
                            <id>test-compile-scala</id>
                            <phase>test-compile</phase>
                            <goals>
                                <goal>add-source</goal>
                                <goal>testCompile</goal>
                            </goals>
                        </execution>
                    </executions>
                </plugin>
    
                <!-- maven 打包插件 -->
                <plugin>
                    <groupId>org.apache.maven.plugins</groupId>
                    <artifactId>maven-assembly-plugin</artifactId>
                    <version>3.3.0</version>
                    <configuration>
                        <descriptorRefs>
                            <descriptorRef>jar-with-dependencies</descriptorRef>
                        </descriptorRefs>
                    </configuration>
                    <executions>
                        <execution>
                            <id>make-assembly</id>
                            <phase>package</phase>
                            <goals>
                                <goal>single</goal>
                            </goals>
                        </execution>
                    </executions>
                </plugin>
            </plugins>
        </build>

     

    展开全文
  • 如果scala环境变量没有问题,并且idea scala插件已安装 那么你可以试试这个方法 选择项目根目录点击右键—&gt;Mark Directory As —&gt;Sources Root

    如果scala环境变量没有问题,并且idea scala插件已安装
    那么你可以试试这个方法

    选择项目根目录点击右键—>Mark Directory As —>Sources Root

    展开全文
  • 最近在学习spark,装上idea后运行Scala程序HelloWorld时提示“错误:找不到或无法加载主类”。但是在idea中的"Project Structure"中的JDK和SDK都配置正确。后来在StackOverflow看到过有人也遇到过同样的问题,原因...

    原始Scala版本:2.11.8

    原始Java版本:11.0.1

    最近在学习spark,装上idea后运行Scala程序HelloWorld时提示“错误:找不到或无法加载主类”。但是在idea中的"Project Structure"中的JDK和SDK都配置正确。后来在StackOverflow看到过有人也遇到过同样的问题,原因就是Java版本和Scala版本不匹配导致找不到类路径。

    解决办法就是把Java版本改成了1.8.0_151,重启电脑使修改生效,再运行HelloWorld就可以正常打印了!另外,我在服务器上使用的Java1.8.0_144也可以和Scala2.11.8兼容。

    修改后的Scala版本:2.11.12

    修改后的Java版本:11.0.1

    这个链接是Java和Scala的版本匹配
    官方版本匹配说明

    展开全文
  • 原始Scala版本:2.11.8原始Java版本:10.0.1最近在学习spark,装上idea后运行Scala程序HelloWorld时提示“错误:找不到或无法加载主类”。但是在idea中的"Project Structure"中的JDK和SDK都配置正确。后来...
  • 一般是由于scala版本和java版本兼容导致的,将两者调成兼容即可。
  • 本以为是idea版本问题、scala版本或scala插件版本问题导致,经过一番折腾,最后通过升级jdk版本解决。 问题现象scala项目无法...运行时提示项目找不到或无法加载主类。解决办法将jdk1.8.0_05升级1.8.0_191即可。 ...
  • 说明:最近大概两周没有打开过IDEA,大概是IDEA感觉自己失宠了,便开始抽风,双击打开IDEA的时候弹...错误:找不到或无法加载主类 cn.study.spark.Top3s 一、错误情况 如下图,运行工程,在IDEA下面Run的调试...
  • Spark Maven项目打包后找不到主类

    千次阅读 2019-01-24 12:50:52
    问题:使用IDEA,Maven创建java和scala项目,写完代码本地运行没有问题,打包后,java程序没有问题,scala程序总是找不到主类 java.lang.ClassNotFoundException: cn.spark.sql.SparkSQLDemo at java...
  • scala IDE for Eclipse运行spark时显示找不到或无法加载主类 scala的项目有错误,运行时,显示找不到无法加载主类 eclipse的代码没有错误,原因是,java跟scala的类写在了同项目下 混合java 和scala 不编译的问题 ...
  • 出现问题的原因是spark和Scala版本符合 我的spark是2.1.1 所以项目右键选自properties改scala compiler 为scala2.11.8
  • IDEA Scala 错误: 找不到或无法加载主类 一、问题描述: 二、事件描述: 1、安装好Scala编译器,cmd黑窗口运行正常;(Scala编译器的版本与idea版本无关) 2、在IDEA中采用联网模式安装好Scala插件(建议用联网模式...
  • #记一次 idea 配置scala运行 IDEA 错误: 找不到或无法加载主类 ##原因:Scala对JDK的版本有一定的要求。 因此,安装scala JDK 与 idea 的scala插件不要下载最新,要下载匹配兼容的版本 ##笔者用的版本为 jdk:Scala...
  • 使用eclipse编辑器搭建spark框架的时候,可能会遇上“找不到或无法加载主类”的问题。搜索出现此类情况的错误,不难发现网上很多信息指出这是因为混合了java 和scala,造成了不编译。但是,如果有使用他们的解决方法...
  • 网上查资料得知,可能是因为Java和Scala版本兼容,于是将JDK换成JDK1.8 Scala仍然是2.11。 然后检查JDK,IDEA Scala插件,Scala SDK是否配置正确,主要是查看系统环境变量是否配置正确。在IDEA中点击File->...
  • Scala eclipse 错误 -找不到或无法加载主类原创 2016年12月28日 15:45:45标签:spark3913scala的项目有错误,运行时,显示找不到无法加载主类 eclipse的代码没有错误,原因是,java跟scala的类写在了同项目下 ...
  • idea真的智能 其实怪 build compile install 太特么多了 搞清 解决 删除上次build的结果文件夹就行.即放你编译好的jar包的文件夹
  • scala安装完成后报找不到或无法加载主类 scala.tools.nsc.MainGenericRunner) 直接入正题 解压完scala,配置环境变量后,在cmd运行scala出现,这就见鬼了: 找不到或无法加载主类 scala.tools.nsc.MainGenericRunner...
  • 下载scala ide后写第一个入门程序运行报 “错误: 找不到或无法加载主类” 原来是这样的 scala与java是不一样的,在创建scala工程后 new scala object,而不是new scala class。
  • Scala错误: 找不到或无法加载主类

    千次阅读 2020-04-16 20:38:24
    事情是这样一回事,前天IDEA2020.1版本出来了,我就想体验并尝试一下新的功能啦,就把旧的IDEA更新了,可事情哪有这么如意呀,突然就就有这么一种感觉,上天怎么就能眷顾一下我呢?深呼吸冷静了一下,不禁道:生活...
  • scala报错,无法加载到主类

    千次阅读 2018-07-04 00:50:37
  • 在cmd中运行scala提示错误:找不到或无法加载主类 scala.tools.nsc.MainGenericRunner 出错原因 scala是直接拷贝的其他电脑上的scala,放在Program File文件夹里。scala安装目录出现了空格 问题解决 将Scala 移动到...
  • 在cmd中运行scala提示错误:找不到或无法加载主类 scala.tools.nsc.MainGenericRunner 出错原因: scala是直接拷贝的其他电脑上的scala,放在Program File文件夹里。scala安装目录出现了空格。 问题解决: 讲Scala ...
  • 错误: 找不到或无法加载主类 quickanswer.chapter8.p1   Scala project won't compile in Eclipse; “Could not find the main class.”     原因,是项目中源代码有错误,eclipse 就不编译其他源代码...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 1,201
精华内容 480
关键字:

scala运行找不到主类