精华内容
下载资源
问答
  • MAVEN编译NIFI源码

    2018-05-10 08:19:00
    由于项目需求,需要借用NIFI进行二次开发,因此需要将NIFI源码进行修改,然后编译,办公环境无外网。 步骤: (1) 找一台可以上网(外网)的机器,安装java环境和maven环境,安装完成后使用java –version 和maven ...

    场景:

    由于项目需求,需要借用NIFI进行二次开发,因此需要将NIFI源码进行修改,然后编译,办公环境无外网。

    步骤:

    (1)   找一台可以上网(外网)的机器,安装java环境和maven环境,安装完成后使用java –version 和maven –v命令测试是否安装正确。

    (2)   设置maven安装路径下的conf/setting.xml中的LocalRepository的值,设置本地仓库的位置(便于拷贝回办公环境)。

    (3)   设置maven的JVM的内存大小,windows环境在环境变量中添加MAVEN_OPTS变量,值为-Xms512m –Xmx1024m,linux环境则在/etc/profile中添加export  MAVEN_OPTS=”-XMS512m –XMX1024m”,添加完成后使用source /etc/profile 命令使设置生效,其中jvm大小的值根据个人机器进行设置,本设置已足够nifi的编译,此步骤必须设置否则出现java内存不足的问题。

    (4)   进入NIFI官网,下载最新的NIFI源码程序到本地,然后解压。

    (5)   在命令窗口(命令行)中进入NIFI源码工程的根目录下,使用mvn clean compile进行NIFI的编译。

    (6)   编译完成后,所有的依赖包会下载到本地仓库,将本地仓库拷贝回办公环境。

    (7)   将NIFI源码拷贝回办公环境。

    (8)   将node下载的模板文件拷贝回办公环境,node的默认地址为C:\Users\Administrator\AppData\Roaming\npm-cache,若是没有AppData,则设置查看隐藏文件夹即可看到,拷贝回去后放在相同的目录下。

    (9)   在办公环境下配置java和maven运行环境,并用java –version和mvn –v命令测试是否安装正确,设置maven的jvm大小参数,设置maven本地仓库。

    (10)             命令窗口下进入源码工程根目录,运行mvn clean compile命令进行编译。

    相关问题:

    (1)     linux环境下进行依赖包下载时需要在用户模式下进行maven的设置以及打包,否则会出现拷贝回去的依赖包无法使用的情况。

    (2)     本地仓库中存在某个jar包,但是编译时依然会出现连接外网进行下载的问题,此时需要找到这个jar包的位置,然后删掉_remote.repositories文件,再次编译即可正常运行。

    (3)     出现java内存不足的问题,设置maven的jvm大小即可,设置方法参考编译步骤的第三步。

    (4)     出现npm连接外网进行下载,然后下载失败的问题,参考编译步骤第八步。

    转载于:https://www.cnblogs.com/it-abang/p/9017783.html

    展开全文
  • maven编译spark 源码

    2018-01-10 15:03:12
    使用Maven构建Spark需要Maven 3.3.9或更高版本和Java 7。请注意,对于Java 7的支持已从Spark 2.0.0中弃用,可能会在Spark 2.2.0中删除。 设置Maven内存使用: 您需要通过MAVEN_OPTS配置Maven的内存使用量,...

    基于Maven的构建是Apache Spark的参考构建。使用Maven构建Spark需要Maven 3.3.9或更高版本和Java 7。请注意,对于Java 7的支持已从Spark 2.0.0中弃用,可能会在Spark 2.2.0中删除。


    设置Maven内存使用:

    您需要通过MAVEN_OPTS配置Maven的内存使用量,官方推荐配置如下:

    export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512M"

    当使用Java 7编译时,需要将附加选项“-XX:MaxPermSize = 512M”添加到MAVEN_OPTS,您不做如上设置,很可能会出现如下编译错误:

    [INFO] Compiling 203 Scala sources and 9 Java sources to /Users/me/Development/spark/core/target/scala-2.10/classes...
    [ERROR] PermGen space -> [Help 1]
    
    [INFO] Compiling 203 Scala sources and 9 Java sources to /Users/me/Development/spark/core/target/scala-2.10/classes...
    [ERROR] Java heap space -> [Help 1]

    您可以通过如前所述设置MAVEN_OPTS变量来修复这些问题

    注:1、如果您已配置MAVEN_OPTS,但仍然出现如上错误,可以尝试调整MAVEN_OPTS里的-XX:MaxPermSize来解决;

       2、Java8或以上版本不需要做如上设置;

       3、如果使用build/mvn编译,则不需要设置MAVEN_OPTS,mvn脚本已经帮我们设置该值;


    build/mvn

    Spark现在包含了一个自包含的Maven安装,以方便从位于build /目录下的源代码构建和部署Spark。此脚本将自动下载并在build /目录本地内部设置所有必需的构建需求(Maven,Scala和Zinc)。它尊重任何mvn二进制如果已经存在,将拉下自己的Scala和Zinc副本,而不管是否满足正确的版本要求。 build / mvn执行作为一个传递到mvn调用允许从以前的构建方法容易转换。例如,可以如下构建Spark的版本:


    ./build/mvn -Pyarn -Phadoop-2.4 -Dhadoop.version=2.4.0 -DskipTests clean package
    其他构建示例可以在下面找到。


    下载可以运行版本

    http://Spark.apache.org/downloads.html


    Hadoop版本指定:

    因为HDFS不是跨版本的协议兼容,如果你想从HDFS读取,你需要在你的环境中的特定HDFS版本上构建Spark。你可以通过hadoop.version属性来做到这一点。如果取消设置,Spark将默认针对Hadoop 2.2.0进行构建。注意,特定Hadoop版本需要某些构建配置文件:

    Hadoop version Profile required
    2.2.x hadoop-2.2
    2.3.x hadoop-2.3
    2.4.x hadoop-2.4
    2.6.x hadoop-2.6
    2.7.x and later 2.x hadoop-2.7

      请注意,对于2.6之前的Hadoop版本的支持已从Spark 2.1.0中弃用,可能会在Spark 2.2.0中删除。您可以启用yarn.version配置文件,如果不同于hadoop.version,可以选择设置yarn.version属性。 Spark只支持YARN版本2.2.0和更高版本。


       Spark仅支持YARN2.2.0及以上版本:

    # Apache Hadoop 2.2.X
    mvn -Pyarn -Phadoop-2.2 -DskipTests clean package
    
    # Apache Hadoop 2.3.X
    mvn -Pyarn -Phadoop-2.3 -Dhadoop.version=2.3.0 -DskipTests clean package
    
    # Apache Hadoop 2.4.X or 2.5.X
    mvn -Pyarn -Phadoop-2.4 -Dhadoop.version=VERSION -DskipTests clean package
    
    Versions of Hadoop after 2.5.X may or may not work with the -Phadoop-2.4 profile (they were
    released after this version of Spark).
    
    # Different versions of HDFS and YARN.
    mvn -Pyarn -Phadoop-2.3 -Dhadoop.version=2.3.0 -Dyarn.version=2.2.0 -DskipTests clean package

    支持Hive和JDBC

      要为Spark SQL及其JDBC服务器和CLI启用Hive集成,请将-Phive和Phive-thriftserver配置文件添加到现有构建选项中。默认情况下Spark将使用Hive 1.2.1绑定进行构建

    # Apache Hadoop 2.4.X with Hive 13 support
    mvn -Pyarn -Phadoop-2.4 -Dhadoop.version=2.4.0 -Phive -Phive-thriftserver -DskipTests clean package


    没有针对YARN的Hadoop依赖性的包装

    默认情况下,由mvn package生成的汇编目录将包括所有Spark的依赖项,包括Hadoop及其一些生态系统项目。在YARN部署中,这会导致多个版本出现在执行程序类路径上:Spark程序集中打包的版本和每个节点上的版本,包含在yarn.application.classpath中。 hadoop提供的配置文件构建了程序集,不包括Hadoop生态系统项目,如ZooKeeper和Hadoop本身。


    构建使用Mesos支持

    ./build/mvn -Pmesos -DskipTests clean package

    构建Scala支持

    ./dev/change-scala-version.sh 2.10
    ./build/mvn -Pyarn -Phadoop-2.4 -Dscala-2.10 -DskipTests clean package

    单独构建子模块


    可以使用mvn -pl选项来构建Spark子模块。例如,您可以使用以下命令构建Spark Streaming模块:

    ./build/mvn -pl :spark-streaming_2.11 clean install
    连续编译

    我们使用scala-maven插件,它支持增量和连续编译。例如

    ./build/mvn scala:cc
    应运行连续编译(即等待更改)。然而,这没有被广泛测试。注意几个问题:它只扫描路径src / main和src / test(参见docs),因此它只能在具有该结构的某些子模块中工作。您通常需要从项目根目录运行mvn install,以便在特定子模块中进行编译;这是因为依赖于其他子模块的子模块通过spark-parent模块这样做)。


    因此,用于运行核心子模块的连续编译的全流程可能看起来更像:

    $ ./build/mvn install
    $ cd core
    $ ../build/mvn scala:cc

    1. Spark-2.x编译

    a. note:提高Maven编译时的堆内存大小,防止编译过程中产生OOM异常,相关命令如下:

      export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"
    

    b. 编译

       cd $SPARK_HOME(spark源码路径)
       mvn -Pyarn -Phadoop-2.4 -Dhadoop.version=2.4.0 -Phadoop-provided -Phive -Phive-thriftserver -Pnetlib-lgpl -DskipTests clean package
    

    2. Spark-2.x构建(Distribution)

    a. 编译成功后,构建spark执行环境,(note:spark-2.0.0和spark-2.0.1的稍微有不同),执行命令如下:

    spark-2.0.0

    ./dev/make-distribution.sh --name dev --tgz -Pyarn -Phadoop-2.7 -Dhadoop.version=2.7.3 -Phadoop-provided -Phive -Phive-thriftserver -Pnetlib-lgpl
    

    spark-2.0.1

    ./dev/make-distribution.sh --name custom-spark --tgz -Psparkr -Phadoop-2.7 -Phive -Phive-thriftserver -Pyarn
    

    b.构建成功,运行环境成生成在$SPARK_HOME/dist目录下

    c.重命名( mv $SPARK_HOME/dist mv $SPARK_HOME/spark-2.x.x-bin),则$SPARK_HOME/spark-2.x.x-bin 则作为发布版本


    最终使用的编译代码:mvn -Pyarn -Phadoop-2.7 -Dhadoop.version=2.7.3 -Dscala-2.12.2 -Phive -Phive-thriftserver -DskipTests clean package

    生成最终的tar.gz:make-distribution.sh --tgz --name 2.7.3 -Pyarn -Phadoop-2.7 -Pspark-ganglia-lgpl -Phive -Phive-thriftserver --r


    原文:http://spark.apache.org/docs/latest/building-spark.html

    展开全文
  • maven编译Spark源码

    千次阅读 2015-11-24 14:20:28
    Spark 1.5.2,Maven 3.3.3或以上版本,Java7或以上版本。 一、设置Maven内存使用: 您需要通过MAVEN_OPTS配置Maven的内存使用量,官方推荐配置如下: export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:...

    环境说明:

    Spark 1.5.2,Maven 3.3.3或以上版本,Java7或以上版本。

    一、设置Maven内存使用:

    您需要通过MAVEN_OPTS配置Maven的内存使用量,官方推荐配置如下:

    export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512M"
    您不做如上设置,很可能会出现如下编译错误:

    [INFO] Compiling 203 Scala sources and 9 Java sources to /Users/me/Development/spark/core/target/scala-2.10/classes...
    [ERROR] PermGen space -> [Help 1]
    
    [INFO] Compiling 203 Scala sources and 9 Java sources to /Users/me/Development/spark/core/target/scala-2.10/classes...
    [ERROR] Java heap space -> [Help 1]
    注:1、如果您已配置MAVEN_OPTS,但仍然出现如上错误,可以尝试调整MAVEN_OPTS里的-XX:MaxPermSize来解决;

       2、Java8或以上版本不需要做如上设置;

       3、如果使用build/mvn编译,则不需要设置MAVEN_OPTS,mvn脚本已经帮我们设置该值;


    二、Hadoop版本指定:

    因为HDFS不能跨版本兼容,所以如果你需要从HDFS中读取数据,你将需要在编译Spark源码时指定你HDFS的版本,你可以通过hadoop.version属性进行配置;如果你不设置该参数,Spark编译时默认指定Hadoop版本为2.2.0;请注意,可构建的Hadoop有如下版本:

    Hadoop version Profile required
    1.x to 2.1.x hadoop-1
    2.2.x hadoop-2.2
    2.3.x hadoop-2.3
    2.4.x hadoop-2.4
    2.6.x and later 2.x hadoop-2.6
       对于Hadoop1.X,Cloudera CDH "mr1"及其它不包含YARN的Hadoop版本,如下:

    # Apache Hadoop 1.2.1
    mvn -Dhadoop.version=1.2.1 -Phadoop-1 -DskipTests clean package
    
    # Cloudera CDH 4.2.0 with MapReduce v1
    mvn -Dhadoop.version=2.0.0-mr1-cdh4.2.0 -Phadoop-1 -DskipTests clean package
       Spark仅支持YARN2.2.0及以上版本:

    # Apache Hadoop 2.2.X
    mvn -Pyarn -Phadoop-2.2 -DskipTests clean package
    
    # Apache Hadoop 2.3.X
    mvn -Pyarn -Phadoop-2.3 -Dhadoop.version=2.3.0 -DskipTests clean package
    
    # Apache Hadoop 2.4.X or 2.5.X
    mvn -Pyarn -Phadoop-2.4 -Dhadoop.version=VERSION -DskipTests clean package
    
    Versions of Hadoop after 2.5.X may or may not work with the -Phadoop-2.4 profile (they were
    released after this version of Spark).
    
    # Different versions of HDFS and YARN.
    mvn -Pyarn -Phadoop-2.3 -Dhadoop.version=2.3.0 -Dyarn.version=2.2.0 -DskipTests clean package

    三、 支持Hive和JDBC:

        对SparkSQL启用Hive、JDBC及CLI(命令行)支持, 构建时需要指定-Phive和-Phive-thriftserver两个编译参数,Spark默认支持Hive版本为0.13.1。

    # Apache Hadoop 2.4.X with Hive 13 support
    mvn -Pyarn -Phadoop-2.4 -Dhadoop.version=2.4.0 -Phive -Phive-thriftserver -DskipTests clean package

    四、改变Scala版本:

       编译Spark源码包时,可以指定Scala版本,如使用Scala 2.11构建Spark,我们可以采用-Dscala-2.11参数设定:

    ./dev/change-scala-version.sh 2.11
    mvn -Pyarn -Phadoop-2.4 -Dscala-2.11 -DskipTests clean package
      注:Spark JDBC组建暂时不支持Scala 2.11。



    展开全文
  • 动作源码java bmx-java BuildMaster Java扩展 执照 版权所有(c)2013 Inedo,LLC。 版权所有。 如果满足以下条件,则允许以源代码和二进制形式进行重新分发和使用,无论是否经过修改,都可以: 重新分发源代码必须...
  • 今天决定编译tachyon源码,以下是我编译安装过程 下载tachyon源码,我用的下载地址是 https://github.com/Alluxio/alluxio/archive/v0.7.1.tar.gz 解压之后进入目录,执行 mvn clean package -Djava.version=1.8...

    今天决定编译tachyon源码,以下是我编译安装过程

    下载tachyon源码,我用的下载地址是

    https://github.com/Alluxio/alluxio/archive/v0.7.1.tar.gz  
    解压之后进入目录,执行

    mvn clean package -Djava.version=1.8 -Dhadoop.version=2.6.0 -Dspark.version=1.6.1 -DskipTests

    经历漫长的编译过程,我用的虚拟机编译了41min才结束,以下是编译成功标志


    展开全文
  • java项目,使用maven构建工具,整合groovy代码。 经验:不要使用Grab注解的方式声明依赖,这样需要在pom中引入ivy。 在pom中引入ivy又会有类加载器的问题。 所以,最好是通过pom声明依赖。 执行groovy脚本 编译...
  • mac下利用IDEA工具Maven编译Spark源码

    千次阅读 2017-05-22 16:21:36
    2.确保IDEA上安装了scala插件plugins,本机也安装了maven3.3.9及以上版本和java7+,如图:3.将源码文件解压,并import进IDEA导入方式选择MAVEN。 4.更改pom.xml文件。4.1 查看java版本是否跟你机子用的java
  • Spark -4:maven编译spark 源码

    千次阅读 2017-01-19 12:10:31
    使用Maven构建Spark需要Maven 3.3.9或更高版本和Java 7。请注意,对于Java 7的支持已从Spark 2.0.0中弃用,可能会在Spark 2.2.0中删除。 设置Maven内存使用: 您需要通过MAVEN_OPTS配置Maven的内存使用量,官方...
  • IDEA+maven 编译hbase源码(CDH5.16.1)

    千次阅读 2019-07-05 20:54:21
    一.github下载源码 1.下载源码 ... 等待下载 ...加载成功后会trunk分支,没有任何实际分支和项目 ...设置java的版本和maven的版本 3.获取对应版本 切换对应版本分支,项目右键,选择git ...
  • 2. 使用maven编译:  注意在编译之前,需要设置java堆大小以及永久代大小,避免mvn出现内存溢出的情况。 windows下设置:%MAVEN_HOME%\bin\mvn.cmd,将其中的 @REM set MAVEN_OPTS=-Xdebug -...
  • 实验环境 系统: centos7 工具: jdk-8u91-linux-x64.gz ...因为不懂Java源码github下载 [root@maven ~]# cat /etc/redhat-release CentOS Linux release 7.6.1810 (Core) [root@maven ~]# ll t...
  • 本篇讲的是jenkins在gitlab拉取到java源码之后通过集成maven去自动打包,最后部署到项目中。 流程大致如图: 接下来是操作: 先部署jdk环境(在部署jenkins的时候理应jdk也安装了,这里带一嘴) [root@localname ~]...
  • 问题:项目maven编译过程中 出现中文乱码,导致编译失败。 问题分析:中文操作系统编码为GBK,maven 打包时候 系统默认编码为GBK,导致在编译UTF-8格式的源代码文件时出现编码不匹配的问题。我们将maven 编码设置为...
  • MAVEN编译源码_1

    2019-03-14 15:25:16
    1.使用cmd切换到对应目录 2.然后执行mvn clean install即可打包 3.之后再target里就可以找到打好的包 注:出现java内存不足的问题,设置maven的jvm大小即可
  • 1、idea中,有两个地方需要修改项目源码版本的地方 ①file-setting-Java Compiler ②file-Project Stucture 2、有的时候这样改过还是没生效,可以继续在pom.xml中配置 <properties> <project...
  • ...2. 默认情况下,tomcat使用ant进行编译、打包,以下讲一下如何使用maven编译、打包 3. 在Eclipse里新建一个maven标准Java项目 4. 将tomcat源码包下的Java里的文件拷贝到src/main/java下...
  • 记录常见的使用javac手动编译Java源码和java手动执行字节码的命令,一方面用于应对 Maven 和 Gradle 暂时无法使用的情况,临时生成class文件(使用自己的jar包);另一方面了解下构建工具做了哪些工作。 作者水平...
  • java源码部署scm2artifact插件 当使用maven 3x构建自己的项目时,有时我会尝试使用github上可用的库。 当我发现手动克隆git repo,编译库然后将其导入到我的maven存储库中变得很烦人时,我已经编写了此插件。 先决...
  • 用于初始化Java项目的Maven原型 如何编译 mvn clean install 如何使用 mvn archetype:generate \ -DarchetypeGroupId=guybrush.maven.archetypes \ -DarchetypeArtifactId=java-basic \ -DarchetypeVersion=1.0
  • Maven构建服务器 这是我的构建页面的后端存储库。 该页面可以在这里找到: : 这类用作Maven项目的“持续集成/部署”服务,该服务利用静态GitHub Pages。 状态 这个怎么运作 该代码本身基本上只是一个基本的node.js...
  • 机器上安装了java 8和11两个版本,不过在使用Maven构建项目时为了兼容客户端,我们常常需要指定编译生成的jar包的java版本。也就是说,即使我平常使用的java 11,我仍然可以编译java 8可以运行的jar包。 修改项目...
  • 在IntelliJ IDEA 15中使用Maven时,IDEA将默认的编译版本、源码版本设置为jdk5。编译项目的时候出现警告:”Warning:java: 源值1.5已过时, 将在未来所有发行版中删除”,并且无法编译jdk1.5以上的代码。 出现这样...
  • idea 查看 spark 源码 ,并用 maven 编译

    千次阅读 2016-11-30 16:13:35
    2、安装 javamaven、scala(可根据 java、mvn 、scala命令查看是否安装成功,jdk 最好 1.7 以上) 3、根据需要,修改 pom.xml 文件,如修改java.version 为 1.7 等。 4、用自带的脚本进行编译 .spark/build/mvn -D
  • 现在,您可以运行mvn clean install并且Maven编译您的项目,并将结果放入target目录中的两个jar文件中。 如果您希望从命令行运行,请执行java -jar target/javaparser-maven-sample-1.0-SNAPSHOT-shaded.jar 。 ...
  • 1.昨天download了Netty和SOFARPC工程的源码,Eclipse编译的时候报错了,信息如下: Plugin execution not covered by lifecycle configuration: ...
  • Maven和JUnit的Java 9模块示例 这个简单的项目展示了如何使用Maven构建Java 9模块。 它使用ServiceLoader从其他模块加载松耦合的服务。 它还演示了如何通过不对测试源进行模块化就可以从未命名模块中对非导出包中的...
  • 这个Maven插件包装并增强了 并允许将XML Schema(以及WSDL,DTD,RELAX NG)编译Maven构建中的Java类。 如果您对Mojohaus JAXB2 Maven插件( org.codehaus.mojo:jaxb2-maven-plugin ) org.codehaus.mojo:jaxb2-...
  • [size=large][color=red]启动start-dfs.sh出现WARN util.NativeCodeLoader: Unable to load native-hadoop ... using builtin-java classes where applicable 出现原因:hadoop本地库只有32位 在64位机子上会出现...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 1,696
精华内容 678
关键字:

maven编译java源码

java 订阅