精华内容
下载资源
问答
  • 最近在做confluent-connect修改工作,这个源码在kafka项目runtime子项目里,由于这里涉及gradle编译,在学习过程中遇到一些问题,特此记录: 一、gradle的环境安装 前提是安装好jdk环境,然后下载gradle,...

         最近在做confluent-connect的修改工作,这个源码在kafka项目的runtime子项目里,由于这里涉及gradle编译,在学习的过程中遇到一些问题,特此记录:

         一、gradle的环境安装

                前提是安装好jdk环境,然后下载gradle,下载地址,下载Binary-only版本即可

         

        下载完 之后直接安装即可,注意gradle的安装目录。然后配置环境变量

         

    GRADLE_HOME:gradle安装目录
    Path:%GRADLE_HOME%\bin;

       使用cmd,执行gradle -version 

      

        二、eclipse配置gradle 

    •     查看eclise是否安装gradle环境

              点击Window-->Preferences查看是否有gradle选项

              

    • 如果没有,点击Help -> Eclipse Marketplace…,输入buildship点击Go,然后选择Install安装Gradle插件

         

    • 在eclipse里设置gradle

         安装完成后重启Eclipse。选择Window -> Preferences 选择Gradle。设置Gradle的缓存目录,指向Gradle的安装目录(可自定义缓存目录)

          

         三、下载confluent源码:connect源码

              1、导入到eclipse

              2、导入后eclipse会自动下载依赖,这个时间很长,我编译的分支是5.3.2-post,大概导入了半天

              3、这里包含好多小的module,编译后如果还有报错,可以在报错的module里执行 gradle jar

               

     右击jar,选择run gradle tarks

     

    展开全文
  • kafka-2.5.1源码本地用intellij2019的gradle编译运行 1.安装jkd、scala、gradle jdk版本1.8 (1.8.0_261) scaka版本 2.12.10 或者 2.13.3 kafak的核心代码使用scala编写的 gradle版本5.6 安装完毕后,配置环境...


    1.安装jkd、scala、gradle

    1. jdk版本1.8 (1.8.0_261)
    2. scaka版本 2.12.10 或者 2.13.3 kafak的核心代码使用scala编写的
    3. gradle版本5.6

    安装完毕后,配置环境变量
    上述版本都是kafka-2.5.1工程文件里配置的,最好编译时保存一直

    2.官网下载kafka-2.5.1-src

    3.intellij2019的gradle编译运行调试


    3.1导入gradle工程


    3.2修改build.gradle工程文件

    编译出现的问题都是依赖关系源引起的,修改下载源地址是最简单快捷的解决办法。其他办法耗时费力还不一定解决。
    3.3查看README.md进行编译

    4.以连接器运行调试为例

    查看connect-standalone.sh进步找到程序入口org.apache.kafka.connect.cli.ConnectStandalone

    设置运行环境:

    上述值是:-Dlog4j.configuration=file:E:\2020kafka\kafka-2.5.1-src\config\connect-log4j.properties

    config\connect-standalone-dm.properties config\connect-dm-source.properties

    现在可以开始跟踪调试了。

    展开全文
  • 1.视界 2.瞎蒙的编译 ...编译跳过测试 gradle build -x test 编译没有修改的编译成功过。...下载自己需要的版本,我这里下载2.3版本为例 3.1下载wrapper包 导入IDEA, 源码根目录下执行:gradle wrapper 会下载w

    1.视界

    在这里插入图片描述

    2.瞎蒙的编译

    https://blog.csdn.net/qq_21383435/article/details/90971614

    编译跳过测试

     gradle build -x test 
    

    编译没有修改的编译成功过。
    但是后来添加了注释就编译总是出现问题。

    3.编译

    下载源码,源码里面自带了一个gradlew的编译脚本:
    下载地址:github

    下载自己需要的版本,我这里下载2.3版本为例

    3.1下载wrapper包

    导入IDEA,
    源码根目录下执行:gradle wrapper 会下载wrapper包
    命令执行成功后,会在 kafka 源码包目录下生成一个
    wrapper 目录,其中包括:gradle-wrapper.jar和gradle-wrapper.properties两个文件

    lcc@lcc kafka$ gradle wrapper
    
    lcc@lcc kafka$ ll
    
    
    -rwxr-xr-x   1 lcc  staff   5296 Jun 26 23:48 gradlew*
    -rw-r--r--   1 lcc  staff   2260 Jun 26 23:48 gradlew.bat
    
    -rw-r--r--   1 lcc  staff    758 Jun 27 00:06 kafka.iml
    -rw-r--r--   1 lcc  staff   8848 Jun 27 00:06 kafka.ipr
    -rw-r--r--   1 lcc  staff   9299 Jun 27 00:06 kafka.iws
    
    -rw-r--r--   1 lcc  staff   1512 Jun 12 13:57 settings.gradle
    
    -rw-r--r--   1 lcc  staff   1026 Jun  5 20:22 wrapper.gradle
    lcc@lcc kafka$ 
    
    lcc@lcc kafka$ ll gradle/wrapper/
    total 120
    drwxr-xr-x  4 lcc  staff    128 Jun 26 23:48 ./
    drwxr-xr-x  8 lcc  staff    256 Jun 26 23:48 ../
    -rw-r--r--  1 lcc  staff  56177 Jun 26 23:48 gradle-wrapper.jar
    -rw-r--r--  1 lcc  staff    203 Jun 26 23:48 gradle-wrapper.properties
    
    
    

    注意:如果因为缺少wrapper,会报错:找不到或无法加载主类org.gradle.wrapper.GradleWrapperMain 必须先下载wrapper,会在build.gradle同级目录下生成gradle\wrapper目录,包含两个文件:
    gradle-wrapper.jar
    gradle-wrapper.properties

    下载wrapper方法,执行gradle命令下载:

    >gradle  
    Building project 'core' with Scala version 2.10.6  
    :downloadWrapper
    
    BUILD SUCCESSFUL
    
    Total time: 2.127 secs  
    

    然后再执行编译,就OK了。

    3.2 编译源码

    编译kafka源码(编译过程中会下载依赖包,比较耗时):

    gradlew eclipse //如果是eclips工程  
    gradlew idea //如果是idea工程
    
    

    3.3 编译打包

    gradlew releaseTarGz  //编译并打包,or:gradlew releaseTarGzAll
    
    

    如果遇到某些任务错误,则加参数-x排除任务,例如:

    1)如果遇到错误:

    :core:genKafkaConfigDocs  
    错误: 找不到或无法加载主类 kafka.server.KafkaConfig  
    :core:genKafkaConfigDocs FAILED  
    则使用命令:gradlew releaseTarGz -x genKafkaConfigDocs
    
    

    2)如果遇到错误::core:signArchives FAILED

    则使用命令:gradlew releaseTarGz -x signArchives
    
    

    编译成功后会在目录:core\build\libs\下生成jar包:

    kafka_2.10-0.10.0.1-SNAPSHOT-javadoc.jar  
    kafka_2.10-0.10.0.1-SNAPSHOT-scaladoc.jar  
    kafka_2.10-0.10.0.1-SNAPSHOT-sources.jar  
    kafka_2.10-0.10.0.1-SNAPSHOT-test-sources.jar  
    kafka_2.10-0.10.0.1-SNAPSHOT-test.jar  
    kafka_2.10-0.10.0.1-SNAPSHOT.jar
    
    

    编译打包完成以后会在目录:core/build/distributions/
    下面生成压缩包:kafka_xxx-SNAPSHOT.tgz 这个和从网上下载的一样,可以直接用。

    展开全文
  • Apache kafka编译 前言 github网站kafka项目README.md有关于kafka源码编译的说明 github地址:...失败原因:gradle版本太高,降低到4.8就ok了 编译(执行如下命令) 会在kafka/...

    Apache kafka编译

    前言

    github网站kafka项目的README.md有关于kafka源码编译的说明

    github地址:https://github.com/apache/kafka

    编译环境准备 java maven gradle

    编译

     

    失败原因:gradle版本太高,降低到4.8就ok了

     编译(执行如下命令)

    会在kafka/core/build/distributions目录下生成需要的tar包

     

    CDH kafka编译

    源码还是从github获取

    git clone https://github.com/cloudera/kafka.git

    注意:修改gradle.properties中的mavenUrl,因为maven.jenkins.cloudera.com是私有的,需要改成公有的

     

    # Licensed to the Apache Software Foundation (ASF) under one or more
    # contributor license agreements.  See the NOTICE file distributed with
    # this work for additional information regarding copyright ownership.
    # The ASF licenses this file to You under the Apache License, Version 2.0
    # (the "License"); you may not use this file except in compliance with
    # the License.  You may obtain a copy of the License at
    #
    #    http://www.apache.org/licenses/LICENSE-2.0
    #
    # Unless required by applicable law or agreed to in writing, software
    # distributed under the License is distributed on an "AS IS" BASIS,
    # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
    # See the License for the specific language governing permissions and
    # limitations under the License.
    
    group=org.apache.kafka
    # NOTE: When you change this version number, you should also make sure to update
    # the version numbers in tests/kafkatest/__init__.py and kafka-merge-pr.py.
    cdhversion=6.1.0
    version=2.0.0-cdh6.1.0
    scalaVersion=2.11.12
    task=build
    org.gradle.jvmargs=-Xmx1024m -Xss2m
    mavenUrl
    =https://repository.cloudera.com/artifactory/cloudera-repos #http://maven.jenkins.cloudera.com:8081/artifactory/cdh-snapshot-local

    mavenSnapshotUrl=http://maven.jenkins.cloudera.com:8081/artifactory/cdh-snapshot-local mavenArtifactoryUrl=http://maven.jenkins.cloudera.com:8081/artifactory/cloudera-mirrors mavenUsername= mavenPassword=

     

    之后的编译过程参考apache kafka编译打包命令!

    结果:

     

    转载于:https://www.cnblogs.com/felixzh/p/10026143.html

    展开全文
  • kafka源码编译

    2018-11-27 14:21:00
    前言 github网站kafka项目README.md有关于kafka源码编译的说明 ...失败原因:gradle版本太高,降低到4.8就ok了  编译(执行如下命令) 会在kafka/core/build/distributions目录下生成需要ta...
  • 编译CDH版Kafka

    2016-09-15 21:56:54
    1.在GitHub上选择需要编译版本 https://github.com/cloudera/kafka 2.安装 gradle需要2.4以上的版本,JDK1.7以上 3.进入Kafka源码路径 (1)cd kafka_source_dir (2)gradle
  • kafka源码编译及开发环境搭建

    千次阅读 2020-06-16 22:45:01
    2.我们这里下载和kafka 2.3.1版本匹配的gradle版本,5.4.1 https://services.gradle.org/distributions/gradle-5.4.1-bin.zip 3.解压 cd /users/yyj/soft tar xvzf gradle-5.4.1-bin.zip 4.配置gradle环境
  • Kafka编译源码

    2020-06-24 23:25:07
    1、相关软件版本: scala 2.12.10 Java 1.8 gradle 5.6.2 2、下载源码: https://codeload.github.com/apache/kafka/zip/trunk 3、修改hosts,解决raw.githubusercontent.com域名不能访问问题。 在...
  • 如果你电脑上没有安装过 Gradle 或者 Scala 可以先去官网上看一下 kafka 依赖的版本,然后下载成一样,不然在编译过程中还会现在他们依赖的版本。或者修改配置文件改变版本号 第2步 下载 Kafka 源码 使用如下...
  • gradle 3.0

    2020-11-16 16:56:02
    gradle3.0解决开源框架kafka0.10.1.0版本无法编译问题和各版本的下载地址在文档中有记录
  • 去官网下载对应版本的源码并解压文件 编译环境准备 java maven gradle编译环境准备就绪; java -version mvn - version gradle - version 修改gradle.properties配置文件 切换到kafka源码目录里去并执行相应...
  • kafka 0.11.0.3 源码编译

    2019-06-24 23:43:00
    首先下载 kafka 0.11.0.3 版本 源码: http://mirrors.hust.edu.cn/apache/kafka/0.11.0.3/ 下载源码 首先安装 gradle,不再说明 1. 解压缩source压缩包: 2. 进入项目根目录下,执行 gradle 3. 转换为 idea ...
  • 报这个错误,编译的时候, You can’t map a property that does not exist: propertyName=testClassesDir 解决办法加入下边两行内容,升级版本 dependencies { // For Apache Rat plugin to ignore non-Git files ...
  • IDEA构建Kafka源码

    2020-04-19 23:46:19
    环境准备 在阅读 Kafka 源码之前,我们要先做一些必要的环境准备工作:至少要提前安装好 Java、Gradle、Scala、IDEA 和 Git 等软件...当前时间Kafka的源码编译需要Gradle5.2及以上,我这里安装的5.5版本。 官网下载...
  • 走近Kafka之源码阅读环境构建 以2.4版本代码分支为例 以kafka官方文档为参考 构建准备: [Ubuntu 18 安装] Linux衍生系统 [Java 1.8+ 版本安装] Java环境 [Gradle 5.6.4 版本安装] Kafka源代码编译构建工具 ...
  • 修改 org.scoverage:gradle-scoverage 的版本号: dependencies { // For Apache Rat plugin to ignore non-Git files classpath "org.ajoberstar:grgit:1.7.0" classpath 'com.github.ben-manes:gradle-...
  • 最近在研究Kafka源代码,需要自己搭建一个开发环境。官网上给出提示略显简单,照着做了一遍也碰到了一些问题。特此记录下来。 开发环境: Oracle Java 1.7_u... Kafka代码自0.8.x之后就使用Gradle来进行编译和构...
  • 在idea中查看kafka源码

    千次阅读 2019-04-25 08:28:44
    一、 前期准备工作 step1:安装JDK1.8 step2:安装zookeeper单机版 step3: 安装Gradle-4.10.2 step4:安装scala-2.11.12 二、 将kafka源代码部署到编辑器...三、 将修改过的Kafka源代码发布成binary 版本 ste...
  • 融合教育演示-源码

    2021-02-23 02:41:54
    Gradle编译演示应用程序 使用配置参数创建本地文件(例如,在$HOME/.confluent/java_ccloud.config ),以连接到Confluent Cloud中的Kafka集群。 检查模板文件 IDE向学生显示本地生产者/消费者代码(如果需要) ...
  • kafka的Docker镜像使用说明(wurstmeister/kafka)》 《如何使用Docker内的kafka服务》 《自己动手制作elasticsearch-head的Docker镜像》 《自己动手制作elasticsearch的ik分词器的Docker镜像》 《docker下,一行...

空空如也

空空如也

1 2
收藏数 22
精华内容 8
关键字:

编译kafka的gradle版本