精华内容
下载资源
问答
  • docker本地安装kafka(转载) 看这篇博客前,假设你已经具有以下环境配置: windows10系统 安装过docker,并且docker可以拉取镜像 0.获取本机以太网下的IP 打开cmd,输入以下命令 ipconfig 我当前这台电脑得到的IP...

    docker本地安装kafka(转载)

    看这篇博客前,假设你已经具有以下环境配置:

    • windows10系统
    • 安装过docker,并且docker可以拉取镜像

    0.获取本机以太网下的IP

    打开cmd,输入以下命令

    ipconfig
    

    我当前这台电脑得到的IP是192.168.1.3

    提示:后面所有需要用到本机ip的地方,读者需要自行换成自己的IP地址

    1.下载zookeeper镜像

    docker pull wurstmeister/zookeeper
    

    2、启动zookeeper镜像生成容器

    docker run -d --restart=always --log-driver json-file --log-opt max-size=100m --log-opt max-file=2 --name my_zookeeper -p 2181:2181   wurstmeister/zookeeper
    

    3、下载kafka镜像

    docker pull wurstmeister/kafka
    

    4、启动kafka镜像生成容器

    docker run -d --restart=always --log-driver json-file --log-opt max-size=100m --log-opt max-file=2 --name my_kafka   -p 9092:9092 -e KAFKA_BROKER_ID=0 -e KAFKA_ZOOKEEPER_CONNECT=192.168.1.3:2181/kafka   -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.1.3:9092 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092   wurstmeister/kafka
    

    上述脚本的参数说明如下:

    参数 参数说明
    -e KAFKA_BROKER_ID=0 在kafka集群中,每个kafka都有一个BROKER_ID来区分自己
    -e KAFKA_ZOOKEEPER_CONNECT=192.168.1.3:2181/kafka 配置zookeeper管理kafka的路径
    -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.1.3:9092 把kafka的地址端口注册给zookeeper,如果是远程访问要改成外网IP,类如Java程序访问出现无法连接。
    -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 配置kafka的监听端口
    -v /etc/localtime:/etc/localtime 容器时间同步虚拟机的时间

    5、验证kafka是否可以使用

    提示 :kafka_2.13-2.6.0 是我这边当前拉下来的文件夹的名称,不一定完全一致,读者可以自行换成自己的版本的

    5.1 启一个cmd,来消费kafka测试数据

    docker exec -it my_kafka bash
    
    cd /opt/kafka_2.13-2.6.0/bin/
    ./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic sun --from-beginning
    

    5.2 再启一个cmd来生产kafka测试数据

    docker exec -it my_kafka bash
    
    cd /opt/kafka_2.13-2.6.0/bin/
    ./kafka-console-producer.sh --broker-list localhost:9092 --topic sun
    
    hello world
    

    输入hello world再回车,那么5.1的cmd就可以收到相应hello world的信息

    至此,本地测试搭建完成

    内容非常干货,所以重新排版,如果能帮到你,那么我会非常高兴

    该博客转载自 https://www.cnblogs.com/engzhangkai/p/12676613.html

    展开全文
  • 本地安装kafka和使用

    2020-09-11 15:01:36
    下载安装包,我用的是kafka_2.12-2.3.0,提取码:05jw

    一、下载安装包,我用的是kafka_2.12-2.3.0 百度盘提取https://pan.baidu.com/s/1G8sp9Y5vkIGraZ7vFS1OSw,提取码:15h2。

    二、安装

    1、解压到:D:\Tools\kafka_2.12-2.3.0 ,其实解压到哪里,依据你的习惯吧,解压位置随便。

    2、修改配置文件:D:\Tools\kafka_2.12-2.3.0\config\server.properties 

    log.dirs=D:\Tools\kafka_2.12-2.3.0\kafka-logs;

    解压之后的server.properties 是这样的,

      我们要加上面两个配置,如果不加上的话,就会出现:Connection to node 0 could not be established. Broker may not be available.的错误。

    listeners=PLAINTEXT://0.0.0.0:9092
    advertised.listeners=PLAINTEXT://localhost:9092

    3、启动

    (1)启动zookeeper,这个在kafka包下已经有的了,不需要再安装了。在目录D:\Tools\kafka_2.12-2.3.0\bin\windows下的地址栏中直接输入cmd回车就可进入命令窗口。

    输入:zookeeper-server-start.bat ..\..\config\zookeeper.properties

    (2)启动kafka,和上面进入某目录命令窗口操作一样。目录:E:\softinstall\kafka_2.12-2.2.1\bin\windows      执行:  kafka-server-start.bat ..\..\config\server.properties

    (3)建pp主题,目录:E:\softinstall\kafka_2.12-2.2.1\bin\windows   执行:kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic pp

    (4)建消费者,目录:E:\softinstall\kafka_2.12-2.2.1\bin\windows   执行:kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic pp --from-beginning

    (5)建生产者,E:\softinstall\kafka_2.12-2.2.1\bin\windows    执行:kafka-console-producer.bat --broker-list localhost:9092 --topic  pp

    (6)然后在窗口5生产者中输入hello可以在窗口4消费者中看到hello字符。

    在springboot中使用KafkaTemplate。

    一,在pom.xml中加入kafka包
            <dependency>
                <groupId>org.apache.kafka</groupId>
                <artifactId>kafka-clients</artifactId>
            </dependency>
            <dependency>
                <groupId>org.springframework.kafka</groupId>
                <artifactId>spring-kafka</artifactId>
            </dependency>

    二、properties文件

    # =============== Kafka配置 Begin ===============
    # 集群地址列表
    spring.kafka.bootstrap-servers=192.168.11.152:9092(我本地的kafka地址来的)
    # 连接超时时间
    spring.kafka.session.timeout.ms=1000
    #请求失败重试次数
    spring.kafka.retries=5
    #spring.kafka.batch.size=16384
    spring.linger.ms=1
    spring.kafka.auto-offset-reset=earliest

    # 开启手动 ack
    spring.kafka.listener.ack-mode=manual

    #生产者设置
    spring.kafka.producer.key-serializer=org.apache.kafka.common.serialization.StringSerializer
    spring.kafka.producer.value-serializer=org.apache.kafka.common.serialization.StringSerializer
    #重试次数.
    spring.kafka.producer.retries=10
    #只需要 leader 许可 
    spring.kafka.producer.acks=1

    spring.kafka.producer.batch-size=16384
    spring.kafka.producer.buffer-memory=33554432


    #消费组设置
    #指定默认消费者group id
    spring.kafka.consumer.group-id=tradeGroup
    spring.kafka.consumer.max-poll-records=3000
    spring.kafka.consumer.enable-auto-commit=false
    spring.kafka.consumer.auto-offset-reset=earliest
    spring.kafka.consumer.key-deserializer=org.apache.kafka.common.serialization.StringDeserializer
    spring.kafka.consumer.value-deserializer=org.apache.kafka.common.serialization.StringDeserializer
    # =============== kafka配置 End ===============

    三、发送消息

    @Component
    public class KafkaProductService {

        @Autowired 
        private KafkaTemplate<String, String> kafkaTemplate;
        
        public boolean send(UserModel userModel) {
             kafkaTemplate.send(KafkaTopic.KAFKA_TEST, JsonUtil.bean2String(userModel));
             return true;
        }

    }

    直接使用KafkaTemplate类的send方法进行消息的发送。参数就是topic主题和所发送的消息。

    四、接收消息

    @Component
    @Slf4j
    public class KafkaConsumerService {

        @KafkaListener(topics={KafkaTopic.KAFKA_TEST})
        public void receiverDataListener(ConsumerRecord<String, String> record ,Acknowledgment ack){
            Optional<String> kafkaMessgger=Optional.ofNullable(record.value());
            if (kafkaMessgger.isPresent()) {
                String messger=kafkaMessgger.get();
                try {
                    log.info("消費成功",messger);
                } catch (Exception e) {
                    log.error("消费失败 offset:{},message:{}",record);
                }
            }
            ack.acknowledge();
        }
    }
    注解 @KafkaListener(topics={KafkaTopic.KAFKA_TEST})就是消费topic主题是KAFKA_TEST的消息。

    ConsumerRecord<String, String> record中的record就是所接收的消息来的。打印出来的信息如下

    展开全文
  • 1. 安装JDK 1.1 安装文件:http://www.oracle.com/technetwork/java/javase/downloads/jre8-downloads-2133155.html下载Server JRE. 1.2 安装完成后需要添加以下的环境变量(右键点击“我的电脑” -&gt; "...

    搭建环境

    1. 安装JDK

    1.1 安装文件:http://www.oracle.com/technetwork/java/javase/downloads/jre8-downloads-2133155.html下载Server JRE.
    1.2 安装完成后需要添加以下的环境变量(右键点击“我的电脑” -> "高级系统设置" -> "环境变量" ):

      • JAVA_HOME: C:\Program Files (x86)\Java\jre1.8.0_60(这个是默认安装路径,如果安装过程中更改了安装目录,把更改后的路径填上就行了)
      • PATH: 在现有的值后面添加"; %JAVA_HOME%\bin"

    1.3 打开cmd运行 "java -version" 查看当前系统Java的版本:java-version

    2. 安装Zookeeper

          Kafka的运行依赖于Zookeeper,所以在运行Kafka之前我们需要安装并运行Zookeeper

    2.1 下载安装文件: http://zookeeper.apache.org/releases.html

    2.2 解压文件(本文解压到 G:\zookeeper-3.4.8)

    2.3 打开G:\zookeeper-3.4.8\conf,把zoo_sample.cfg重命名成zoo.cfg

    2.4 从文本编辑器里打开zoo.cfg

    2.5 把dataDir的值改成“:\zookeeper-3.4.8\data”

    2.6 添加如下系统变量:

        1)ZOOKEEPER_HOME: G:\zookeeper-3.4.8

        2)Path: 在现有的值后面添加 ";%ZOOKEEPER_HOME%\bin;"

    2.7 运行Zookeeper: 打开cmd然后执行zkserver

    3. 安装并运行Kafka

          3.1 下载安装文件: http://kafka.apache.org/downloads.html

          3.2 解压文件(本文解压到 G:\kafka_2.11-0.10.0.1)

          3.3 打开G:\kafka_2.11-0.10.0.1\config

          3.4 从文本编辑器里打开 server.properties

          3.5 把 log.dirs的值改成 “G:\kafka_2.11-0.10.0.1\kafka-logs”

          3.6 打开cmd

          3.7 进入kafka文件目录: cd /d G:\kafka_2.11-0.10.0.1\

          3.8 输入并执行以打开kafka:

           bin\windows\kafka-server-start.bat config\server.properties

     

     

    相关问题:

    1.cmd进入命令窗口输入命令kafka-server-start.bat ..\..\config\server.properties命令窗口提示:错误: 找不到或无法加载主类 Files\Java\jdk1.8.0_101\lib\dt.jar;C:\Program

    解决方式:

    1)、CLASSPATH配置有误,应该是:**.;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar;** 最前面是“小数点”不是“逗号”。

    2)、java环境由JRE换成JDK的话,需要修改kafka_2.12-1.0.0\bin\windows\kafka-run-class.bat文件。

    具体修改内容是,将:

    set COMMAND=%JAVA% %KAFKA_HEAP_OPTS% %KAFKA_JVM_PERFORMANCE_OPTS% %KAFKA_JMX_OPTS% %KAFKA_LOG4J_OPTS% -cp %CLASSPATH% %KAFKA_OPTS% %

    改为:set COMMAND=%JAVA% %KAFKA_HEAP_OPTS% %KAFKA_JVM_PERFORMANCE_OPTS% %KAFKA_JMX_OPTS% %KAFKA_LOG4J_OPTS% -cp "%CLASSPATH%" %KAFKA_OPTS% %

    %CLASSPATH%要用双引号。

    2.找不到或无法加载主类 kafka.Kafka

     解决方式:下载的是源码包,需要编译。可以下载Binary downloads:

     


    --------------------- 
    引用链接来源:
    https://blog.csdn.net/cx2932350/article/details/78870135

    https://357029540.iteye.com/blog/2344579

    http://www.bubuko.com/infodetail-1852602.html

    感谢上面三篇博客作者的分享!

     

    展开全文
  • kafka本地安装方法

    2020-10-27 13:56:23
    一、本地安装Kafka 1、 下载 kafka_2.13-2.5.1.tgz 文件 (带src是源码 如:kafka-2.5.1-src.tgz ,不能安装) 2、解压文件,进入目录,创建 logs文件夹。 进入config目录,打开 server.properties 文件: 注释 #...

    一、本地安装Kafka

    1、 下载 kafka_2.13-2.5.1.tgz 文件 (带src是源码 如:kafka-2.5.1-src.tgz ,不能安装)(下载路径参看文章结尾)  
    
    2、解压文件,进入目录,创建 logs文件夹。
    进入config目录,打开 server.properties 文件:
    注释 
    #log.dirs=/tmp/kafka-logs
    #zookeeper.connect=localhost:2181
    
    添加配置
    log.dirs=E:\ProgramFiles\kafka_2.13-2.5.1\logs
    zookeeper.connect=127.0.0.1:2181
    
    3、启动 zookeeper (参考文章结尾)   
    
    4、启动kafka  
    WIN+R 输入cmd 进入命令行窗口。
    进入kafka目录,输入  .\bin\windows\kafka-server-start.bat .\config\server.properties
    
    

    二、执行kafka命令

    1、创建主题
    命令行进入目录
    
    C:\Users\Administrator>E:
    
    E:\>cd E:\ProgramFiles\kafka_2.13-2.5.1\bin\windows
    
    E:\ProgramFiles\kafka_2.13-2.5.1\bin\windows>kafka-topics.bat --create --zookeeper 127.0.0.1:2181 --replication-factor 1 --partitions 1 --topic test
    Created topic test.
    
    
    2、创建生产者消息
    E:\ProgramFiles\kafka_2.13-2.5.1\bin\windows>kafka-console-producer.bat --broker-list 127.0.0.1:9092 --topic test
    
    3、消费者获取消息
    E:\ProgramFiles\kafka_2.13-2.5.1\bin\windows>kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test --from-beginning
    kafka-console-consumer.bat –zookeeper localhost:2181 –topic test
    
    
    查看所有主题
    E:\ProgramFiles\kafka_2.13-2.5.1\bin\windows>kafka-topics.bat -list -zookeeper localhost:2181
    
    

    kafka_2.13-2.5.1
    zookeeper安装
    kafka工具
    安装参考

    展开全文
  • 【kafka】Centos7安装kafka

    万次阅读 2019-01-08 19:12:44
    一、前言 前一段时间在通知系统中...这里先记录一下本地安装kafka的过程。 二 、kafka介绍 kafka,先说说小编最初认识是在学习mq的时候,当时知道使用的mq有很多种,rocketmq,rabbitmq等等。后来在项目中选择了rabb...
  • 下载本文采用 kafka_2.13-2.6.0 版本,2.13 是scala版本号,2.6.0 是kafka版本号zookeeperkafka依赖zookeeperkafka内置了...但一般不用内置的kafka_2.13-2.6.0 版本 需要zookeeper 3.5.8 版本查看方式:安装、启...
  • kafka 本地安装

    2018-05-22 16:07:20
    windows 版mac 版kafka mac 安装教程 :http://blog.csdn.net/u010046908/article/details/62229015最好下载和公司一个版本的 kafka ,避免公司api冲突。 公司版本 kafka 安装包 :kafka_2.10-0.8.2.2.tgzkafka 监控...
  • 使用confluent本地安装和使用kafka

    万次阅读 2018-10-26 18:37:34
    转载请注明出处:使用confluent本地安装和使用kafka confluent简介 confluent是平台化的工具,封装了kafka,让我们可以更方便的安装和使用监控kafka,作用类似于CDH对于Hadoop。 confluent是由LinkedIn开发出Apache ...
  • 一时心痒痒,就想本地安装一下,环境是 window7,作为记录,便于以后查阅。基本环境jdk apache kafka 基于 java 实现,所以需要安装下 java 基本环境。λjava-versionjavaversion"1.8.0_102"Java(TM)...
  • 本地虚拟机redhat7安装kafka教程第二步----kafka的安装与配置因工作需求,要从kafka中读取数据,今天鼓捣了一天,做个记录1、下载Kafka版本 本次下载的是kafka_2.10-0.10.1.1.tgz版本,可以使用wget下载,来个五选...
  • mac 本地搭建kafka

    2020-10-12 02:10:33
    1、安装kafka brew install kafka 这里安装的时候有好几个文件都报错了,没有下载成功,我直接退出重新安装两次才成功 如果安装的时候虽然报错但是安装了kafka 那么需要brew reinstall kafka一下重新安装一下 2、...
  • springboot+本地kafka

    2020-03-17 15:03:25
    本地安装kafka 1、下载安装文件: http://kafka.apache.org/downloads.html 2、解压文件到本地目录下,打开kafka_2.11-0.10.0.1\新建文件夹logs 3、kafka_2.11-0.10.0.1\config打开server.properties 4、将log.dirs...
  • spark streaming一般会接消息队列作为数据源,以kafka为例,所以需要在本地安装kafka。kafka又依赖zookeeper,所以还需要安装zookeeper。 3. 安装zookeeper 3.1 下载zk 先去zookeeper官网下载zookeeper对应的.bi
  • 本地虚拟机redhat7安装kafka教程第三步----kafka的启动当zookeeper和kafka都已经安装、配置完毕以后,就可以启动kafka,进行简单的数据发送和接收了1、启动zookeeper启动命令参考教程第一步:...# cd /liha...
  • 1.概述 1.1 Confluent Kafka简介 2014年,Kafka的创始人Jay Kreps、...confluent是平台化的工具,封装了kafka,让我们可以更方便的安装和使用监控kafka,作用类似于CDH对于Hadoop。 confluent是由LinkedIn开发出.
  • window安装kafka,进行本地调试

    千次阅读 2019-04-10 09:07:26
    1.官网下载kafka安装包 http://kafka.apache.org/downloads 2.官网下载zookeeper http://zookeeper.apache.org/ 3.先启动zookeeper.执行zkServer.cmd命令 4.启动kafka .\bin\windows\kafka-server-start...
  • Kafka本地安装笔记

    2019-08-03 16:02:49
    本地手工玩一下kakfa,这里我用的MacOS,因此用brew安装。这里整理了下自己的安装笔记。首先java环境这里就不说了。 一、安装zookeeper brew的安装这里就不说了,直接安装zookeeper。运行以下命令即可。这里可能...
  • mac包安装kafka

    2018-11-14 14:15:05
    (安装kafka前应在本地先安装java的jdk,因为zookeeper需要依赖java虚拟机) 下载地址:https://kafka.apache.org/down… wget http://mirrors.shuosc.org/apache/kafka/2.0.0/kafka_2.11-2.0.0.tgz 解压: tar -zxvf ...
  • Windows 下本地运行 Kafka

    千次阅读 2018-11-21 22:41:43
    文章目录介绍环境安装运行调试本地运行遇到的问题 介绍 本地运行 kafka,运行生产消费实例。 Kafka 是一个分布式发布-订阅消息系统。Zookeeper 是一个高性能分布式应用协调服务。 他们之间的关系 参考 环境安装 1. ...
  • 在上一章http://blog.csdn.net/boling_cavalry/article/details/71576775中我们快速体验了kafka的消息分发和订阅功能,但是对环境搭建的印象仅仅是执行了几个命令和脚本,本章我们通过实战来...,搭建本地kafka环境...
  • Kafka集群搭建准备工作Kafka 依赖 ZooKeeper ,所以需要提前安装好 ZooKeeper ,启动单机的zk即可 。关于安装ZooKeeper的流程可以参考我之前写的:ZooKeeper集群搭建单机模式解压安装包解压我们下载的安装包;解压...
  • linux下安装kafka

    2020-08-20 17:05:10
    linux下安装kafka,首先确保zookeeper已经安装成功,想要安装zookeeper,必须先在linux中安装好jdk。 下面我们依次开始安装jdk,zookeeper,kafka。 一:安装jdk:  1.检查linux环境是否安装了jdk可以用java -...
  • windows安装kafka过程 【本地测试】外赋快速启动小脚本 winsows 上装kafka也蛮简单方便  下载:wget https://www.apache.org/dyn/closer.cgi?path=/kafka/2.1.0/kafka_2.12-2.1.0.tgz  解压到某...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 419
精华内容 167
关键字:

本地安装kafka