docker本地安装kafka（转载）
看这篇博客前,假设你已经具有以下环境配置:

windows10系统
安装过docker，并且docker可以拉取镜像

0.获取本机以太网下的IP
打开cmd，输入以下命令
ipconfig

我当前这台电脑得到的IP是192.168.1.3
提示：后面所有需要用到本机ip的地方，读者需要自行换成自己的IP地址
1.下载zookeeper镜像
docker pull wurstmeister/zookeeper

2、启动zookeeper镜像生成容器
docker run -d --restart=always --log-driver json-file --log-opt max-size=100m --log-opt max-file=2 --name my_zookeeper -p 2181:2181   wurstmeister/zookeeper

3、下载kafka镜像
docker pull wurstmeister/kafka

4、启动kafka镜像生成容器
docker run -d --restart=always --log-driver json-file --log-opt max-size=100m --log-opt max-file=2 --name my_kafka   -p 9092:9092 -e KAFKA_BROKER_ID=0 -e KAFKA_ZOOKEEPER_CONNECT=192.168.1.3:2181/kafka   -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.1.3:9092 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092   wurstmeister/kafka


上述脚本的参数说明如下:





参数
参数说明




-e KAFKA_BROKER_ID=0
在kafka集群中，每个kafka都有一个BROKER_ID来区分自己


-e KAFKA_ZOOKEEPER_CONNECT=192.168.1.3:2181/kafka
配置zookeeper管理kafka的路径


-e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.1.3:9092
把kafka的地址端口注册给zookeeper，如果是远程访问要改成外网IP,类如Java程序访问出现无法连接。


-e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092
配置kafka的监听端口


-v /etc/localtime:/etc/localtime
容器时间同步虚拟机的时间


5、验证kafka是否可以使用
提示 ：kafka_2.13-2.6.0 是我这边当前拉下来的文件夹的名称，不一定完全一致，读者可以自行换成自己的版本的
5.1 启一个cmd，来消费kafka测试数据
docker exec -it my_kafka bash

cd /opt/kafka_2.13-2.6.0/bin/
./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic sun --from-beginning

5.2 再启一个cmd来生产kafka测试数据
docker exec -it my_kafka bash

cd /opt/kafka_2.13-2.6.0/bin/
./kafka-console-producer.sh --broker-list localhost:9092 --topic sun

hello world

输入hello world再回车，那么5.1的cmd就可以收到相应hello world的信息
至此，本地测试搭建完成
内容非常干货，所以重新排版，如果能帮到你，那么我会非常高兴
该博客转载自 https://www.cnblogs.com/engzhangkai/p/12676613.html

一、下载安装包，我用的是kafka_2.12-2.3.0 百度盘提取https://pan.baidu.com/s/1G8sp9Y5vkIGraZ7vFS1OSw，提取码：15h2。

二、安装

1、解压到：D:\Tools\kafka_2.12-2.3.0 ，其实解压到哪里，依据你的习惯吧，解压位置随便。

2、修改配置文件:D:\Tools\kafka_2.12-2.3.0\config\server.properties 



log.dirs=D:\Tools\kafka_2.12-2.3.0\kafka-logs;





解压之后的server.properties 是这样的，

  我们要加上面两个配置，如果不加上的话，就会出现：Connection to node 0 could not be established. Broker may not be available.的错误。

listeners=PLAINTEXT://0.0.0.0:9092

advertised.listeners=PLAINTEXT://localhost:9092

3、启动

（1）启动zookeeper，这个在kafka包下已经有的了，不需要再安装了。在目录D:\Tools\kafka_2.12-2.3.0\bin\windows下的地址栏中直接输入cmd回车就可进入命令窗口。



输入：zookeeper-server-start.bat ..\..\config\zookeeper.properties

（2）启动kafka，和上面进入某目录命令窗口操作一样。目录：E:\softinstall\kafka_2.12-2.2.1\bin\windows      执行：  kafka-server-start.bat ..\..\config\server.properties

（3）建pp主题，目录：E:\softinstall\kafka_2.12-2.2.1\bin\windows   执行：kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic pp

（4）建消费者，目录：E:\softinstall\kafka_2.12-2.2.1\bin\windows   执行：kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic pp --from-beginning

（5）建生产者，E:\softinstall\kafka_2.12-2.2.1\bin\windows    执行：kafka-console-producer.bat --broker-list localhost:9092 --topic  pp

（6）然后在窗口5生产者中输入hello可以在窗口4消费者中看到hello字符。



在springboot中使用KafkaTemplate。

一，在pom.xml中加入kafka包

        <dependency>

            <groupId>org.apache.kafka</groupId>

            <artifactId>kafka-clients</artifactId>

        </dependency>

        <dependency>

            <groupId>org.springframework.kafka</groupId>

            <artifactId>spring-kafka</artifactId>

        </dependency>

二、properties文件

# =============== Kafka配置 Begin ===============

# 集群地址列表

spring.kafka.bootstrap-servers=192.168.11.152:9092（我本地的kafka地址来的）

# 连接超时时间

spring.kafka.session.timeout.ms=1000

#请求失败重试次数

spring.kafka.retries=5

#spring.kafka.batch.size=16384

spring.linger.ms=1

spring.kafka.auto-offset-reset=earliest

# 开启手动 ack

spring.kafka.listener.ack-mode=manual

#生产者设置

spring.kafka.producer.key-serializer=org.apache.kafka.common.serialization.StringSerializer

spring.kafka.producer.value-serializer=org.apache.kafka.common.serialization.StringSerializer

#重试次数.

spring.kafka.producer.retries=10

#只需要 leader 许可 

spring.kafka.producer.acks=1

spring.kafka.producer.batch-size=16384

spring.kafka.producer.buffer-memory=33554432



#消费组设置

#指定默认消费者group id

spring.kafka.consumer.group-id=tradeGroup

spring.kafka.consumer.max-poll-records=3000

spring.kafka.consumer.enable-auto-commit=false

spring.kafka.consumer.auto-offset-reset=earliest

spring.kafka.consumer.key-deserializer=org.apache.kafka.common.serialization.StringDeserializer

spring.kafka.consumer.value-deserializer=org.apache.kafka.common.serialization.StringDeserializer

# =============== kafka配置 End ===============

三、发送消息

@Component

public class KafkaProductService {

    @Autowired 

    private KafkaTemplate<String, String> kafkaTemplate;

    

    public boolean send(UserModel userModel) {

         kafkaTemplate.send(KafkaTopic.KAFKA_TEST, JsonUtil.bean2String(userModel));

         return true;

    }

}

直接使用KafkaTemplate类的send方法进行消息的发送。参数就是topic主题和所发送的消息。

四、接收消息

@Component

@Slf4j

public class KafkaConsumerService {

    @KafkaListener(topics={KafkaTopic.KAFKA_TEST})

    public void receiverDataListener(ConsumerRecord<String, String> record ,Acknowledgment ack){

        Optional<String> kafkaMessgger=Optional.ofNullable(record.value());

        if (kafkaMessgger.isPresent()) {

            String messger=kafkaMessgger.get();

            try {

                log.info("消費成功",messger);

            } catch (Exception e) {

                log.error("消费失败 offset：{}，message：{}",record);

            }

        }

        ack.acknowledge();

    }

}

注解 @KafkaListener(topics={KafkaTopic.KAFKA_TEST})就是消费topic主题是KAFKA_TEST的消息。

ConsumerRecord<String, String> record中的record就是所接收的消息来的。打印出来的信息如下

搭建环境

1. 安装JDK

1.1 安装文件：http://www.oracle.com/technetwork/java/javase/downloads/jre8-downloads-2133155.html下载Server JRE.

1.2 安装完成后需要添加以下的环境变量（右键点击“我的电脑” -> "高级系统设置" -> "环境变量" ）：


	
JAVA_HOME: C:\Program Files (x86)\Java\jre1.8.0_60（这个是默认安装路径，如果安装过程中更改了安装目录，把更改后的路径填上就行了）
	

	
PATH: 在现有的值后面添加"; %JAVA_HOME%\bin"
	
1.3 打开cmd运行 "java -version" 查看当前系统Java的版本：

2. 安装Zookeeper

      Kafka的运行依赖于Zookeeper，所以在运行Kafka之前我们需要安装并运行Zookeeper

2.1 下载安装文件： http://zookeeper.apache.org/releases.html

2.2 解压文件（本文解压到 G:\zookeeper-3.4.8）

2.3 打开G:\zookeeper-3.4.8\conf，把zoo_sample.cfg重命名成zoo.cfg

2.4 从文本编辑器里打开zoo.cfg

2.5 把dataDir的值改成“:\zookeeper-3.4.8\data”

2.6 添加如下系统变量：

    1)ZOOKEEPER_HOME: G:\zookeeper-3.4.8

    2)Path: 在现有的值后面添加 ";%ZOOKEEPER_HOME%\bin;"

2.7 运行Zookeeper: 打开cmd然后执行zkserver

3. 安装并运行Kafka

      3.1 下载安装文件： http://kafka.apache.org/downloads.html

      3.2 解压文件（本文解压到 G:\kafka_2.11-0.10.0.1）

      3.3 打开G:\kafka_2.11-0.10.0.1\config

      3.4 从文本编辑器里打开 server.properties

      3.5 把 log.dirs的值改成 “G:\kafka_2.11-0.10.0.1\kafka-logs”

      3.6 打开cmd

      3.7 进入kafka文件目录: cd /d G:\kafka_2.11-0.10.0.1\

      3.8 输入并执行以打开kafka:

       bin\windows\kafka-server-start.bat config\server.properties

 

 

相关问题：

1.cmd进入命令窗口输入命令kafka-server-start.bat ..\..\config\server.properties命令窗口提示：错误: 找不到或无法加载主类 Files\Java\jdk1.8.0_101\lib\dt.jar;C:\Program

解决方式：

1）、CLASSPATH配置有误，应该是：**.;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar;** 最前面是“小数点”不是“逗号”。

2）、java环境由JRE换成JDK的话，需要修改kafka_2.12-1.0.0\bin\windows\kafka-run-class.bat文件。

具体修改内容是，将：

set COMMAND=%JAVA% %KAFKA_HEAP_OPTS% %KAFKA_JVM_PERFORMANCE_OPTS% %KAFKA_JMX_OPTS% %KAFKA_LOG4J_OPTS% -cp %CLASSPATH% %KAFKA_OPTS% %

改为：set COMMAND=%JAVA% %KAFKA_HEAP_OPTS% %KAFKA_JVM_PERFORMANCE_OPTS% %KAFKA_JMX_OPTS% %KAFKA_LOG4J_OPTS% -cp "%CLASSPATH%" %KAFKA_OPTS% %

%CLASSPATH%要用双引号。

2.找不到或无法加载主类 kafka.Kafka

 解决方式：下载的是源码包，需要编译。可以下载Binary downloads：

 



--------------------- 

引用链接来源：
https://blog.csdn.net/cx2932350/article/details/78870135

https://357029540.iteye.com/blog/2344579

http://www.bubuko.com/infodetail-1852602.html

感谢上面三篇博客作者的分享！

 

一、本地安装Kafka
1、 下载 kafka_2.13-2.5.1.tgz 文件 （带src是源码 如：kafka-2.5.1-src.tgz ，不能安装）（下载路径参看文章结尾）  

2、解压文件，进入目录，创建 logs文件夹。
进入config目录，打开 server.properties 文件：
注释 
#log.dirs=/tmp/kafka-logs
#zookeeper.connect=localhost:2181

添加配置
log.dirs=E:\ProgramFiles\kafka_2.13-2.5.1\logs
zookeeper.connect=127.0.0.1:2181

3、启动 zookeeper （参考文章结尾）   

4、启动kafka  
WIN+R 输入cmd 进入命令行窗口。
进入kafka目录，输入  .\bin\windows\kafka-server-start.bat .\config\server.properties


二、执行kafka命令
1、创建主题
命令行进入目录

C:\Users\Administrator>E:

E:\>cd E:\ProgramFiles\kafka_2.13-2.5.1\bin\windows

E:\ProgramFiles\kafka_2.13-2.5.1\bin\windows>kafka-topics.bat --create --zookeeper 127.0.0.1:2181 --replication-factor 1 --partitions 1 --topic test
Created topic test.


2、创建生产者消息
E:\ProgramFiles\kafka_2.13-2.5.1\bin\windows>kafka-console-producer.bat --broker-list 127.0.0.1:9092 --topic test

3、消费者获取消息
E:\ProgramFiles\kafka_2.13-2.5.1\bin\windows>kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test --from-beginning
kafka-console-consumer.bat –zookeeper localhost:2181 –topic test


查看所有主题
E:\ProgramFiles\kafka_2.13-2.5.1\bin\windows>kafka-topics.bat -list -zookeeper localhost:2181



kafka_2.13-2.5.1

zookeeper安装

kafka工具

安装参考