本地安装Kafka
 
一、安装方法
 
前提 ： 本地安装zookeeper
 
1、下载 kafka_2.13-2.5.1.tgz 文件 （带src是源码 如：kafka-2.5.1-src.tgz ，不能安装）
 
2、解压文件，进入目录，创建 logs文件夹。
 进入config目录，打开 server.properties 文件：
 注释
 #log.dirs=/tmp/kafka-logs
 #zookeeper.connect=localhost:2181
 
添加配置
 log.dirs=E:\ProgramFiles\kafka_2.13-2.5.1\logs
 zookeeper.connect=127.0.0.1:2181
 
3、启动 zookeeper
 
4、启动kafka
 WIN+R 输入cmd 进入命令行窗口。
 进入kafka目录 E:\ProgramFiles\kafka_2.13-2.5.1
 输入 .\bin\windows\kafka-server-start.bat .\config\server.properties
 
二、执行kafka命令
 
1、创建主题
 命令行进入目录
 
C:\Users\Administrator>E:
 
E:>cd E:\ProgramFiles\kafka_2.13-2.5.1\bin\windows
 
创建主题
 E:\ProgramFiles\kafka_2.13-2.5.1\bin\windows>kafka-topics.bat --create --zookeeper 127.0.0.1:2181 --replication-factor 1 --partitions 1 --topic test
 Created topic test.
 
2、创建生产者消息
 E:\ProgramFiles\kafka_2.13-2.5.1\bin\windows>kafka-console-producer.bat --broker-list 127.0.0.1:9092 --topic test
 
3、消费者获取消息
 E:\ProgramFiles\kafka_2.13-2.5.1\bin\windows>kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test --from-beginning
 kafka-console-consumer.bat –zookeeper localhost:2181 –topic test
 
查看所有主题
 E:\ProgramFiles\kafka_2.13-2.5.1\bin\windows>kafka-topics.bat -list -zookeeper localhost:2181
 
 
windows下 kafka启动报错：另一个程序正在使用此文件，进程无法访问
 
kafka在windows平台就是有这个BUG，没办法。只能手动删除\kafka_2.12-2.5.0kafka-logs里的日志文件重启kafka
 
 
软件下载 kafka_2.13-2.5.1.tgz
 文档参考 https://blog.csdn.net/lizhitao627619011/article/details/50593278

一、下载安装包，我用的是kafka_2.12-2.3.0 百度盘提取https://pan.baidu.com/s/1G8sp9Y5vkIGraZ7vFS1OSw，提取码：15h2。
 
二、安装
 
1、解压到：D:\Tools\kafka_2.12-2.3.0 ，其实解压到哪里，依据你的习惯吧，解压位置随便。
 
2、修改配置文件:D:\Tools\kafka_2.12-2.3.0\config\server.properties 
 
 
log.dirs=D:\Tools\kafka_2.12-2.3.0\kafka-logs;
 
 
 
解压之后的server.properties 是这样的，
 
  我们要加上面两个配置，如果不加上的话，就会出现：Connection to node 0 could not be established. Broker may not be available.的错误。
 
listeners=PLAINTEXT://0.0.0.0:9092
 advertised.listeners=PLAINTEXT://localhost:9092
 
3、启动
 
（1）启动zookeeper，这个在kafka包下已经有的了，不需要再安装了。在目录D:\Tools\kafka_2.12-2.3.0\bin\windows下的地址栏中直接输入cmd回车就可进入命令窗口。
 
 
输入：zookeeper-server-start.bat ..\..\config\zookeeper.properties
 
（2）启动kafka，和上面进入某目录命令窗口操作一样。目录：E:\softinstall\kafka_2.12-2.2.1\bin\windows      执行：  kafka-server-start.bat ..\..\config\server.properties
 
（3）建pp主题，目录：E:\softinstall\kafka_2.12-2.2.1\bin\windows   执行：kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic pp
 
（4）建消费者，目录：E:\softinstall\kafka_2.12-2.2.1\bin\windows   执行：kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic pp --from-beginning
 
（5）建生产者，E:\softinstall\kafka_2.12-2.2.1\bin\windows    执行：kafka-console-producer.bat --broker-list localhost:9092 --topic  pp
 
（6）然后在窗口5生产者中输入hello可以在窗口4消费者中看到hello字符。
 
 
在springboot中使用KafkaTemplate。
 
一，在pom.xml中加入kafka包
         <dependency>
             <groupId>org.apache.kafka</groupId>
             <artifactId>kafka-clients</artifactId>
         </dependency>
         <dependency>
             <groupId>org.springframework.kafka</groupId>
             <artifactId>spring-kafka</artifactId>
         </dependency>
 
二、properties文件
 
# =============== Kafka配置 Begin ===============
 # 集群地址列表
 spring.kafka.bootstrap-servers=192.168.11.152:9092（我本地的kafka地址来的）
 # 连接超时时间
 spring.kafka.session.timeout.ms=1000
 #请求失败重试次数
 spring.kafka.retries=5
 #spring.kafka.batch.size=16384
 spring.linger.ms=1
 spring.kafka.auto-offset-reset=earliest
 
# 开启手动 ack
 spring.kafka.listener.ack-mode=manual
 
#生产者设置
 spring.kafka.producer.key-serializer=org.apache.kafka.common.serialization.StringSerializer
 spring.kafka.producer.value-serializer=org.apache.kafka.common.serialization.StringSerializer
 #重试次数.
 spring.kafka.producer.retries=10
 #只需要 leader 许可 
 spring.kafka.producer.acks=1
 
spring.kafka.producer.batch-size=16384
 spring.kafka.producer.buffer-memory=33554432
 

 #消费组设置
 #指定默认消费者group id
 spring.kafka.consumer.group-id=tradeGroup
 spring.kafka.consumer.max-poll-records=3000
 spring.kafka.consumer.enable-auto-commit=false
 spring.kafka.consumer.auto-offset-reset=earliest
 spring.kafka.consumer.key-deserializer=org.apache.kafka.common.serialization.StringDeserializer
 spring.kafka.consumer.value-deserializer=org.apache.kafka.common.serialization.StringDeserializer
 # =============== kafka配置 End ===============
 
三、发送消息
 
@Component
 public class KafkaProductService {
 
    @Autowired 
     private KafkaTemplate<String, String> kafkaTemplate;
     
     public boolean send(UserModel userModel) {
          kafkaTemplate.send(KafkaTopic.KAFKA_TEST, JsonUtil.bean2String(userModel));
          return true;
     }
 
}
 
直接使用KafkaTemplate类的send方法进行消息的发送。参数就是topic主题和所发送的消息。
 
四、接收消息
 
@Component
 @Slf4j
 public class KafkaConsumerService {
 
    @KafkaListener(topics={KafkaTopic.KAFKA_TEST})
     public void receiverDataListener(ConsumerRecord<String, String> record ,Acknowledgment ack){
         Optional<String> kafkaMessgger=Optional.ofNullable(record.value());
         if (kafkaMessgger.isPresent()) {
             String messger=kafkaMessgger.get();
             try {
                 log.info("消費成功",messger);
             } catch (Exception e) {
                 log.error("消费失败 offset：{}，message：{}",record);
             }
         }
         ack.acknowledge();
     }
 }
 注解 @KafkaListener(topics={KafkaTopic.KAFKA_TEST})就是消费topic主题是KAFKA_TEST的消息。
 
ConsumerRecord<String, String> record中的record就是所接收的消息来的。打印出来的信息如下
 

docker本地安装kafka（转载）
 
看这篇博客前,假设你已经具有以下环境配置:
 
windows10系统
安装过docker，并且docker可以拉取镜像
 
0.获取本机以太网下的IP
 
打开cmd，输入以下命令
 
ipconfig
 
我当前这台电脑得到的IP是192.168.1.3
 
提示：后面所有需要用到本机ip的地方，读者需要自行换成自己的IP地址
 
1.下载zookeeper镜像
 
docker pull wurstmeister/zookeeper
 
2、启动zookeeper镜像生成容器
 
docker run -d --restart=always --log-driver json-file --log-opt max-size=100m --log-opt max-file=2 --name my_zookeeper -p 2181:2181   wurstmeister/zookeeper
 
3、下载kafka镜像
 
docker pull wurstmeister/kafka
 
4、启动kafka镜像生成容器
 
docker run -d --restart=always --log-driver json-file --log-opt max-size=100m --log-opt max-file=2 --name my_kafka   -p 9092:9092 -e KAFKA_BROKER_ID=0 -e KAFKA_ZOOKEEPER_CONNECT=192.168.1.3:2181/kafka   -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.1.3:9092 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092   wurstmeister/kafka
 
 
 
上述脚本的参数说明如下:
 
 
参数
参数说明
-e KAFKA_BROKER_ID=0
在kafka集群中，每个kafka都有一个BROKER_ID来区分自己
-e KAFKA_ZOOKEEPER_CONNECT=192.168.1.3:2181/kafka
配置zookeeper管理kafka的路径
-e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.1.3:9092
把kafka的地址端口注册给zookeeper，如果是远程访问要改成外网IP,类如Java程序访问出现无法连接。
-e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092
配置kafka的监听端口
-v /etc/localtime:/etc/localtime
容器时间同步虚拟机的时间
5、验证kafka是否可以使用
 
提示 ：kafka_2.13-2.6.0 是我这边当前拉下来的文件夹的名称，不一定完全一致，读者可以自行换成自己的版本的
 
5.1 启一个cmd，来消费kafka测试数据
 
docker exec -it my_kafka bash
 
cd /opt/kafka_2.13-2.6.0/bin/
./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic sun --from-beginning
 
5.2 再启一个cmd来生产kafka测试数据
 
docker exec -it my_kafka bash
 
cd /opt/kafka_2.13-2.6.0/bin/
./kafka-console-producer.sh --broker-list localhost:9092 --topic sun
 
hello world
 
输入hello world再回车，那么5.1的cmd就可以收到相应hello world的信息
 
至此，本地测试搭建完成
 
内容非常干货，所以重新排版，如果能帮到你，那么我会非常高兴
 
该博客转载自 https://www.cnblogs.com/engzhangkai/p/12676613.html

搭建环境
 
1. 安装JDK
 
1.1 安装文件：http://www.oracle.com/technetwork/java/javase/downloads/jre8-downloads-2133155.html下载Server JRE.
 1.2 安装完成后需要添加以下的环境变量（右键点击“我的电脑” -> "高级系统设置" -> "环境变量" ）：
 
 
  
JAVA_HOME: C:\Program Files (x86)\Java\jre1.8.0_60（这个是默认安装路径，如果安装过程中更改了安装目录，把更改后的路径填上就行了）
 
  
PATH: 在现有的值后面添加"; %JAVA_HOME%\bin"
1.3 打开cmd运行 "java -version" 查看当前系统Java的版本：
 
2. 安装Zookeeper
 
      Kafka的运行依赖于Zookeeper，所以在运行Kafka之前我们需要安装并运行Zookeeper
 
2.1 下载安装文件： http://zookeeper.apache.org/releases.html
 
2.2 解压文件（本文解压到 G:\zookeeper-3.4.8）
 
2.3 打开G:\zookeeper-3.4.8\conf，把zoo_sample.cfg重命名成zoo.cfg
 
2.4 从文本编辑器里打开zoo.cfg
 
2.5 把dataDir的值改成“:\zookeeper-3.4.8\data”
 
2.6 添加如下系统变量：
 
    1)ZOOKEEPER_HOME: G:\zookeeper-3.4.8
 
    2)Path: 在现有的值后面添加 ";%ZOOKEEPER_HOME%\bin;"
 
2.7 运行Zookeeper: 打开cmd然后执行zkserver
 
3. 安装并运行Kafka
 
      3.1 下载安装文件： http://kafka.apache.org/downloads.html
 
      3.2 解压文件（本文解压到 G:\kafka_2.11-0.10.0.1）
 
      3.3 打开G:\kafka_2.11-0.10.0.1\config
 
      3.4 从文本编辑器里打开 server.properties
 
      3.5 把 log.dirs的值改成 “G:\kafka_2.11-0.10.0.1\kafka-logs”
 
      3.6 打开cmd
 
      3.7 进入kafka文件目录: cd /d G:\kafka_2.11-0.10.0.1\
 
      3.8 输入并执行以打开kafka:
 
       bin\windows\kafka-server-start.bat config\server.properties
 
 
 
 
 
相关问题：
 
1.cmd进入命令窗口输入命令kafka-server-start.bat ..\..\config\server.properties命令窗口提示：错误: 找不到或无法加载主类 Files\Java\jdk1.8.0_101\lib\dt.jar;C:\Program
 
解决方式：
 
1）、CLASSPATH配置有误，应该是：**.;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar;** 最前面是“小数点”不是“逗号”。
 
2）、java环境由JRE换成JDK的话，需要修改kafka_2.12-1.0.0\bin\windows\kafka-run-class.bat文件。
 
具体修改内容是，将：
 
set COMMAND=%JAVA% %KAFKA_HEAP_OPTS% %KAFKA_JVM_PERFORMANCE_OPTS% %KAFKA_JMX_OPTS% %KAFKA_LOG4J_OPTS% -cp %CLASSPATH% %KAFKA_OPTS% %
 
改为：set COMMAND=%JAVA% %KAFKA_HEAP_OPTS% %KAFKA_JVM_PERFORMANCE_OPTS% %KAFKA_JMX_OPTS% %KAFKA_LOG4J_OPTS% -cp "%CLASSPATH%" %KAFKA_OPTS% %
 
%CLASSPATH%要用双引号。
 
2.找不到或无法加载主类 kafka.Kafka
 
 解决方式：下载的是源码包，需要编译。可以下载Binary downloads：
 
 
 

 --------------------- 
 引用链接来源：
https://blog.csdn.net/cx2932350/article/details/78870135
 
https://357029540.iteye.com/blog/2344579
 
http://www.bubuko.com/infodetail-1852602.html
 
感谢上面三篇博客作者的分享！