-
docker本地安装kafka(转载)
2020-11-22 01:42:40docker本地安装kafka(转载) 看这篇博客前,假设你已经具有以下环境配置: windows10系统 安装过docker,并且docker可以拉取镜像 0.获取本机以太网下的IP 打开cmd,输入以下命令 ipconfig 我当前这台电脑得到的IP...docker本地安装kafka(转载)
看这篇博客前,假设你已经具有以下环境配置:
- windows10系统
- 安装过docker,并且docker可以拉取镜像
0.获取本机以太网下的IP
打开cmd,输入以下命令
ipconfig
我当前这台电脑得到的IP是192.168.1.3
提示:后面所有需要用到本机ip的地方,读者需要自行换成自己的IP地址
1.下载zookeeper镜像
docker pull wurstmeister/zookeeper
2、启动zookeeper镜像生成容器
docker run -d --restart=always --log-driver json-file --log-opt max-size=100m --log-opt max-file=2 --name my_zookeeper -p 2181:2181 wurstmeister/zookeeper
3、下载kafka镜像
docker pull wurstmeister/kafka
4、启动kafka镜像生成容器
docker run -d --restart=always --log-driver json-file --log-opt max-size=100m --log-opt max-file=2 --name my_kafka -p 9092:9092 -e KAFKA_BROKER_ID=0 -e KAFKA_ZOOKEEPER_CONNECT=192.168.1.3:2181/kafka -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.1.3:9092 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 wurstmeister/kafka
上述脚本的参数说明如下:
参数 参数说明 -e KAFKA_BROKER_ID=0 在kafka集群中,每个kafka都有一个BROKER_ID来区分自己 -e KAFKA_ZOOKEEPER_CONNECT=192.168.1.3:2181/kafka 配置zookeeper管理kafka的路径 -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.1.3:9092 把kafka的地址端口注册给zookeeper,如果是远程访问要改成外网IP,类如Java程序访问出现无法连接。 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 配置kafka的监听端口 -v /etc/localtime:/etc/localtime 容器时间同步虚拟机的时间 5、验证kafka是否可以使用
提示 :kafka_2.13-2.6.0 是我这边当前拉下来的文件夹的名称,不一定完全一致,读者可以自行换成自己的版本的
5.1 启一个cmd,来消费kafka测试数据
docker exec -it my_kafka bash
cd /opt/kafka_2.13-2.6.0/bin/ ./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic sun --from-beginning
5.2 再启一个cmd来生产kafka测试数据
docker exec -it my_kafka bash
cd /opt/kafka_2.13-2.6.0/bin/ ./kafka-console-producer.sh --broker-list localhost:9092 --topic sun
hello world
输入hello world再回车,那么5.1的cmd就可以收到相应hello world的信息
至此,本地测试搭建完成
内容非常干货,所以重新排版,如果能帮到你,那么我会非常高兴
该博客转载自 https://www.cnblogs.com/engzhangkai/p/12676613.html
-
本地安装kafka和使用
2020-09-11 15:01:36下载安装包,我用的是kafka_2.12-2.3.0,提取码:05jw一、下载安装包,我用的是kafka_2.12-2.3.0 百度盘提取https://pan.baidu.com/s/1G8sp9Y5vkIGraZ7vFS1OSw,提取码:15h2。
二、安装
1、解压到:D:\Tools\kafka_2.12-2.3.0 ,其实解压到哪里,依据你的习惯吧,解压位置随便。
2、修改配置文件:D:\Tools\kafka_2.12-2.3.0\config\server.properties
log.dirs=D:\Tools\kafka_2.12-2.3.0\kafka-logs;
解压之后的server.properties 是这样的,
我们要加上面两个配置,如果不加上的话,就会出现:Connection to node 0 could not be established. Broker may not be available.的错误。
listeners=PLAINTEXT://0.0.0.0:9092
advertised.listeners=PLAINTEXT://localhost:90923、启动
(1)启动zookeeper,这个在kafka包下已经有的了,不需要再安装了。在目录D:\Tools\kafka_2.12-2.3.0\bin\windows下的地址栏中直接输入cmd回车就可进入命令窗口。
输入:zookeeper-server-start.bat ..\..\config\zookeeper.properties
(2)启动kafka,和上面进入某目录命令窗口操作一样。目录:E:\softinstall\kafka_2.12-2.2.1\bin\windows 执行: kafka-server-start.bat ..\..\config\server.properties
(3)建pp主题,目录:E:\softinstall\kafka_2.12-2.2.1\bin\windows 执行:kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic pp
(4)建消费者,目录:E:\softinstall\kafka_2.12-2.2.1\bin\windows 执行:kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic pp --from-beginning
(5)建生产者,E:\softinstall\kafka_2.12-2.2.1\bin\windows 执行:kafka-console-producer.bat --broker-list localhost:9092 --topic pp
(6)然后在窗口5生产者中输入hello可以在窗口4消费者中看到hello字符。
在springboot中使用KafkaTemplate。
一,在pom.xml中加入kafka包
<dependency>
<groupId>org.apache.kafka</groupId>
<artifactId>kafka-clients</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.kafka</groupId>
<artifactId>spring-kafka</artifactId>
</dependency>二、properties文件
# =============== Kafka配置 Begin ===============
# 集群地址列表
spring.kafka.bootstrap-servers=192.168.11.152:9092(我本地的kafka地址来的)
# 连接超时时间
spring.kafka.session.timeout.ms=1000
#请求失败重试次数
spring.kafka.retries=5
#spring.kafka.batch.size=16384
spring.linger.ms=1
spring.kafka.auto-offset-reset=earliest# 开启手动 ack
spring.kafka.listener.ack-mode=manual#生产者设置
spring.kafka.producer.key-serializer=org.apache.kafka.common.serialization.StringSerializer
spring.kafka.producer.value-serializer=org.apache.kafka.common.serialization.StringSerializer
#重试次数.
spring.kafka.producer.retries=10
#只需要 leader 许可
spring.kafka.producer.acks=1spring.kafka.producer.batch-size=16384
spring.kafka.producer.buffer-memory=33554432
#消费组设置
#指定默认消费者group id
spring.kafka.consumer.group-id=tradeGroup
spring.kafka.consumer.max-poll-records=3000
spring.kafka.consumer.enable-auto-commit=false
spring.kafka.consumer.auto-offset-reset=earliest
spring.kafka.consumer.key-deserializer=org.apache.kafka.common.serialization.StringDeserializer
spring.kafka.consumer.value-deserializer=org.apache.kafka.common.serialization.StringDeserializer
# =============== kafka配置 End ===============三、发送消息
@Component
public class KafkaProductService {@Autowired
private KafkaTemplate<String, String> kafkaTemplate;
public boolean send(UserModel userModel) {
kafkaTemplate.send(KafkaTopic.KAFKA_TEST, JsonUtil.bean2String(userModel));
return true;
}}
直接使用KafkaTemplate类的send方法进行消息的发送。参数就是topic主题和所发送的消息。
四、接收消息
@Component
@Slf4j
public class KafkaConsumerService {@KafkaListener(topics={KafkaTopic.KAFKA_TEST})
public void receiverDataListener(ConsumerRecord<String, String> record ,Acknowledgment ack){
Optional<String> kafkaMessgger=Optional.ofNullable(record.value());
if (kafkaMessgger.isPresent()) {
String messger=kafkaMessgger.get();
try {
log.info("消費成功",messger);
} catch (Exception e) {
log.error("消费失败 offset:{},message:{}",record);
}
}
ack.acknowledge();
}
}
注解 @KafkaListener(topics={KafkaTopic.KAFKA_TEST})就是消费topic主题是KAFKA_TEST的消息。ConsumerRecord<String, String> record中的record就是所接收的消息来的。打印出来的信息如下
-
本地安装kafka流程及问题解决
2018-12-19 17:10:591. 安装JDK 1.1 安装文件:http://www.oracle.com/technetwork/java/javase/downloads/jre8-downloads-2133155.html下载Server JRE. 1.2 安装完成后需要添加以下的环境变量(右键点击“我的电脑” -> "...搭建环境
1. 安装JDK
1.1 安装文件:http://www.oracle.com/technetwork/java/javase/downloads/jre8-downloads-2133155.html下载Server JRE.
1.2 安装完成后需要添加以下的环境变量(右键点击“我的电脑” -> "高级系统设置" -> "环境变量" ):-
- JAVA_HOME: C:\Program Files (x86)\Java\jre1.8.0_60(这个是默认安装路径,如果安装过程中更改了安装目录,把更改后的路径填上就行了)
-
- PATH: 在现有的值后面添加"; %JAVA_HOME%\bin"
1.3 打开cmd运行 "java -version" 查看当前系统Java的版本:
2. 安装Zookeeper
Kafka的运行依赖于Zookeeper,所以在运行Kafka之前我们需要安装并运行Zookeeper
2.1 下载安装文件: http://zookeeper.apache.org/releases.html
2.2 解压文件(本文解压到 G:\zookeeper-3.4.8)
2.3 打开G:\zookeeper-3.4.8\conf,把zoo_sample.cfg重命名成zoo.cfg
2.4 从文本编辑器里打开zoo.cfg
2.5 把dataDir的值改成“:\zookeeper-3.4.8\data”
2.6 添加如下系统变量:
1)ZOOKEEPER_HOME: G:\zookeeper-3.4.8
2)Path: 在现有的值后面添加 ";%ZOOKEEPER_HOME%\bin;"
2.7 运行Zookeeper: 打开cmd然后执行zkserver
3. 安装并运行Kafka
3.1 下载安装文件: http://kafka.apache.org/downloads.html
3.2 解压文件(本文解压到 G:\kafka_2.11-0.10.0.1)
3.3 打开G:\kafka_2.11-0.10.0.1\config
3.4 从文本编辑器里打开 server.properties
3.5 把 log.dirs的值改成 “G:\kafka_2.11-0.10.0.1\kafka-logs”
3.6 打开cmd
3.7 进入kafka文件目录: cd /d G:\kafka_2.11-0.10.0.1\
3.8 输入并执行以打开kafka:
bin\windows\kafka-server-start.bat config\server.properties
相关问题:
1.cmd进入命令窗口输入命令kafka-server-start.bat ..\..\config\server.properties命令窗口提示:错误: 找不到或无法加载主类 Files\Java\jdk1.8.0_101\lib\dt.jar;C:\Program
解决方式:
1)、CLASSPATH配置有误,应该是:**.;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar;** 最前面是“小数点”不是“逗号”。
2)、java环境由JRE换成JDK的话,需要修改kafka_2.12-1.0.0\bin\windows\kafka-run-class.bat文件。
具体修改内容是,将:
set COMMAND=%JAVA% %KAFKA_HEAP_OPTS% %KAFKA_JVM_PERFORMANCE_OPTS% %KAFKA_JMX_OPTS% %KAFKA_LOG4J_OPTS% -cp %CLASSPATH% %KAFKA_OPTS% %
改为:set COMMAND=%JAVA% %KAFKA_HEAP_OPTS% %KAFKA_JVM_PERFORMANCE_OPTS% %KAFKA_JMX_OPTS% %KAFKA_LOG4J_OPTS% -cp "%CLASSPATH%" %KAFKA_OPTS% %
%CLASSPATH%要用双引号。
2.找不到或无法加载主类 kafka.Kafka
解决方式:下载的是源码包,需要编译。可以下载Binary downloads:
---------------------
引用链接来源:
https://blog.csdn.net/cx2932350/article/details/78870135https://357029540.iteye.com/blog/2344579
http://www.bubuko.com/infodetail-1852602.html
感谢上面三篇博客作者的分享!
-
-
kafka本地安装方法
2020-10-27 13:56:23一、本地安装Kafka 1、 下载 kafka_2.13-2.5.1.tgz 文件 (带src是源码 如:kafka-2.5.1-src.tgz ,不能安装) 2、解压文件,进入目录,创建 logs文件夹。 进入config目录,打开 server.properties 文件: 注释 #...一、本地安装Kafka
1、 下载 kafka_2.13-2.5.1.tgz 文件 (带src是源码 如:kafka-2.5.1-src.tgz ,不能安装)(下载路径参看文章结尾) 2、解压文件,进入目录,创建 logs文件夹。 进入config目录,打开 server.properties 文件: 注释 #log.dirs=/tmp/kafka-logs #zookeeper.connect=localhost:2181 添加配置 log.dirs=E:\ProgramFiles\kafka_2.13-2.5.1\logs zookeeper.connect=127.0.0.1:2181 3、启动 zookeeper (参考文章结尾) 4、启动kafka WIN+R 输入cmd 进入命令行窗口。 进入kafka目录,输入 .\bin\windows\kafka-server-start.bat .\config\server.properties
二、执行kafka命令
1、创建主题 命令行进入目录 C:\Users\Administrator>E: E:\>cd E:\ProgramFiles\kafka_2.13-2.5.1\bin\windows E:\ProgramFiles\kafka_2.13-2.5.1\bin\windows>kafka-topics.bat --create --zookeeper 127.0.0.1:2181 --replication-factor 1 --partitions 1 --topic test Created topic test. 2、创建生产者消息 E:\ProgramFiles\kafka_2.13-2.5.1\bin\windows>kafka-console-producer.bat --broker-list 127.0.0.1:9092 --topic test 3、消费者获取消息 E:\ProgramFiles\kafka_2.13-2.5.1\bin\windows>kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test --from-beginning kafka-console-consumer.bat –zookeeper localhost:2181 –topic test 查看所有主题 E:\ProgramFiles\kafka_2.13-2.5.1\bin\windows>kafka-topics.bat -list -zookeeper localhost:2181
-
【kafka】Centos7安装kafka
2019-01-08 19:12:44一、前言 前一段时间在通知系统中...这里先记录一下本地安装kafka的过程。 二 、kafka介绍 kafka,先说说小编最初认识是在学习mq的时候,当时知道使用的mq有很多种,rocketmq,rabbitmq等等。后来在项目中选择了rabb... -
单机 搭建kafka集群 本地_kafka教程-安装部署kafka_2.13-2.6.0(windows单机)
2021-01-13 05:20:15下载本文采用 kafka_2.13-2.6.0 版本,2.13 是scala版本号,2.6.0 是kafka版本号zookeeperkafka依赖zookeeperkafka内置了...但一般不用内置的kafka_2.13-2.6.0 版本 需要zookeeper 3.5.8 版本查看方式:安装、启... -
kafka 本地安装
2018-05-22 16:07:20windows 版mac 版kafka mac 安装教程 :http://blog.csdn.net/u010046908/article/details/62229015最好下载和公司一个版本的 kafka ,避免公司api冲突。 公司版本 kafka 安装包 :kafka_2.10-0.8.2.2.tgzkafka 监控... -
使用confluent本地安装和使用kafka
2018-10-26 18:37:34转载请注明出处:使用confluent本地安装和使用kafka confluent简介 confluent是平台化的工具,封装了kafka,让我们可以更方便的安装和使用监控kafka,作用类似于CDH对于Hadoop。 confluent是由LinkedIn开发出Apache ... -
docker 安装kafka_Kafka 实战(二)docker 与 windows 安装 kafka
2020-11-25 00:04:49一时心痒痒,就想本地安装一下,环境是 window7,作为记录,便于以后查阅。基本环境jdk apache kafka 基于 java 实现,所以需要安装下 java 基本环境。λjava-versionjavaversion"1.8.0_102"Java(TM)... -
本地虚拟机redhat7安装kafka教程第二步----kafka的安装与配置
2018-04-26 16:19:35本地虚拟机redhat7安装kafka教程第二步----kafka的安装与配置因工作需求,要从kafka中读取数据,今天鼓捣了一天,做个记录1、下载Kafka版本 本次下载的是kafka_2.10-0.10.1.1.tgz版本,可以使用wget下载,来个五选... -
mac 本地搭建kafka
2020-10-12 02:10:331、安装kafka brew install kafka 这里安装的时候有好几个文件都报错了,没有下载成功,我直接退出重新安装两次才成功 如果安装的时候虽然报错但是安装了kafka 那么需要brew reinstall kafka一下重新安装一下 2、... -
springboot+本地kafka
2020-03-17 15:03:25本地安装kafka 1、下载安装文件: http://kafka.apache.org/downloads.html 2、解压文件到本地目录下,打开kafka_2.11-0.10.0.1\新建文件夹logs 3、kafka_2.11-0.10.0.1\config打开server.properties 4、将log.dirs... -
SparkStreaming kafka zookeeper本地环境调试安装
2020-05-12 15:52:54spark streaming一般会接消息队列作为数据源,以kafka为例,所以需要在本地安装kafka。kafka又依赖zookeeper,所以还需要安装zookeeper。 3. 安装zookeeper 3.1 下载zk 先去zookeeper官网下载zookeeper对应的.bi -
本地虚拟机redhat7安装kafka教程第三步----kafka的启动
2018-04-26 17:21:21本地虚拟机redhat7安装kafka教程第三步----kafka的启动当zookeeper和kafka都已经安装、配置完毕以后,就可以启动kafka,进行简单的数据发送和接收了1、启动zookeeper启动命令参考教程第一步:...# cd /liha... -
【Kafka】使用confluent本地安装和使用kafka
2020-08-21 22:44:221.概述 1.1 Confluent Kafka简介 2014年,Kafka的创始人Jay Kreps、...confluent是平台化的工具,封装了kafka,让我们可以更方便的安装和使用监控kafka,作用类似于CDH对于Hadoop。 confluent是由LinkedIn开发出. -
window安装kafka,进行本地调试
2019-04-10 09:07:261.官网下载kafka安装包 http://kafka.apache.org/downloads 2.官网下载zookeeper http://zookeeper.apache.org/ 3.先启动zookeeper.执行zkServer.cmd命令 4.启动kafka .\bin\windows\kafka-server-start... -
Kafka本地安装笔记
2019-08-03 16:02:49本地手工玩一下kakfa,这里我用的MacOS,因此用brew安装。这里整理了下自己的安装笔记。首先java环境这里就不说了。 一、安装zookeeper brew的安装这里就不说了,直接安装zookeeper。运行以下命令即可。这里可能... -
mac包安装kafka
2018-11-14 14:15:05(安装kafka前应在本地先安装java的jdk,因为zookeeper需要依赖java虚拟机) 下载地址:https://kafka.apache.org/down… wget http://mirrors.shuosc.org/apache/kafka/2.0.0/kafka_2.11-2.0.0.tgz 解压: tar -zxvf ... -
Windows 下本地运行 Kafka
2018-11-21 22:41:43文章目录介绍环境安装运行调试本地运行遇到的问题 介绍 本地运行 kafka,运行生产消费实例。 Kafka 是一个分布式发布-订阅消息系统。Zookeeper 是一个高性能分布式应用协调服务。 他们之间的关系 参考 环境安装 1. ... -
docker 安装kafka_Docker下kafka学习三部曲之二:本地环境搭建
2020-11-24 17:14:31在上一章http://blog.csdn.net/boling_cavalry/article/details/71576775中我们快速体验了kafka的消息分发和订阅功能,但是对环境搭建的印象仅仅是执行了几个命令和脚本,本章我们通过实战来...,搭建本地kafka环境... -
单机 搭建kafka集群 本地_Kafka集群搭建
2020-12-21 22:14:00Kafka集群搭建准备工作Kafka 依赖 ZooKeeper ,所以需要提前安装好 ZooKeeper ,启动单机的zk即可 。关于安装ZooKeeper的流程可以参考我之前写的:ZooKeeper集群搭建单机模式解压安装包解压我们下载的安装包;解压... -
linux下安装kafka
2020-08-20 17:05:10linux下安装kafka,首先确保zookeeper已经安装成功,想要安装zookeeper,必须先在linux中安装好jdk。 下面我们依次开始安装jdk,zookeeper,kafka。 一:安装jdk: 1.检查linux环境是否安装了jdk可以用java -... -
windows安装kafka过程 【本地测试】外赋快速启动小脚本
2018-12-01 02:33:00windows安装kafka过程 【本地测试】外赋快速启动小脚本 winsows 上装kafka也蛮简单方便 下载:wget https://www.apache.org/dyn/closer.cgi?path=/kafka/2.1.0/kafka_2.12-2.1.0.tgz 解压到某...