-
2022-03-01 14:18:51
1.启动zookeeper cmd,输入“zkServer“,运行Zookeeper(前提是配置系统设置)
2.启动kafka: .\bin\windows\kafka-server-start.bat .\config\server.properties
或bin\kafka-server-start.sh config\server.properties3.创建主题:.\bin\windows\kafka-topics.bat --create --bootstrap-server localhost:9092
--replication-factor 1 --partitions 1 --topic test(2.8.0以上kafka适用)
4.创建生产者:.\bin\windows\kafka-console-producer.bat --broker-list localhost:9092 --topic test
5.创建消费者:.\bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test --from-beginning
6.查看topic: .\bin\windows\kafka-topics.bat --describe --zookeeper localhost:2181 --topic
更多相关内容 -
sh代码-Shell 脚本方式启动Kafka服务
2021-07-16 12:11:54sh代码-Shell 脚本方式启动Kafka服务 -
Docker安装启动Kafka
2022-02-11 15:06:51Docker安装启动Kafka 1、下载Kafka和Zookeeper镜像文件 docker pull wurstmeister/kafka docker pull wurstmeister/zookeeper 2、先运行zk docker run -d --name zookeeper -p 2181:2181 -t wurstmeister/zookeeper...Docker安装启动Kafka
1、下载Kafka和Zookeeper镜像文件
docker pull wurstmeister/kafka docker pull wurstmeister/zookeeper
2、先运行zk
docker run -d --name zookeeper -p 2181:2181 -t wurstmeister/zookeeper
3、再运行kafka
docker run --name kafka01 \ -p 9092:9092 \ -e KAFKA_BROKER_ID=0 \ -e KAFKA_ZOOKEEPER_CONNECT=172.19.0.241:2181 \ -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://172.19.0.241:9092 \ -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 \ -d wurstmeister/kafka
4、查看容器是否正常运行
docker ps
5、进行生产消费测试
docker exec -it kafka01 bash cd /opt/kafka_2.13-2.6.0/bin/
6、运行kafka生产者发送消息
./kafka-console-producer.sh --broker-list localhost:9092 --topic test
7、运行kafka消费者接收消息
/opt/kafka_2.13-2.6.0/bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
-
docker上启动kafka
2022-01-24 10:06:01在docker上启动kafka,是因为最近我们开发的程序需要部署到k8s,在k8s上连接kafka,连接失败,因此我先搭建个环境,以供后续还原问题,解决问题。 文章目录一、docker上启动kafka1.下载zookeeper镜像2.下载kafka镜像...在docker上启动kafka,是因为最近我们开发的程序需要部署到k8s,在k8s上连接kafka,连接失败,因此我先搭建个环境,以供后续还原问题,解决问题。
一、docker上启动kafka
1.下载zookeeper镜像
docker pull wurstmeister/zookeeper
2.下载kafka镜像
docker pull wurstmeister/kafka
3.启动zookeeper
docker run -d --name zookeeper -p 2181:2181 -t wurstmeister/zookeeper
4.启动kafka
docker run -d --name kafka --publish 9092:9092 --link zookeeper:zookeeper -e KAFKA_BROKER_ID=1 -e HOST_IP=192.168.65.7 -e KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181 -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.65.7:9092 -e KAFKA_ADVERTISED_HOST_NAME=192.168.65.7 -e KAFKA_ADVERTISED_PORT=9082 --restart=always -t wurstmeister/kafka
部分参数含义:
KAFKA_BROKER_ID=1 kafka在集群中的唯一标识 KAFKA_ZOOKEEPER_CONNECT=zookeeper:12181 监听zookeeper的地址 KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.65.7:19092 kafka服务器的地址
5.进入kafka容器
1.先查看kafka镜像ID:
docker ps -a
2.进入容器
docker exec -it ${CONTAINER ID} /bin/bash
3.进入kafka的bin目录下
cd /opt/kafka_2.18/bin
4.创建topic
./kafka-topics.sh --create --zookeeper zookeeper:2181 --replication-factor 1 --partitions 1 --topic mykafka
5.运行生产者
./kafka-console-producer.sh --broker-list localhost:9092 --topic mykafka
6.消费topic
./kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 --from-beginning --topic mykafka
6.问题记录
1.当第一次启动kafka时报以下错误,连接超时的错,我报这错是因为我启动命令错了: ERROR Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer) kafka.zookeeper.ZooKeeperClientTimeoutException: Timed out waiting for connection while in state: CONNECTING At kafka.zookeeper.ZooKeeperClient.waitUntilConnected(ZooKeeperClient.scala:271) at kafka.zookeeper.ZooKeeperClient.<init>(ZooKeeperClient.scala:125) at kafka.zk.KafkaZkClient$.apply(KafkaZkClient.scala:1948) at kafka.server.KafkaServer.createZkClient$1(KafkaServer.scala:431) at kafka.server.KafkaServer.initZkClient(KafkaServer.scala:456) at kafka.server.KafkaServer.startup(KafkaServer.scala:191) at kafka.Kafka$.main(Kafka.scala:109) at kafka.Kafka.main(Kafka.scala) [2022-01-20 07:33:19,615] INFO shutting down (kafka.server.KafkaServer) [2022-01-20 07:33:19,645] INFO App info kafka.server for 0 unregistered (org.apache.kafka.common.utils.AppInfoParser) [2022-01-20 07:33:19,646] INFO shut down completed (kafka.server.KafkaServer) [2022-01-20 07:33:19,647] ERROR Exiting Kafka. (kafka.Kafka$) [2022-01-20 07:33:19,657] INFO shutting down (kafka.server.KafkaServer) INFO Opening socket connection to server 192.168.65.7/192.168.65.7:2181. Will not attempt to authenticate using SASL (unknown error) (org.apache.zookeeper.ClientCnxn) 报错的启动命令: docker run -d --name kafka --publish 9092:9092 --link zookeeper --env KAFKA_ZOOKEEPER_CONNECT=192.168.65.7:2181 --env KAFKA_ADVERTISED_HOST_NAME=192.168.65.7 --env KAFKA_ADVERTISED_PORT=9092 wurstmeister/kafka
总结
启动kafka遇到了很多问题,一直以为自己是网络不通,防火墙没开之类的,最后发现一直是自己的运行命令不正确,菜鸟的我,还需继续努力呀。
-
mac上安装和启动kafka
2022-04-27 14:52:35安装kafka brew install kafka 通过brew安装,会默认直接安装最新的版本。 因为我的电脑系统版本比较低,所以brew不支持最新的kafka版本。本文介绍的是通过官网下载安装包...启动kafka 首先需要启动zookeeper ##进入到安装kafka
brew install kafka
通过brew安装,会默认直接安装最新的版本。
因为我的电脑系统版本比较低,所以brew不支持最新的kafka版本。本文介绍的是通过官网下载安装包的方式。
下载kafka
下载地址:https://kafka.apache.org/downloads.html
注意:一定不要下成源文件了,是不带有-src 的文件
解压(以下是本机的对应目录)
同brew安装的kafka包和配置文件的路径分别为
启动kafka
首先需要启动zookeeper
##进入到自己相对应的目录 cd Downloads/zookeeper-3.4.6 bin/zkServer.sh start
然后在启动kafka
bin/kafka-server-start /usr/local/etc/kafka/server.properties
在启动kakfa的时候会出现下列错误
ERROR Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer) kafka.common.InconsistentClusterIdException: The Cluster ID EcpP-vcMS9-LwdxE8WrF8A doesn't match stored clusterId Some(IdtIKWu6SzezUGXvPRChtg) in meta.properties. The broker is trying to join the wrong cluster. Configured zookeeper.connect may be wrong. at kafka.server.KafkaServer.startup(KafkaServer.scala:223) at kafka.Kafka$.main(Kafka.scala:109) at kafka.Kafka.main(Kafka.scala)
解决方式:
当出现这个错误时,从以下两个角度排查:
(1)zk集群是否运行正常;
(2)kafka的logs.dir数据目录是否为空(在初次安装时可直接删除掉该目录,但已有生产数据不要这么操作)创建topic
kafka-topics --create --bootstrap-server localhost:9092 --partitions 1 --replication-factor 1 --topic test
显示topic
kafka-topics --list
创建生产者
新建一个窗口
kafka-console-producer --bootstrap-server localhost:9092 --topic test
创建消费者
kafka-console-consumer --bootstrap-server localhost:9092 --topic test
-
window安装启动kafka
2022-04-22 17:34:49window安装启动kafka 说明: kafka2.13版本已经自带zookeeper 1.修改server.peoerties 修改server.peoerties里面的日志地址\kafka_2.13-2.8.0\config\server.peoerties 2. 启动zookeeper 在kafka目录kafka_2.13-... -
Linux启动kafka
2021-07-20 23:40:15启动kafka首先启动zookeeper ./bin/zkServer.sh start 然后启动kafka ./bin/kafka-server-start.sh ./config/server.properties -
centos 安装并启动 kafka
2021-12-17 11:05:39下载 kafka 官网下载对应版本的 kafka wget https://downloads.apache.org/kafka/2.8.1/kafka_2.13-2.8.1.tgz ...启动 kafka 简单启动,使用内置的 zookeeper 就可以,使用如下命令 开启 zookeeper -
Linux启动Kafka
2020-12-06 14:58:041.下载Kafka到本地 https://kafka.apache.org/downloads 一定要下载Binary downloads: 版本 src还要你编译,别了吧 2.解压kafka tar -zxvf kafka的压缩包.tar.gz 3.修改配置文件(可选) ...4.启动Kafk -
docker启动kafka
2021-02-28 19:56:57使用docker-compse编排,启动zookeeper、kafka、kafka-manager三个容器,并分享php代码测试kafka生产和消费。 -
Mac安装与启动kafka
2021-04-29 18:40:16安装的方法: 利用终端直接安装 ...下载zookeeper(或者也可以使用kafka内置的zookeeper),因为kafka依赖zookeeper,所以在启动kafka前必须先启动zookeeper。> 下载Kafka 下载Zookeeper 下载地址:http://ar -
Windows环境下启动Kafka
2021-04-09 08:59:29Windows环境下启动Kafka 下载zookeeper 下载地址:https://mirrors.cnnic.cn/apache/zookeeper/zookeeper-3.7.0/apache-zookeeper-3.7.0-bin.tar.gz tip:使用bin包 下载kafka 下载地址:... -
windows下启动kafka
2020-08-14 17:56:21kafka 与zookeeper 对应版本 kafka版本 springboot版本 kafka_2.12-2.4.0 zookeeper-3.5.6.jar kafka_2.12-2.3.1 zookeeper-3.4.14.jar springboot2.2.2 kafka_2.12-2.3.0 zookeeper-3.4.14.jar ... -
后台启动Kafka
2020-12-23 11:19:44后台启动kafka 进入kafka安装目录 /usr/local/kafka_2.11-2.3.0/bin nohup ./zookeeper-server-start.sh …/config/zookeeper.properties >>/elk/tmp/zk-logs/zk.log 2>&1 & nohup ./kafka-server-... -
linux环境下启动kafka(再给你附上kafka启动脚本)(福利福利)(小白入门超级实用)
2021-09-09 09:38:35注意:启动kafka, 必须依赖于zookeeper先启动 一、linux启动kafka--单命令版 1. 首先启动 zookeeper (如果没有进行环境变量配置,需要进入zookeeper安装目录下的bin目录下) 启动 ./zkServer.sh start 停止 ... -
开发技术-Windows启动kafka闪退
2022-04-01 14:48:45以前用就没有什么问题,今天连接的时候,kafka启动就闪退,zookeeper 上还输出了一行信息 远程主机强迫关闭了一个现有的连接 估计是先前用的时候,异常关闭导致的,这就需要删除 kafka 和 zookeeper 的日志,然后... -
centos启动kafka命令
2020-10-12 11:40:00bin/kafka-server-start.sh -daemon config/server.properties 加守护进程启动 方法二: 在bin的上一级目录执行命令: nohup bin/kafka-server-start.sh config/server.properties & 通过后台来启动 ... -
Apache Kafka 3.0 发布——移除zookeeper如何启动Kafka
2021-10-15 14:46:17最新的3.0版本中,Kafka依然兼容zookeeper Controller,但Kafka Raft元数据模式,已经可以在不依赖zookeeper的情况下启动Kafka了。但是它目前还是预览版,不建议用于生产环境。 1.Kraft模式启动Kafka 1.首先使用... -
通过docker启动kafka
2020-09-24 14:58:11我们知道kafka对zk有强依赖,所以要启动kafka镜像,除了kafka的image外,还要准备zookeeper镜像哦,通过pull拉去吧 正式开始 拉去的两个镜像文件如下 启动zk docker run -d -p 2181:2181 --name zk zookeeper ... -
docker启动kafka连接超时
2022-01-29 15:18:15docker run -d --name kafka -p 9092:9092 -e KAFKA_BROKER_ID=0 -e KAFKA_ZOOKEEPER_CONNECT=“改成虚拟机ip地址”:2181 -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://“改成虚拟机ip地址”:9092 -e KAFKA_LISTENERS... -
启动kafka消费者报错
2022-01-22 10:32:08当我们启动kafka消费者的时候 bin/kafka-console-consumer.sh --zookeeper spark-local:2181 --topic myTopic 出现了这个问题:no brokers found when trying to rebalance 那就是kafka没有启动,在kafka启动之前要... -
使用systemctl启动kafka
2020-08-24 15:42:59kafka依赖于zookeeper 1.新建zookeeper配置文件: vim/etc/systemd/system/zookeeper.service [Unit] Description=Apache Zookeeper server Documentation=http://zookeeper.apache.org Requires=network.... -
go kafka入门教程,docker启动kafka环境
2021-11-25 15:51:56使用docker启动本地环境kafka 使用go-kafka链接本地kafka进行消息生产和消费 获取本文代码 https://github.com/sl40/go-babysit git clone https://github.com/sl40/go-babysit.git 启动本地环境kafka 要在开发... -
使用kafka内置的zookeeper启动kafka
2019-10-10 10:39:47使用kafka内置的zookeeper启动kafka –打开zookeeper D:\tool\kafka\kafka_2.12-2.3.0\bin\windows\zookeeper-server-start.bat D:\tool\kafka\kafka_2.12-2.3.0\config\zookeeper.properties –打开kafka D:\... -
linux下启动kafka
2018-09-13 16:12:34记录下kafka启动过程,适合傻瓜新手,想弄明白原理的请绕到官网查看文档。 1、首先下载从github上下载 源码。如果机器上装有Git,直接clone更好,省的再解压。 解压命令:tar -zxvf librdkafka-master.tgz 2、... -
Docker 启动kafka连接zookeeper超时
2020-12-10 15:27:07从新使用以下命令启动kafka docker run -d --name kafka --publish 9092:9092 --link zookeeper --env KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181 --env KAFKA_ADVERTISED_HOST_NAME=localhost --env KAFKA_... -
Linux下启动Kafka集群无响应(解决)
2022-03-14 02:30:56kafka启动,zookeeper启动,连接超时 -
启动kafka报错 java.net.ConnectException: Connection refused
2022-04-12 15:43:48启动kafka报错java.net.ConnectException: Connection refused 2、 错误原因 启动kafka之前没有启动zookeeper 3、 解决办法 先启动zookeeper,再次启动kafka 4、 启动命令 4.1 到kafka安装目录 cd /usr/src/kafka_... -
使用Docker启动Kafka-Manager
2019-04-16 22:27:48Docker安装Kafka-Manager(docker-compose.yml) 前置条件 请先安装Docker 创建docker-compose.yml # Docker compose to have Zookeeper, Kafka, and Kafka Manager running for development. # Provided ...