精华内容
下载资源
问答
  • 如何启动kafka
    2022-03-01 14:18:51

    1.启动zookeeper cmd,输入“zkServer“,运行Zookeeper(前提是配置系统设置)

    2.启动kafka: .\bin\windows\kafka-server-start.bat .\config\server.properties
    或bin\kafka-server-start.sh config\server.properties

    3.创建主题:.\bin\windows\kafka-topics.bat --create --bootstrap-server localhost:9092

    --replication-factor 1 --partitions 1 --topic test(2.8.0以上kafka适用)

    4.创建生产者:.\bin\windows\kafka-console-producer.bat --broker-list localhost:9092 --topic test

    5.创建消费者:.\bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test --from-beginning

    6.查看topic:  .\bin\windows\kafka-topics.bat --describe --zookeeper localhost:2181 --topic
     

    更多相关内容
  • sh代码-Shell 脚本方式启动Kafka服务
  • Docker安装启动Kafka

    千次阅读 2022-02-11 15:06:51
    Docker安装启动Kafka 1、下载Kafka和Zookeeper镜像文件 docker pull wurstmeister/kafka docker pull wurstmeister/zookeeper 2、先运行zk docker run -d --name zookeeper -p 2181:2181 -t wurstmeister/zookeeper...

    Docker安装启动Kafka

    1、下载Kafka和Zookeeper镜像文件

    docker pull wurstmeister/kafka
    docker pull wurstmeister/zookeeper
    

    2、先运行zk

    docker run -d --name zookeeper -p 2181:2181 -t wurstmeister/zookeeper
    

    3、再运行kafka

    docker run --name kafka01 \
    -p 9092:9092 \
    -e KAFKA_BROKER_ID=0 \
    -e KAFKA_ZOOKEEPER_CONNECT=172.19.0.241:2181 \
    -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://172.19.0.241:9092 \
    -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 \
    -d  wurstmeister/kafka
    

    4、查看容器是否正常运行

    docker ps
    

    5、进行生产消费测试

    docker exec -it kafka01 bash
    
    cd /opt/kafka_2.13-2.6.0/bin/
    

    6、运行kafka生产者发送消息

    ./kafka-console-producer.sh --broker-list localhost:9092 --topic test
    

    7、运行kafka消费者接收消息

    /opt/kafka_2.13-2.6.0/bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
    
    展开全文
  • docker上启动kafka

    千次阅读 2022-01-24 10:06:01
    在docker上启动kafka,是因为最近我们开发的程序需要部署到k8s,在k8s上连接kafka,连接失败,因此我先搭建个环境,以供后续还原问题,解决问题。 文章目录一、docker上启动kafka1.下载zookeeper镜像2.下载kafka镜像...

    在docker上启动kafka,是因为最近我们开发的程序需要部署到k8s,在k8s上连接kafka,连接失败,因此我先搭建个环境,以供后续还原问题,解决问题。



    一、docker上启动kafka

    1.下载zookeeper镜像

    docker pull wurstmeister/zookeeper
    

    2.下载kafka镜像

    docker pull wurstmeister/kafka
    

    3.启动zookeeper

    docker run -d --name zookeeper -p 2181:2181  -t wurstmeister/zookeeper
    

    4.启动kafka

    docker run -d --name kafka --publish 9092:9092 --link zookeeper:zookeeper -e KAFKA_BROKER_ID=1  -e HOST_IP=192.168.65.7  -e KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181 -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.65.7:9092  -e KAFKA_ADVERTISED_HOST_NAME=192.168.65.7 -e KAFKA_ADVERTISED_PORT=9082  --restart=always  -t  wurstmeister/kafka
    

    部分参数含义:

    KAFKA_BROKER_ID=1 kafka在集群中的唯一标识
    KAFKA_ZOOKEEPER_CONNECT=zookeeper:12181 监听zookeeper的地址 
    KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.65.7:19092 kafka服务器的地址
    

    5.进入kafka容器

    1.先查看kafka镜像ID:
    docker ps -a
    在这里插入图片描述
    2.进入容器
    docker exec -it ${CONTAINER ID} /bin/bash
    3.进入kafka的bin目录下
    cd /opt/kafka_2.18/bin
    4.创建topic
    ./kafka-topics.sh --create --zookeeper zookeeper:2181 --replication-factor 1 --partitions 1 --topic mykafka
    5.运行生产者
    ./kafka-console-producer.sh --broker-list localhost:9092 --topic mykafka
    在这里插入图片描述
    6.消费topic
    ./kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 --from-beginning --topic mykafka
    在这里插入图片描述

    6.问题记录

    1.当第一次启动kafka时报以下错误,连接超时的错,我报这错是因为我启动命令错了:
     ERROR Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer)
    kafka.zookeeper.ZooKeeperClientTimeoutException: Timed out waiting for connection while in state: CONNECTING At kafka.zookeeper.ZooKeeperClient.waitUntilConnected(ZooKeeperClient.scala:271)
            at kafka.zookeeper.ZooKeeperClient.<init>(ZooKeeperClient.scala:125)
            at kafka.zk.KafkaZkClient$.apply(KafkaZkClient.scala:1948)
            at kafka.server.KafkaServer.createZkClient$1(KafkaServer.scala:431)
            at kafka.server.KafkaServer.initZkClient(KafkaServer.scala:456)
            at kafka.server.KafkaServer.startup(KafkaServer.scala:191)
            at kafka.Kafka$.main(Kafka.scala:109)
            at kafka.Kafka.main(Kafka.scala)
    [2022-01-20 07:33:19,615] INFO shutting down (kafka.server.KafkaServer)
    [2022-01-20 07:33:19,645] INFO App info kafka.server for 0 unregistered (org.apache.kafka.common.utils.AppInfoParser)
    [2022-01-20 07:33:19,646] INFO shut down completed (kafka.server.KafkaServer)
    [2022-01-20 07:33:19,647] ERROR Exiting Kafka. (kafka.Kafka$)
    [2022-01-20 07:33:19,657] INFO shutting down (kafka.server.KafkaServer)
    INFO Opening socket connection to server 192.168.65.7/192.168.65.7:2181. Will not attempt to authenticate using SASL (unknown error) (org.apache.zookeeper.ClientCnxn)
    报错的启动命令:
    docker run -d --name kafka --publish 9092:9092 --link zookeeper --env KAFKA_ZOOKEEPER_CONNECT=192.168.65.7:2181 --env KAFKA_ADVERTISED_HOST_NAME=192.168.65.7 --env KAFKA_ADVERTISED_PORT=9092 wurstmeister/kafka
    

    总结

    启动kafka遇到了很多问题,一直以为自己是网络不通,防火墙没开之类的,最后发现一直是自己的运行命令不正确,菜鸟的我,还需继续努力呀。

    展开全文
  • mac上安装和启动kafka

    千次阅读 2022-04-27 14:52:35
    安装kafka brew install kafka 通过brew安装,会默认直接安装最新的版本。 因为我的电脑系统版本比较低,所以brew不支持最新的kafka版本。本文介绍的是通过官网下载安装包...启动kafka 首先需要启动zookeeper ##进入到

    安装kafka

    brew install kafka
    

    通过brew安装,会默认直接安装最新的版本。

    因为我的电脑系统版本比较低,所以brew不支持最新的kafka版本。本文介绍的是通过官网下载安装包的方式。

    下载kafka

    下载地址:https://kafka.apache.org/downloads.html

    注意:一定不要下成源文件了,是不带有-src 的文件

    解压(以下是本机的对应目录)

    同brew安装的kafka包和配置文件的路径分别为
    在这里插入图片描述

    启动kafka

    首先需要启动zookeeper

    ##进入到自己相对应的目录
    cd Downloads/zookeeper-3.4.6
    bin/zkServer.sh start
    

    然后在启动kafka

    bin/kafka-server-start /usr/local/etc/kafka/server.properties
    

    在启动kakfa的时候会出现下列错误

    ERROR Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer)
    kafka.common.InconsistentClusterIdException: The Cluster ID EcpP-vcMS9-LwdxE8WrF8A doesn't match stored clusterId Some(IdtIKWu6SzezUGXvPRChtg) in meta.properties. The broker is trying to join the wrong cluster. Configured zookeeper.connect may be wrong.
    	at kafka.server.KafkaServer.startup(KafkaServer.scala:223)
    	at kafka.Kafka$.main(Kafka.scala:109)
    	at kafka.Kafka.main(Kafka.scala)
    

    解决方式:
    当出现这个错误时,从以下两个角度排查:
    (1)zk集群是否运行正常;
    (2)kafka的logs.dir数据目录是否为空(在初次安装时可直接删除掉该目录,但已有生产数据不要这么操作)

    创建topic

    kafka-topics --create --bootstrap-server localhost:9092 --partitions 1 --replication-factor 1 --topic test
    

    显示topic

    kafka-topics --list
    

    创建生产者

    新建一个窗口

     kafka-console-producer --bootstrap-server localhost:9092 --topic test
    

    在这里插入图片描述

    创建消费者

    kafka-console-consumer --bootstrap-server localhost:9092  --topic test
    

    在这里插入图片描述

    展开全文
  • window安装启动kafka

    千次阅读 2022-04-22 17:34:49
    window安装启动kafka 说明: kafka2.13版本已经自带zookeeper 1.修改server.peoerties 修改server.peoerties里面的日志地址\kafka_2.13-2.8.0\config\server.peoerties 2. 启动zookeeper 在kafka目录kafka_2.13-...
  • Linux启动kafka

    千次阅读 2021-07-20 23:40:15
    启动kafka首先启动zookeeper ./bin/zkServer.sh start 然后启动kafka ./bin/kafka-server-start.sh ./config/server.properties
  • centos 安装并启动 kafka

    2021-12-17 11:05:39
    下载 kafka 官网下载对应版本的 kafka wget https://downloads.apache.org/kafka/2.8.1/kafka_2.13-2.8.1.tgz ...启动 kafka 简单启动,使用内置的 zookeeper 就可以,使用如下命令 开启 zookeeper
  • Linux启动Kafka

    千次阅读 2020-12-06 14:58:04
    1.下载Kafka到本地 https://kafka.apache.org/downloads 一定要下载Binary downloads: 版本 src还要你编译,别了吧 2.解压kafka tar -zxvf kafka的压缩包.tar.gz 3.修改配置文件(可选) ...4.启动Kafk
  • docker启动kafka

    千次阅读 2021-02-28 19:56:57
    使用docker-compse编排,启动zookeeper、kafkakafka-manager三个容器,并分享php代码测试kafka生产和消费。
  • Mac安装与启动kafka

    2021-04-29 18:40:16
    安装的方法: 利用终端直接安装 ...下载zookeeper(或者也可以使用kafka内置的zookeeper),因为kafka依赖zookeeper,所以在启动kafka前必须先启动zookeeper。> 下载Kafka 下载Zookeeper 下载地址:http://ar
  • Windows环境下启动Kafka

    千次阅读 2021-04-09 08:59:29
    Windows环境下启动Kafka 下载zookeeper 下载地址:https://mirrors.cnnic.cn/apache/zookeeper/zookeeper-3.7.0/apache-zookeeper-3.7.0-bin.tar.gz tip:使用bin包 下载kafka 下载地址:...
  • windows下启动kafka

    千次阅读 2020-08-14 17:56:21
    kafka 与zookeeper 对应版本 kafka版本 springboot版本 kafka_2.12-2.4.0 zookeeper-3.5.6.jar kafka_2.12-2.3.1 zookeeper-3.4.14.jar springboot2.2.2 kafka_2.12-2.3.0 zookeeper-3.4.14.jar ...
  • 后台启动Kafka

    2020-12-23 11:19:44
    后台启动kafka 进入kafka安装目录 /usr/local/kafka_2.11-2.3.0/bin nohup ./zookeeper-server-start.sh …/config/zookeeper.properties >>/elk/tmp/zk-logs/zk.log 2>&1 & nohup ./kafka-server-...
  • 注意:启动kafka, 必须依赖于zookeeper先启动 一、linux启动kafka--单命令版 1. 首先启动 zookeeper (如果没有进行环境变量配置,需要进入zookeeper安装目录下的bin目录下) 启动 ./zkServer.sh start 停止 ...
  • 开发技术-Windows启动kafka闪退

    千次阅读 2022-04-01 14:48:45
    以前用就没有什么问题,今天连接的时候,kafka启动就闪退,zookeeper 上还输出了一行信息 远程主机强迫关闭了一个现有的连接 估计是先前用的时候,异常关闭导致的,这就需要删除 kafka 和 zookeeper 的日志,然后...
  • centos启动kafka命令

    2020-10-12 11:40:00
    bin/kafka-server-start.sh -daemon config/server.properties 加守护进程启动 方法二: 在bin的上一级目录执行命令: nohup bin/kafka-server-start.sh config/server.properties & 通过后台来启动 ...
  • 最新的3.0版本中,Kafka依然兼容zookeeper Controller,但Kafka Raft元数据模式,已经可以在不依赖zookeeper的情况下启动Kafka了。但是它目前还是预览版,不建议用于生产环境。 1.Kraft模式启动Kafka 1.首先使用...
  • 通过docker启动kafka

    千次阅读 2020-09-24 14:58:11
    我们知道kafka对zk有强依赖,所以要启动kafka镜像,除了kafka的image外,还要准备zookeeper镜像哦,通过pull拉去吧 正式开始 拉去的两个镜像文件如下 启动zk docker run -d -p 2181:2181 --name zk zookeeper ...
  • docker启动kafka连接超时

    千次阅读 2022-01-29 15:18:15
    docker run -d --name kafka -p 9092:9092 -e KAFKA_BROKER_ID=0 -e KAFKA_ZOOKEEPER_CONNECT=“改成虚拟机ip地址”:2181 -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://“改成虚拟机ip地址”:9092 -e KAFKA_LISTENERS...
  • 启动kafka消费者报错

    千次阅读 2022-01-22 10:32:08
    当我们启动kafka消费者的时候 bin/kafka-console-consumer.sh --zookeeper spark-local:2181 --topic myTopic 出现了这个问题:no brokers found when trying to rebalance 那就是kafka没有启动,在kafka启动之前要...
  • 使用systemctl启动kafka

    2020-08-24 15:42:59
    kafka依赖于zookeeper 1.新建zookeeper配置文件: vim/etc/systemd/system/zookeeper.service [Unit] Description=Apache Zookeeper server Documentation=http://zookeeper.apache.org Requires=network....
  • go kafka入门教程,docker启动kafka环境

    千次阅读 2021-11-25 15:51:56
    使用docker启动本地环境kafka 使用go-kafka链接本地kafka进行消息生产和消费 获取本文代码 https://github.com/sl40/go-babysit git clone https://github.com/sl40/go-babysit.git 启动本地环境kafka 要在开发...
  • 使用kafka内置的zookeeper启动kafka

    千次阅读 2019-10-10 10:39:47
    使用kafka内置的zookeeper启动kafka –打开zookeeper D:\tool\kafka\kafka_2.12-2.3.0\bin\windows\zookeeper-server-start.bat D:\tool\kafka\kafka_2.12-2.3.0\config\zookeeper.properties –打开kafka D:\...
  • linux下启动kafka

    万次阅读 多人点赞 2018-09-13 16:12:34
    记录下kafka启动过程,适合傻瓜新手,想弄明白原理的请绕到官网查看文档。 1、首先下载从github上下载 源码。如果机器上装有Git,直接clone更好,省的再解压。 解压命令:tar -zxvf librdkafka-master.tgz 2、...
  • Docker 启动kafka连接zookeeper超时

    千次阅读 2020-12-10 15:27:07
    从新使用以下命令启动kafka docker run -d --name kafka --publish 9092:9092 --link zookeeper --env KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181 --env KAFKA_ADVERTISED_HOST_NAME=localhost --env KAFKA_...
  • Linux下启动Kafka集群无响应(解决)

    千次阅读 2022-03-14 02:30:56
    kafka启动,zookeeper启动,连接超时
  • 启动kafka报错java.net.ConnectException: Connection refused 2、 错误原因 启动kafka之前没有启动zookeeper 3、 解决办法 先启动zookeeper,再次启动kafka 4、 启动命令 4.1 到kafka安装目录 cd /usr/src/kafka_...
  • 使用Docker启动Kafka-Manager

    千次阅读 2019-04-16 22:27:48
    Docker安装Kafka-Manager(docker-compose.yml) 前置条件 请先安装Docker 创建docker-compose.yml # Docker compose to have Zookeeper, Kafka, and Kafka Manager running for development. # Provided ...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 105,803
精华内容 42,321
关键字:

如何启动kafka