精华内容
下载资源
问答
  • 本地安装Kafka

    2020-10-27 13:56:23
    一、本地安装Kafka 1、 下载 kafka_2.13-2.5.1.tgz 文件 (带src是源码 如:kafka-2.5.1-src.tgz ,不能安装) 2、解压文件,进入目录,创建 logs文件夹。 进入config目录,打开 server.properties 文件: 注释 #...

    本地安装Kafka

    一、安装方法

    前提 : 本地安装zookeeper

    1、下载 kafka_2.13-2.5.1.tgz 文件 (带src是源码 如:kafka-2.5.1-src.tgz ,不能安装)

    2、解压文件,进入目录,创建 logs文件夹。
    进入config目录,打开 server.properties 文件:
    注释
    #log.dirs=/tmp/kafka-logs
    #zookeeper.connect=localhost:2181

    添加配置
    log.dirs=E:\ProgramFiles\kafka_2.13-2.5.1\logs
    zookeeper.connect=127.0.0.1:2181

    3、启动 zookeeper

    4、启动kafka
    WIN+R 输入cmd 进入命令行窗口。
    进入kafka目录 E:\ProgramFiles\kafka_2.13-2.5.1
    输入 .\bin\windows\kafka-server-start.bat .\config\server.properties

    二、执行kafka命令

    1、创建主题
    命令行进入目录

    C:\Users\Administrator>E:

    E:>cd E:\ProgramFiles\kafka_2.13-2.5.1\bin\windows

    创建主题
    E:\ProgramFiles\kafka_2.13-2.5.1\bin\windows>kafka-topics.bat --create --zookeeper 127.0.0.1:2181 --replication-factor 1 --partitions 1 --topic test
    Created topic test.

    2、创建生产者消息
    E:\ProgramFiles\kafka_2.13-2.5.1\bin\windows>kafka-console-producer.bat --broker-list 127.0.0.1:9092 --topic test

    3、消费者获取消息
    E:\ProgramFiles\kafka_2.13-2.5.1\bin\windows>kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test --from-beginning
    kafka-console-consumer.bat –zookeeper localhost:2181 –topic test

    查看所有主题
    E:\ProgramFiles\kafka_2.13-2.5.1\bin\windows>kafka-topics.bat -list -zookeeper localhost:2181


    windows下 kafka启动报错:另一个程序正在使用此文件,进程无法访问

    kafka在windows平台就是有这个BUG,没办法。只能手动删除\kafka_2.12-2.5.0kafka-logs里的日志文件重启kafka


    软件下载 kafka_2.13-2.5.1.tgz
    文档参考 https://blog.csdn.net/lizhitao627619011/article/details/50593278

    展开全文
  • 本地安装kafka和使用

    2020-09-11 15:01:36
    下载安装包,我用的是kafka_2.12-2.3.0,提取码:05jw

    一、下载安装包,我用的是kafka_2.12-2.3.0 百度盘提取https://pan.baidu.com/s/1G8sp9Y5vkIGraZ7vFS1OSw,提取码:15h2。

    二、安装

    1、解压到:D:\Tools\kafka_2.12-2.3.0 ,其实解压到哪里,依据你的习惯吧,解压位置随便。

    2、修改配置文件:D:\Tools\kafka_2.12-2.3.0\config\server.properties 

    log.dirs=D:\Tools\kafka_2.12-2.3.0\kafka-logs;

    解压之后的server.properties 是这样的,

      我们要加上面两个配置,如果不加上的话,就会出现:Connection to node 0 could not be established. Broker may not be available.的错误。

    listeners=PLAINTEXT://0.0.0.0:9092
    advertised.listeners=PLAINTEXT://localhost:9092

    3、启动

    (1)启动zookeeper,这个在kafka包下已经有的了,不需要再安装了。在目录D:\Tools\kafka_2.12-2.3.0\bin\windows下的地址栏中直接输入cmd回车就可进入命令窗口。

    输入:zookeeper-server-start.bat ..\..\config\zookeeper.properties

    (2)启动kafka,和上面进入某目录命令窗口操作一样。目录:E:\softinstall\kafka_2.12-2.2.1\bin\windows      执行:  kafka-server-start.bat ..\..\config\server.properties

    (3)建pp主题,目录:E:\softinstall\kafka_2.12-2.2.1\bin\windows   执行:kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic pp

    (4)建消费者,目录:E:\softinstall\kafka_2.12-2.2.1\bin\windows   执行:kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic pp --from-beginning

    (5)建生产者,E:\softinstall\kafka_2.12-2.2.1\bin\windows    执行:kafka-console-producer.bat --broker-list localhost:9092 --topic  pp

    (6)然后在窗口5生产者中输入hello可以在窗口4消费者中看到hello字符。

    在springboot中使用KafkaTemplate。

    一,在pom.xml中加入kafka包
            <dependency>
                <groupId>org.apache.kafka</groupId>
                <artifactId>kafka-clients</artifactId>
            </dependency>
            <dependency>
                <groupId>org.springframework.kafka</groupId>
                <artifactId>spring-kafka</artifactId>
            </dependency>

    二、properties文件

    # =============== Kafka配置 Begin ===============
    # 集群地址列表
    spring.kafka.bootstrap-servers=192.168.11.152:9092(我本地的kafka地址来的)
    # 连接超时时间
    spring.kafka.session.timeout.ms=1000
    #请求失败重试次数
    spring.kafka.retries=5
    #spring.kafka.batch.size=16384
    spring.linger.ms=1
    spring.kafka.auto-offset-reset=earliest

    # 开启手动 ack
    spring.kafka.listener.ack-mode=manual

    #生产者设置
    spring.kafka.producer.key-serializer=org.apache.kafka.common.serialization.StringSerializer
    spring.kafka.producer.value-serializer=org.apache.kafka.common.serialization.StringSerializer
    #重试次数.
    spring.kafka.producer.retries=10
    #只需要 leader 许可 
    spring.kafka.producer.acks=1

    spring.kafka.producer.batch-size=16384
    spring.kafka.producer.buffer-memory=33554432


    #消费组设置
    #指定默认消费者group id
    spring.kafka.consumer.group-id=tradeGroup
    spring.kafka.consumer.max-poll-records=3000
    spring.kafka.consumer.enable-auto-commit=false
    spring.kafka.consumer.auto-offset-reset=earliest
    spring.kafka.consumer.key-deserializer=org.apache.kafka.common.serialization.StringDeserializer
    spring.kafka.consumer.value-deserializer=org.apache.kafka.common.serialization.StringDeserializer
    # =============== kafka配置 End ===============

    三、发送消息

    @Component
    public class KafkaProductService {

        @Autowired 
        private KafkaTemplate<String, String> kafkaTemplate;
        
        public boolean send(UserModel userModel) {
             kafkaTemplate.send(KafkaTopic.KAFKA_TEST, JsonUtil.bean2String(userModel));
             return true;
        }

    }

    直接使用KafkaTemplate类的send方法进行消息的发送。参数就是topic主题和所发送的消息。

    四、接收消息

    @Component
    @Slf4j
    public class KafkaConsumerService {

        @KafkaListener(topics={KafkaTopic.KAFKA_TEST})
        public void receiverDataListener(ConsumerRecord<String, String> record ,Acknowledgment ack){
            Optional<String> kafkaMessgger=Optional.ofNullable(record.value());
            if (kafkaMessgger.isPresent()) {
                String messger=kafkaMessgger.get();
                try {
                    log.info("消費成功",messger);
                } catch (Exception e) {
                    log.error("消费失败 offset:{},message:{}",record);
                }
            }
            ack.acknowledge();
        }
    }
    注解 @KafkaListener(topics={KafkaTopic.KAFKA_TEST})就是消费topic主题是KAFKA_TEST的消息。

    ConsumerRecord<String, String> record中的record就是所接收的消息来的。打印出来的信息如下

    展开全文
  • docker本地安装kafka(转载) 看这篇博客前,假设你已经具有以下环境配置: windows10系统 安装过docker,并且docker可以拉取镜像 0.获取本机以太网下的IP 打开cmd,输入以下命令 ipconfig 我当前这台电脑得到的IP...

    docker本地安装kafka(转载)

    看这篇博客前,假设你已经具有以下环境配置:

    • windows10系统
    • 安装过docker,并且docker可以拉取镜像

    0.获取本机以太网下的IP

    打开cmd,输入以下命令

    ipconfig
    

    我当前这台电脑得到的IP是192.168.1.3

    提示:后面所有需要用到本机ip的地方,读者需要自行换成自己的IP地址

    1.下载zookeeper镜像

    docker pull wurstmeister/zookeeper
    

    2、启动zookeeper镜像生成容器

    docker run -d --restart=always --log-driver json-file --log-opt max-size=100m --log-opt max-file=2 --name my_zookeeper -p 2181:2181   wurstmeister/zookeeper
    

    3、下载kafka镜像

    docker pull wurstmeister/kafka
    

    4、启动kafka镜像生成容器

    docker run -d --restart=always --log-driver json-file --log-opt max-size=100m --log-opt max-file=2 --name my_kafka   -p 9092:9092 -e KAFKA_BROKER_ID=0 -e KAFKA_ZOOKEEPER_CONNECT=192.168.1.3:2181/kafka   -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.1.3:9092 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092   wurstmeister/kafka
    

    上述脚本的参数说明如下:

    参数参数说明
    -e KAFKA_BROKER_ID=0在kafka集群中,每个kafka都有一个BROKER_ID来区分自己
    -e KAFKA_ZOOKEEPER_CONNECT=192.168.1.3:2181/kafka配置zookeeper管理kafka的路径
    -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.1.3:9092把kafka的地址端口注册给zookeeper,如果是远程访问要改成外网IP,类如Java程序访问出现无法连接。
    -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092配置kafka的监听端口
    -v /etc/localtime:/etc/localtime容器时间同步虚拟机的时间

    5、验证kafka是否可以使用

    提示 :kafka_2.13-2.6.0 是我这边当前拉下来的文件夹的名称,不一定完全一致,读者可以自行换成自己的版本的

    5.1 启一个cmd,来消费kafka测试数据

    docker exec -it my_kafka bash
    
    cd /opt/kafka_2.13-2.6.0/bin/
    ./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic sun --from-beginning
    

    5.2 再启一个cmd来生产kafka测试数据

    docker exec -it my_kafka bash
    
    cd /opt/kafka_2.13-2.6.0/bin/
    ./kafka-console-producer.sh --broker-list localhost:9092 --topic sun
    
    hello world
    

    输入hello world再回车,那么5.1的cmd就可以收到相应hello world的信息

    至此,本地测试搭建完成

    内容非常干货,所以重新排版,如果能帮到你,那么我会非常高兴

    该博客转载自 https://www.cnblogs.com/engzhangkai/p/12676613.html

    展开全文
  • 1. 安装JDK 1.1 安装文件:http://www.oracle.com/technetwork/java/javase/downloads/jre8-downloads-2133155.html下载Server JRE. 1.2 安装完成后需要添加以下的环境变量(右键点击“我的电脑” -&gt; "...

    搭建环境

    1. 安装JDK

    1.1 安装文件:http://www.oracle.com/technetwork/java/javase/downloads/jre8-downloads-2133155.html下载Server JRE.
    1.2 安装完成后需要添加以下的环境变量(右键点击“我的电脑” -> "高级系统设置" -> "环境变量" ):

      • JAVA_HOME: C:\Program Files (x86)\Java\jre1.8.0_60(这个是默认安装路径,如果安装过程中更改了安装目录,把更改后的路径填上就行了)
      • PATH: 在现有的值后面添加"; %JAVA_HOME%\bin"

    1.3 打开cmd运行 "java -version" 查看当前系统Java的版本:java-version

    2. 安装Zookeeper

          Kafka的运行依赖于Zookeeper,所以在运行Kafka之前我们需要安装并运行Zookeeper

    2.1 下载安装文件: http://zookeeper.apache.org/releases.html

    2.2 解压文件(本文解压到 G:\zookeeper-3.4.8)

    2.3 打开G:\zookeeper-3.4.8\conf,把zoo_sample.cfg重命名成zoo.cfg

    2.4 从文本编辑器里打开zoo.cfg

    2.5 把dataDir的值改成“:\zookeeper-3.4.8\data”

    2.6 添加如下系统变量:

        1)ZOOKEEPER_HOME: G:\zookeeper-3.4.8

        2)Path: 在现有的值后面添加 ";%ZOOKEEPER_HOME%\bin;"

    2.7 运行Zookeeper: 打开cmd然后执行zkserver

    3. 安装并运行Kafka

          3.1 下载安装文件: http://kafka.apache.org/downloads.html

          3.2 解压文件(本文解压到 G:\kafka_2.11-0.10.0.1)

          3.3 打开G:\kafka_2.11-0.10.0.1\config

          3.4 从文本编辑器里打开 server.properties

          3.5 把 log.dirs的值改成 “G:\kafka_2.11-0.10.0.1\kafka-logs”

          3.6 打开cmd

          3.7 进入kafka文件目录: cd /d G:\kafka_2.11-0.10.0.1\

          3.8 输入并执行以打开kafka:

           bin\windows\kafka-server-start.bat config\server.properties

     

     

    相关问题:

    1.cmd进入命令窗口输入命令kafka-server-start.bat ..\..\config\server.properties命令窗口提示:错误: 找不到或无法加载主类 Files\Java\jdk1.8.0_101\lib\dt.jar;C:\Program

    解决方式:

    1)、CLASSPATH配置有误,应该是:**.;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar;** 最前面是“小数点”不是“逗号”。

    2)、java环境由JRE换成JDK的话,需要修改kafka_2.12-1.0.0\bin\windows\kafka-run-class.bat文件。

    具体修改内容是,将:

    set COMMAND=%JAVA% %KAFKA_HEAP_OPTS% %KAFKA_JVM_PERFORMANCE_OPTS% %KAFKA_JMX_OPTS% %KAFKA_LOG4J_OPTS% -cp %CLASSPATH% %KAFKA_OPTS% %

    改为:set COMMAND=%JAVA% %KAFKA_HEAP_OPTS% %KAFKA_JVM_PERFORMANCE_OPTS% %KAFKA_JMX_OPTS% %KAFKA_LOG4J_OPTS% -cp "%CLASSPATH%" %KAFKA_OPTS% %

    %CLASSPATH%要用双引号。

    2.找不到或无法加载主类 kafka.Kafka

     解决方式:下载的是源码包,需要编译。可以下载Binary downloads:

     


    --------------------- 
    引用链接来源:
    https://blog.csdn.net/cx2932350/article/details/78870135

    https://357029540.iteye.com/blog/2344579

    http://www.bubuko.com/infodetail-1852602.html

    感谢上面三篇博客作者的分享!

     

    展开全文
  • windows 系统下搭建kafka超详细教程 + 搭建所需要的软件包,包含: jdk-13_windows-x64_bin apache-zookeeper-3.6.1-bin kafka_2.12-2.5.0
  • kafka_2.13-2.5.1及安装方法
  • Windows本地部署KAFKA

    2021-01-25 17:19:29
    Windows本地部署KAFKA 前言:最近做数据分析项目,感觉Linux集群上的KAFKA不太实用,每次都需要开启虚拟机而且也不太稳定,spark和hadoop框架都有maven替代,干脆把kafka也部署到Windows上更加方便。 1.到KAFKA官网...
  • window安装kafka,进行本地调试

    千次阅读 2019-04-10 09:07:26
    1.官网下载kafka安装包 http://kafka.apache.org/downloads 2.官网下载zookeeper http://zookeeper.apache.org/ 3.先启动zookeeper.执行zkServer.cmd命令 4.启动kafka .\bin\windows\kafka-server-start...
  • mac 本地搭建kafka

    千次阅读 2020-10-12 02:10:33
    刚开始学习使用这个还没明白在那或者怎么用,那么先着手在本地搭建一下kafka一点点的开始学习 1、安装kafka brew install kafka 这里安装的时候有好几个文件都报错了,没有下载成功,我直接退出重新安装两次才成功 ...
  • Mac环境安装kafka

    2021-01-26 19:25:29
    搜了一堆教程,改了一堆配置,最后发现Mac安装kafka其实很简单,几条指令就完事了 1 Homebrew方式安装 kafka依赖zookeeper,所以安装后会生成kafka、zookeeper两个文件夹,分别位于 /usr/local/Cellar/zookeeper /...
  • 安装kafka $ brew install kafka (1) 安装过程将依赖安装 zookeeper (2) 软件位置 /usr/local/Cellar/zookeeper /usr/local/Cellar/kafka (3) 配置文件位置 /usr/local/etc/kafka/zookeeper.properties /usr...
  • kafka本地单机安装部署

    千次阅读 2017-06-16 11:39:22
    kafka是一种高吞吐量的分布式发布订阅消息系统,这几天要上kafka,只在其中的一个节点使用,结合具体的项目实践在此将kafka本地安装部署流程记录下来与各位同仁分享交流。 准备工作: 上述的文件除了jdk以外...
  • ubuntu 安装kafka 以及使用

    千次阅读 2020-03-06 17:10:35
    Kafka是最初由Linkedin公司开发,是一个分布式、分区的、多副本的、多订阅者,基于zookeeper协调的分布式日志系统(也可以当做MQ系统),常见可以用于web/nginx日志、访问日志,消息服务等等,Linkedin于2010年贡献...
  • docker安装kafka指令

    2019-03-14 17:46:31
    docker 安装kafka指令(映射挂载宿主机)
  • ubuntu下安装kafka

    2019-02-04 15:46:00
    首先需要确保机器有安装jdk8.0,否则也是...... 第一步,去kafka的官网,下载一个压缩包 官网地址是 http://kafka.apache.org/downloads.html 随便找一下就能到下载的地址了,可以下到本地再拖过去服务器上,也...
  • Kafka本地集群搭建

    千次阅读 2018-04-17 16:07:24
    工作需要,本地搭建了kafka的集群做测试,并简单使用。 本地环境: - VMware Workstation 14 Pro - CentOS 7 - jdk-8u161-linux-x64.tar.gz - zookeeper-3.4.10.tar.gz - kafka_2.11-1.0.1.tgz ...
  • 一、安装JAVA JDK 1、下载安装包 http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 注意:根据32/64位操作系统下载对应的安装包 2、添加系统变量:JAVA_HOME=C:\Program ...
  • kafka 本地安装

    2018-05-22 16:07:20
    windows 版mac 版kafka mac 安装教程 :http://blog.csdn.net/u010046908/article/details/62229015最好下载和公司一个版本的 kafka ,避免公司api冲突。 公司版本 kafka 安装包 :kafka_2.10-0.8.2.2.tgzkafka 监控...
  • 创建docker-composer文件,后缀为yml文件 version: '3.7' services: zookeeper: image: wurstmeister/... image: wurstmeister/kafka ports: - "9092:9092" environment: #ip地址为docker网关的ip,需要修改 KA
  • kafka】Centos7安装kafka

    万次阅读 2019-01-08 19:12:44
    前一段时间在通知系统中,用到了kafka,刚开始的时候是通过本地安装kafka来运行的,本地安装kafka。后来在项目中,使用的是阿里的kafka,阿里的也是今年8月开始推出的。这里先记录一下本地安装kafka的过程。 二 ...
  • mac系统安装kafka

    2020-07-25 20:50:12
    本文采用homebrew安装kafka,如果还未安装homebrew,请参考我的上篇博客homebrew安装 安装zookeeper brew install zookeeper 默认安装位置 启动文件: /usr/local/Cellar/zookeeper/3.5.8/bin/ 配置文件: /usr/...
  • mac包安装kafka

    千次阅读 2018-11-14 14:15:05
    (安装kafka前应在本地安装java的jdk,因为zookeeper需要依赖java虚拟机) 下载地址:https://kafka.apache.org/down… wget http://mirrors.shuosc.org/apache/kafka/2.0.0/kafka_2.11-2.0.0.tgz 解压: tar -zxvf ...
  • 三个节点规划如下(实验环境与ZK Server一致,实际生产环境需要独立部署在...Kafka版本:kafka_2.12-2.3.0 安装配置步骤: 1.安装配置zookeeper集群(三个节点) 详细步骤见前一篇文章,地址:https://mp.csd...
  • centos8安装kafka

    2020-12-05 14:23:45
    1.Kafka依赖说明 ZooKeeper是一个分布式协调服务,它的主要作用是为分布式系统提供一致性服务,提供的功能包括:配置维护、命名服务、分布式同步、组服务等。Kafka的运行依赖ZooKeeper。 1.下载kafka wget ...
  • Windows 下本地运行 Kafka

    千次阅读 2018-11-21 22:41:43
    文章目录介绍环境安装运行调试本地运行遇到的问题 介绍 本地运行 kafka,运行生产消费实例。 Kafka 是一个分布式发布-订阅消息系统。Zookeeper 是一个高性能分布式应用协调服务。 他们之间的关系 参考 环境安装 1. ...
  • windows下安装kafka

    千次阅读 2021-05-02 18:57:17
    一.下载 kafka官网下载地址:...2.安装kafka 我下载的kafka_2.13-2.8.0.tgz,并解压到D:\Tools\kafka_2.13-2.8.0目录下 编辑文件Kafka配置文件, D:\Tools\kafka_2.13-2.8.0\config\server.
  • mac安装kafka详细教程

    2020-11-08 16:30:23
    mac环境安装kafka Homebrew方式安装 1brew install kafkakafka依赖zookeeper,所以安装后会生成kafka、zookeeper两个文件夹,分别位于 /usr/local/Cellar/zookeeper /usr/local/Cellar/kafka brew install ...
  • springboot 集成kafka系列 一、安装kafka

    千次阅读 2018-10-26 13:19:59
    1.安装并启动zookeeper 1.1官网https://zookeeper.apache.org/releases.html#download下载zookeeper-3.4.6,下载后解压到本地; 1.2进入zookeeper/conf,把zoo_sample.cfg重命名成zoo.cfg; 1.3进入zookeeper目录,...
  • 本地搭建kafka

    2020-06-19 15:13:00
    很单纯的下载文件 ... 将下载的文件解压到...Broker:kafka集群的服务器被称为Broker Topic:逻辑层面类似于RabbitMQ的Queue队列,是必须的。可能在多个服务器上(Broker),也可能在多个分区(Partition) Partiti

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 51,899
精华内容 20,759
关键字:

本地安装kafka