精华内容
下载资源
问答
  • kafka 本地安装

    2018-05-22 16:07:20
    windows 版mac 版kafka mac 安装教程 :http://blog.csdn.net/u010046908/article/details/62229015最好下载和公司一个版本的 kafka ,避免公司api冲突。 公司版本 kafka 安装包 :kafka_2.10-0.8.2.2.tgzkafka 监控...

    windows 版



    mac 版

    kafka mac 安装教程 :

    http://blog.csdn.net/u010046908/article/details/62229015

    最好下载和公司一个版本的 kafka ,避免公司api冲突。 公司版本 kafka 安装包 :kafka_2.10-0.8.2.2.tgz

    kafka 监控工具 KafkaOffsetMonitor :

    http://blog.csdn.net/lizhitao/article/details/27199863

    注意:

    启动kafka, zk容易被堵, zk配置需要修改,如下: 
    tickTime=2000 
    initLimit=10 
    syncLimit=5 
    clientPort=1024 
    logDir=/Users/yaoerfei/tmp/zookeeper/log 
    dataDir=/Users/yaoerfei/tmp/zookeeper/data 
    dataLogDir=/Users/yaoerfei/tmp/zookeeper/log 
    clientPort=2181 
    autopurge.snapRetainCount=6 
    autopurge.purgeInterval=1 
    maxClientCnxns=300

    zk参数含义: 
    http://www.cnblogs.com/xiohao/p/5541093.html

    展开全文
  • kafka本地安装方法

    2020-10-27 13:56:23
    一、本地安装Kafka 1、 下载 kafka_2.13-2.5.1.tgz 文件 (带src是源码 如:kafka-2.5.1-src.tgz ,不能安装) 2、解压文件,进入目录,创建 logs文件夹。 进入config目录,打开 server.properties 文件: 注释 #...

    一、本地安装Kafka

    1、 下载 kafka_2.13-2.5.1.tgz 文件 (带src是源码 如:kafka-2.5.1-src.tgz ,不能安装)(下载路径参看文章结尾)  
    
    2、解压文件,进入目录,创建 logs文件夹。
    进入config目录,打开 server.properties 文件:
    注释 
    #log.dirs=/tmp/kafka-logs
    #zookeeper.connect=localhost:2181
    
    添加配置
    log.dirs=E:\ProgramFiles\kafka_2.13-2.5.1\logs
    zookeeper.connect=127.0.0.1:2181
    
    3、启动 zookeeper (参考文章结尾)   
    
    4、启动kafka  
    WIN+R 输入cmd 进入命令行窗口。
    进入kafka目录,输入  .\bin\windows\kafka-server-start.bat .\config\server.properties
    
    

    二、执行kafka命令

    1、创建主题
    命令行进入目录
    
    C:\Users\Administrator>E:
    
    E:\>cd E:\ProgramFiles\kafka_2.13-2.5.1\bin\windows
    
    E:\ProgramFiles\kafka_2.13-2.5.1\bin\windows>kafka-topics.bat --create --zookeeper 127.0.0.1:2181 --replication-factor 1 --partitions 1 --topic test
    Created topic test.
    
    
    2、创建生产者消息
    E:\ProgramFiles\kafka_2.13-2.5.1\bin\windows>kafka-console-producer.bat --broker-list 127.0.0.1:9092 --topic test
    
    3、消费者获取消息
    E:\ProgramFiles\kafka_2.13-2.5.1\bin\windows>kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test --from-beginning
    kafka-console-consumer.bat –zookeeper localhost:2181 –topic test
    
    
    查看所有主题
    E:\ProgramFiles\kafka_2.13-2.5.1\bin\windows>kafka-topics.bat -list -zookeeper localhost:2181
    
    

    kafka_2.13-2.5.1
    zookeeper安装
    kafka工具
    安装参考

    展开全文
  • Kafka本地安装笔记

    2019-08-03 16:02:49
    本地手工玩一下kakfa,这里我用的MacOS,因此用brew安装。这里整理了下自己的安装笔记。首先java环境这里就不说了。 一、安装zookeeper brew的安装这里就不说了,直接安装zookeeper。运行以下命令即可。这里可能...

    本地手工玩一下kakfa,这里我用的MacOS,因此用brew安装。这里整理了下自己的安装笔记。首先java环境这里就不说了。

    一、安装zookeeper

    brew的安装这里就不说了,直接安装zookeeper。运行以下命令即可。这里可能因为网络原因比较费时。

    brew install zookeeper

    这里采用zookeeper 单机模式即可。也可以在/usr/local/etc/zookeeper目录下更改配置文件。

    二、安装kafka

    kafka安装也很类似,运行以下安装命令。或者也可以查看

    brew info kafka

    会列举下kafka的可用版本和其他信息。

    安装

    brew install kafka

    其配置文件在/usr/local/etc/kafka目录下,本地单机模式也无需更改。

    三、启动zookeeper

    运行命令启动zookeeper单机模式

    /usr/local/bin/zkServer start

    此时启动成功。

    四、启动kafka

    运行命令,这里为了方便,我切换到/usr/local/bin目录下

    kafka-server-start /usr/local/etc/kafka/server.properties

    到此本地kafka启动成功

    五、创建topic并验证

    运行命令,创建topic test

    kafka-topics --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

    这里指定用本地集群,一个分区,topic名字:test

    于topic有关的命令都在 kafka-topics里面,运行命令可以查看

    kafka-topics --zookeeper localhost:2181 --describe --topic test

    描述信息如下

    六、发消息、收消息

    向topic发消息

    kafka-console-producer --broker-list localhost:9092 --topic test

    通过命令行输入消息内容

    然后就可以从kafka里面读取消息了

    kafka-console-consumer --bootstrap-server localhost:9092 --topic test --from-beginning

    此时消费者就把消息从topic里读取出来了。

    注意,此处因为kafka版本的不同,命令可能不同。老版本里用的是 --zookeeper 而不是 --bootstrap-server。

    如果不对,这里会有提示。

     

    七、集群

    集群安装也很类似,打开配置文件

    vim /usr/local/etc/kafka/server.properites

    在该文件中修改下边几个配置:

    #broker.id=0  # 每个服务器的broker.id都不能相同
    
    #hostname
    host.name=192.168.7.100
    
    #设置zookeeper的连接端口
    zookeeper.connect=192.168.43.87:2181

    记得保证broker.id 不同,然后启动几个kafka即可

    逐个启动kafka即可

    ./bin/kafka-server-start.sh –daemon config/server.properties

     

    注意
    集群的数量最好不要超过 7 个,节点越多,消息复制需要的时间就越长,整个群组的吞吐量就越低。
    另外,集群节点数量最好是单数,因为超过一半节点故障集群就不能用了,设置为单数容错率更高。

    因为kafka不能脱离zookeeper单独运行,因此启动时,先启动zookeeper集群,再启动kafka集群。关闭时反过来,先关闭kafka集群,再关闭 zookeeper 集群。

     

    展开全文
  • kafka本地单机安装部署

    千次阅读 2017-06-16 11:39:22
    kafka是一种高吞吐量的分布式发布订阅消息系统,这几天要上kafka,只在其中的一个节点使用,结合具体的项目实践在此将kafka本地安装部署流程记录下来与各位同仁分享交流。 准备工作: 上述的文件除了jdk以外...

    kafka是一种高吞吐量的分布式发布订阅消息系统,这几天要上kafka,只在其中的一个节点使用,结合具体的项目实践在此将kafka的本地安装部署流程记录下来与各位同仁分享交流。
    准备工作:
    这里写图片描述

    上述的文件除了jdk以外均放在/usr/local/kafka目录下。

    1、安装jdk,kafka的使用要用到jdk
    首先检查有无jdk:java -version
    cd /usr/local/hadoop(本例中我是将jdk的安装包放到hadoop文件夹下,各位可以依据自己情况)
    http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html
    将下载的安装包上传到服务器上的/usr/local/hadoop文件夹下
    tar-zxvf jdk-7u79-linux-x64.tar.gz
    配置jdk的环境变量:
    vim /etc/profile

    这里写图片描述

    使其立即生效 source /etc/profile
    检查是否安装成功:java –version

    这里写图片描述

    至此jdk安装配置成功。

    2、安装zookeeper
    cd /usr/local/kafka
    wget https://archive.apache.org/dist/zookeeper/zookeeper-3.3.6/zookeeper-3.3.6.tar.gz
    tar -zxvf zookeeper-3.3.6.tar.gz
    vim /etc/profile

    这里写图片描述

    使之立即生效
    source /etc/profile

    测试zookeeper是否安装成功
    cd /usr/local/zookeeper-3.3.6/bin
    ./zkServer.sh start

    这里写图片描述

    如上图所示,即为zookeeper安装配置成功。

    3、安装kafka
    cd /usr/local/kafka
    wget https://archive.apache.org/dist/kafka/0.8.0/kafka_2.8.0-0.8.0.tar.gz
    tar -zxvf kafka_2.8.0-0.8.0.tar.gz
    配置kafka,修改文件server.properties
    cd /usr/local/kafka/kafka_2.8.0-0.8.0/config

    这里写图片描述

    vim server.properties

    这里写图片描述

    将上图中的host.name处写上本地服务器的IP地址

    这里写图片描述

    上图中的log.dirs结合自己所建的文件夹路径填写,没有严格要求

    这里写图片描述

    上图中的红框处默认为2181端口

    配置kafka下zookeeper
    mkdir /usr/local/kafka/zookeeper #创建zookeeper目录
    mkdir /usr/local/kafka/log/zookeeper #创建zookeeper日志目录
    cd /usr/local/kafka/kafka_2.8.0-0.8.0/config
    vim zookeeper.properties

    这里写图片描述

    上图中的dataDir和dataLogDir可以依据自己建立的文件夹路径填写。

    4、创建启动和关闭kafka脚本
    (1)创建kafka脚本
    vim kafkastart.sh

    这里写图片描述

    (2)创建关闭kafka脚本
    vim kafkastop.sh

    这里写图片描述

    (3)添加脚本执行权限
    chmod +x kafkastart.sh
    chmod +x kafkastop.sh

    (4)设置脚本开机启动自动执行
    vim /etc/rc.d/rc.local

    这里写图片描述

    5、测试kafka

    (1)创建主题
    cd /usr/local/kafka/kafka_2.8.0-0.8.0/bin
    ./kafka-create-topic.sh –partition 1 –replica 1 –zookeeper localhost:2181 –topic test

    这里写图片描述

    检查主题是否创建成功
    ./kafka-list-topic.sh –zookeeper localhost:2181

    这里写图片描述

    (2)启动producer
    ./kafka-console-producer.sh –broker-list 192.168.18.229:9092 –topic test
    (192.168.18.229是本地服务器IP地址,读者根据情况填写)

    这里写图片描述

    如上图所示,输入hello kafka!后,回车
    然后另外打开一个shell终端
    cd /usr/local/kafka/kafka_2.8.0-0.8.0/bin
    在此终端下启动consumer
    ./kafka-console-consumer.sh –zookeeper localhost:2181 –topic test

    这里写图片描述

    由上图可见,终端1生产者下所输入的hello kafka!,在终端2下的消费者下显现,至此kafka的单机安装部署完成。

    (6)关闭kafka

    cd /usr/local/kafka
    ./kafkastop.sh

    附:有可能遇到的问题和解决方案
    问题1: Failed to acquire lock on file .
    这里写图片描述

    解决方案:
    这是因为之前已经有kafka进程在运行,可以如下:
    通过jps命令查看进程号,并kill掉,然后重新启动kafka即问题解决

    这里写图片描述

    问题2:BindException: Address already in use
    这里写图片描述

    解决方案:
    这个有时可以忽略,只要最后成功启动了kafka就可以,也可以将server.properties下的2181的端口号换一下,这个报错是因为2181端口被占用了。

    展开全文
  • kafka安装_kafka安装

    2020-12-03 16:47:48
    最近接了个私活,挖币方面的,需要和kafka交互,所以在本地搭了个kafka熟悉一下,写本文也是为了自己搭建的一个过程,自己后续再搭建的时候省的去百度了,文章拿过来就用。首先kafka是依赖于zookeeper的所以我们需要...
  • kafka本地部署

    2020-04-18 23:07:44
    kafka安装 kafka安装地址 版本对应关系 kafka zookeeper kafka_2.12-2.4.0 apache-zookeeper-3.6.0-bin zookeeper和kafka的版本不对应好像是会出问题 启动 使用zookeeper集群 首先启动zookeeper 进入到...
  • 本地虚拟机redhat7安装kafka教程第二步----kafka安装与配置因工作需求,要从kafka中读取数据,今天鼓捣了一天,做个记录1、下载Kafka版本 本次下载的是kafka_2.10-0.10.1.1.tgz版本,可以使用wget下载,来个五选...
  • 本博文介绍如何一步步搭建起Kafka本地环境。 下载Kafka 0.9.0.0并配置软链接  下载好后,放入电脑本地安装目录,mac下我放在/usr/local下,解压Kafka。 tar -xzf kafka_2.11-0.9.0.0.tgz  然后建立一个...
  • 使用confluent本地安装和使用kafka

    万次阅读 2018-10-26 18:37:34
    转载请注明出处:使用confluent本地安装和使用kafka confluent简介 confluent是平台化的工具,封装了kafka,让我们可以更方便的安装和使用监控kafka,作用类似于CDH对于Hadoop。 confluent是由LinkedIn开发出Apache ...
  • 1.概述 1.1 Confluent Kafka简介 2014年,Kafka的创始人Jay Kreps、...confluent是平台化的工具,封装了kafka,让我们可以更方便的安装和使用监控kafka,作用类似于CDH对于Hadoop。 confluent是由LinkedIn开发出.
  • 一、kafka介绍1、什么是消息队列消息队列技术是分布式应用间交换信息的一种技术。消息队列可驻留在内存或磁盘上, 队列存储消息直到它们被应用程序读走。通过消息队列,应用程序可独立地执行–它们不需要知道彼此的...
  • tar -xzf kafka_2.12-2.4.0.tgz cd kafka_2.12-2.4.0 2、启动zookeeper和server #前台启动 bin/zookeeper-server-start.sh config/zookeeper.properties #后台启动 nohup bin/zookeeper-server-start.sh config...
  • Kafka本地单机部署

    2020-08-20 19:05:51
    Kafka内置了ZooKeeper,故如果未安装ZooKeeper可以使用其内置ZooKeeper。但我们一般使用外部zookeeper服务。 1.下载Kafka(本人是kafka_2.11-2.0.0.tgz版本) 添加链接描述 2.将下好的kafka包拉进software目录下 3....
  • 本地安装kafka和使用

    2020-09-11 15:01:36
    下载安装包,我用的是kafka_2.12-2.3.0,提取码:05jw
  • spark streaming一般会接消息队列作为数据源,以kafka为例,所以需要在本地安装kafkakafka又依赖zookeeper,所以还需要安装zookeeper。 3. 安装zookeeper 3.1 下载zk 先去zookeeper官网下载zookeeper对应的.bi
  • 下载本文采用 kafka_2.13-2.6.0 版本,2.13 是scala版本号,2.6.0 是kafka版本号zookeeperkafka依赖zookeeperkafka内置了...但一般不用内置的kafka_2.13-2.6.0 版本 需要zookeeper 3.5.8 版本查看方式:安装、启...
  • kafka单机安装2.8.0

    2018-01-10 15:16:12
    kafka本地单机安装部署 原理 Kafka是一款分布式消息发布和订阅的系统,具有高性能和高吞吐率。 1、 消息的发布称为 producer,即生产者。消息的订阅称作 consumer,即消费者。一台 kafka服务器就是一个broker。...
  • kafka下载安装配置

    2020-07-07 20:49:03
    本地安装配置(单机模式) 伪分布式模式 真分布式模式 安装过程遇到问题及解决办法 一、官网下载 官网地址:http://kafka.apache.org/ 下载非src版(src版为源码) 二、安装配置 本地安装配置(单机...
  • 本地环境 本次测试需要配置jdk(本文不过多讲解),ZooKeeper ,Kafka 1安装zookeeper服务 下载地址:http://mirrors.hust.edu.cn/apache/zookeeper/ 1.将安装包解压到指定目录:D:\apache-zookeeper\zookeeper-...
  • Kafka基础安装使用

    2021-02-27 08:13:53
    Kafka基础安装使用 官网地址:http://kafka.apache.org/ 1.特性 高吞吐低延迟 可扩展性,支持集群热扩展 可持久性,可靠性,消息持久化到本地磁盘,支持数据备份 容错性,允许集群中节点失败 高并发,支持数千个...
  • Kafka Eagle 安装步骤整理 Kafka Eagle首页 Kafka Eagle Topic信息列表 Kafka Eagle Consumer信息展示 获取Kafka Eagle安装包 ​ 1.从网站直接下载 ​ http://download.kafka-eagle.org/ ​ 2.从GitHub下载源码...
  • kafka window安装 原创

    2020-07-16 21:21:43
    2、解压到本地 3、打开cmd 到kafka的目录 4、修改 E:\soft\develop\kafka\kafka_2.11-2.0.0\config\server.properties 文件的log.dirs ="此处为自己电脑日志存放位置" E:\soft\develop\kafka\kafka_2.11-...
  • kafka本地搭建流程

    2017-03-02 10:47:59
    此搭建过程操作系统基于ubuntu 14.04.3,zookeeper 3.4.6,kafka 2.10-0.8.2.1 zookeeper安装wget ...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 446
精华内容 178
关键字:

kafka本地安装