精华内容
下载资源
问答
  • linux 部署kafka

    2019-06-12 09:59:37
    介绍:此文章中会介绍怎么部署kafka单机以及集群模式,如何测试生产消息、消费消息 一、环境需要JDK 1、上传jdk文件到服务器 2、创建软链 ln -s jdk1.8.0_121 jdk8 3、配置环境变量 vi /etc/profile JAVA_HOME=/...

    介绍:此文章中会介绍怎么部署kafka单机以及集群模式,如何测试生产消息、消费消息

    一、环境需要JDK

    1、上传jdk文件到服务器
    
    2、创建软链
    ln -s jdk1.8.0_121 jdk8
    
    3、配置环境变量
    vi /etc/profile
    JAVA_HOME=/usr/local/jdk8
    PATH=$PATH:$JAVA_HOME/bin
    export PATH
    
    4、让环境变量生效
    source /etc/profile
    

    二、下载配置kafka

    1、下载kafka目录/usr/local 
    wget http://mirror.bit.edu.cn/apache/kafka/2.1.0/kafka_2.11-2.1.0.tgz
    
    2、解压重命名
    tar zxvf kafka_2.11-2.1.0.tgz
    mv kafka_2.11-2.1.0.tgz kafka
    
    3、启动zookeeper
    cd kafka
    bin/zookeeper-server-start.sh -daemon config/zookeeper.properties
    
    4、创建topic test
    bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
    
    5、查看topic
    bin/kafka-topics.sh --list --zookeeper localhost:2181 test
    
    6、产生消息
    bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
    
    7、消费消息
    bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
    

    三、单机多broker集群配置

    1、复制配置文件
    cp config/server.properties config/server-1.properties
    
    2、编辑配置文件
    broker.id=1
    port=9093 
    log.dir=/tmp/kafka-logs-1
    
    3、启动服务
    bin/kafka-server-start.sh config/server-1.properties &
    
    4、生产消息消费消息跟上面一样
    

    四、多机多broker集群配置

    1、分别在多个节点按上述方式安装Kafka,配置启动多个Zookeeper 实例。 
    例如:在192.168.0.117,192.168.0.118,192.168.0.119三台机器部署,Zookeeper配置如下:
    
    initLimit=5 
    syncLimit=2 
    server.1=192.168.0.117:2888:3888 
    server.2=192.168.0.118:2888:3888 
    server.3=192.168.0.119:2888:3888
    
    2、分别配置多个机器上的Kafka服务 设置不同的broke id,zookeeper.connect设置如下:
    zookeeper.connect=192.168.0.117:2181,192.168.0.118:2181,192.168.0.119:2181
    
    3、启动Zookeeper与Kafka服务,按上文方式产生和消费消息,验证集群功能。
    
    展开全文
  • linux部署kafka

    2016-05-12 12:48:51
    Kafka默认开启JVM压缩指针,但只是在64位的HotSpot VM受支持,如果安装了32位的HotSpot VM,需要修改/bin/kafka-run-class.sh文件: 找到如下行: KAFKA_JVM_PERFORMANCE_OPTS= "-server -XX:+...

    ,1、关闭SELINUX

    vi /etc/selinux/config
    SELINUX=enforcing #注释掉
    SELINUXTYPE=targeted #注释掉
    SELINUX=disabled #增加

    :wq! #保存退出
    setenforce 0 #使配置立即生效
    2、配置防火墙,开启9092端口
    vi /etc/sysconfig/iptables #编辑防火墙配置文件

    -A INPUT -m state --state NEW -m tcp -p tcp --dport 9092 -j ACCEPT

    :wq! #保存退出

    service iptables restart #最后重启防火墙使配置生效

    3、下载kafka

    wget -q http://apache.fayea.com/apache-mirror/kafka/0.8.1/kafka_2.8.0-0.8.1.tgz  

    4、解压

    tar -xzvf kafka_2.8.0-0.8.1.tgz  
    rm kafka_2.8.0-0.8.1.tgz  
    cd kafka_2.8.0-0.8.1  

    5、修改配置
    Kafka默认开启JVM压缩指针,但只是在64位的HotSpot VM受支持,如果安装了32位的HotSpot VM,需要修改/bin/kafka-run-class.sh文件:
    找到如下行:

    KAFKA_JVM_PERFORMANCE_OPTS="-server -XX:+UseCompressedOops -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:+CMSClassUnloadingEnabled -XX:+CMSScavengeBeforeRemark -XX:+DisableExplicitGC -Djava.awt.headless=true"  

    去除-XX:+UseCompressedOops参数。
    修改server.properties、zookeeper.properties 修改端口9092
    6、启动和停止
    启动zk:

    bin/zookeeper-server-start.sh config/zookeeper.properties &  

    启动kafka server:

    bin/kafka-server-start.sh config/server.properties &  

    7、连通性测试
    运行procuder:

    bin/kafka-console-producer.sh --broker-list localhost:9092,localhost1:9092,localhost2:9092 --topic test

    运行consumer:

    bin/kafka-console-consumer.sh --zookeeper localhost:2181,localhost1:2181,localhost2:2181 --topic test --from-beginning

    在producer端输入字符串并回车,查看consumer端是否显示。

    注:
    server.properties的host.name和advertised.host.name需要配置成本机ip
    advertised.port=9092
    三台机器的broker.id分别=0,1,2
    可以指定一个默认的num.partitions

    展开全文
  • linux部署kafka伪集群

    2019-04-17 21:28:23
    版本:kafka_2.11-2.1.1 下载地址:http://mirrors.hust.edu.cn/apache/kafka/2.1.1/kafka_2.11-2.1.1.tgz 准备:zookeeper已经启动好伪集群 1.修改server.properties文件 broker.id=1 listeners=PLAINTEXT:/...

    版本:kafka_2.11-2.1.1

    下载地址:http://mirrors.hust.edu.cn/apache/kafka/2.1.1/kafka_2.11-2.1.1.tgz

    准备:zookeeper已经启动好伪集群

     

    1.修改server.properties文件
     

    broker.id=1
    listeners=PLAINTEXT://127.0.0.1:9092
    log.dirs=/usr/local/kafka1/kafka-logs
    zookeeper.connect=127.0.0.1:2181,127.0.0.1:2182,127.0.0.1:2183

    broker.id=2
    listeners=PLAINTEXT://127.0.0.1:9093
    log.dirs=/usr/local/kafka2/kafka-logs
    zookeeper.connect=127.0.0.1:2181,127.0.0.1:2182,127.0.0.1:2183

    broker.id=3
    listeners=PLAINTEXT://127.0.0.1:90924
    log.dirs=/usr/local/kafka3/kafka-logs
    zookeeper.connect=127.0.0.1:2181,127.0.0.1:2182,127.0.0.1:2183

    2.启动方式

    进入kafka文件夹下运行此命令

    ./bin/kafka-server-start.sh ./config/server.properties

    如果后台运行,就运行下面命令

    nohup ./bin/kafka-server-start.sh ./config/server.properties &

    3.我遇到的错误

    (1)A Kafka instance in another process or thread is using this directory.

     

    只需删除目录/ 你的地址 / kafka-logs,然后重试

     

    (2)Unable to parse PLAINTEXT:/127.0.0.1/:9094 to a broker endpoint

     

    config中的配置文件写错了

     

     

    展开全文
  • linux部署kafka单机集群环境

    千次阅读 2018-04-12 17:59:34
    一、说明: 操作系统:linux kafka版本信息:kafka_2.11-0.8.2.1二、具体操作:1、安装kafka之间先检查操作系统中是否装有JDK,若没有点击打开链接有JDK安装步骤。2、关闭SELINUX、开启防火墙9092端口 2.1、关闭...

    一、说明:

            操作系统:linux

            kafka版本信息:kafka_2.11-0.8.2.1

    二、具体操作:

    1、安装kafka之间先检查操作系统中是否装有JDK,若没有点击打开链接有JDK安装步骤。

    2、关闭SELINUX、开启防火墙9092端口

        2.1、关闭SELINUX

            vi /etc/selinux/config
            #SELINUX=enforcing #注释掉
            #SELINUXTYPE=targeted #注释掉
            SELINUX=disabled #增加
            :wq! #保存退出

            setenforce 0 #使配置立即生效

        2.2、配置防火墙,开启9092端口
            vi /etc/sysconfig/iptables #编辑防火墙配置文件
            # Firewall configuration written by system-config-firewall
            # Manual customization of this file is not recommended.
            *filter
            :INPUT ACCEPT [0:0]
            :FORWARD ACCEPT [0:0]
            :OUTPUT ACCEPT [0:0]
            -A INPUT -m state --state ESTABLISHED,RELATED -j ACCEPT
            -A INPUT -p icmp -j ACCEPT
            -A INPUT -i lo -j ACCEPT
            -A INPUT -m state --state NEW -m tcp -p tcp --dport 22 -j ACCEPT
            -A INPUT -m state --state NEW -m tcp -p tcp --dport 9092 -j ACCEPT
            -A INPUT -j REJECT --reject-with icmp-host-prohibited
            -A FORWARD -j REJECT --reject-with icmp-host-prohibited

            COMMIT

            :wq! #保存退出

            service iptables restart #最后重启防火墙使配置生效

    3、安装kafka
        3.1、下载kafka
            cd /usr/local/src
            wget http://archive.apache.org/dist/kafka/0.8.2.1/kafka_2.11-0.8.2.1.tgz
            注意,kafka_2.11-0.8.2.1.tgz版本是已经编译好的版本,解压就能使用。
            tar -xzvf kafka_2.11-0.8.2.1.tgz #解压
            mv kafka_2.11-0.8.2.1 /usr/local/kafka #移动到安装目录

        3.2、配置kafka
            mkdir /usr/local/kafka/log/kafka #创建kafka日志目录
            cd /usr/local/kafka/config #进入配置目录
            vi server.properties #编辑修改相应的参数
            broker.id=0
            port=9092 #端口号
            host.name=127.0.0.1 #为本地IP
            log.dirs=/usr/local/kafka/log/kafka #日志存放路径,上面创建的目录

            zookeeper.connect=localhost:2181 #zookeeper地址和端口,单机配置部署,localhost:2181

            :wq! #保存退出
            (ps:如若host.name的ip不设置为127.0.0.1,会报一下错误:

                    Bug:Socket server failed to bind to xxx.xxx.xxx.xxx:9092: Cannot assign requested address.                   
                             在ECS上面配置kafka的地址千万不要写外部地址,比如139.225.155.153(我随便写的),这样事绑定不上去的,因为 这个是阿里云内部;它会去内网去寻找他的 地址,所以配成127.0.0.1 会自动识别成本机地址/不然应该使用外网的映射地址。

            )
        3.3、配置zookeeper
            mkdir /usr/local/kafka/zookeeper #创建zookeeper目录
            mkdir /usr/local/kafka/log/zookeeper #创建zookeeper日志目录
            cd /usr/local/kafka/config #进入配置目录
            vi zookeeper.properties #编辑修改相应的参数
            dataDir=/usr/local/kafka/zookeeper #zookeeper数据目录
            dataLogDir=/usr/local/kafka/log/zookeeper #zookeeper日志目录
            clientPort=2181
            maxClientCnxns=100
            tickTime=2000
            initLimit=10

            syncLimit=5

            :wq! #保存退出

    4、创建启动、关闭kafka脚本
        cd /usr/local/kafka #进入kafka根目录

         #创建kafka启动脚本


        vi kafkastart.sh #编辑,添加以下代码
        #!/bin/sh
        cd /usr/local/kafka/bin/zookeeper-server-start.sh /home/xuqiang/kafka/config/zookeeper.properties &
        sleep 3 #等3秒后执行
        #启动kafka

       cd /usr/local/kafka/bin/kafka-server-start.sh /home/xuqiang/kafka/config/server.properties &

        :wq! #强制保存退出

        #创建kafka关闭脚本

        

        vi kafkastop.sh #编辑,添加以下代码:
        #!/bin/sh
        #关闭zookeeper
        /usr/local/kafka/bin/zookeeper-server-stop.sh /usr/local/kafka/config/zookeeper.properties &
        sleep 3 #等3秒后执行
        #关闭kafka
        /usr/local/kafka/bin/kafka-server-stop.sh /usr/local/kafka/config/server.properties &

        :wq! #保存退出

       #添加脚本执行权限
        chmod +x kafkastart.sh

        chmod +x kafkastop.sh

    5、设置脚本开机自动启动
        vi /etc/rc.d/rc.local #编辑,在最后添加一行
        sh /usr/local/kafka/kafkastart.sh & #设置开机自动在后台运行脚本
        :wq! #保存退出
        sh /usr/local/kafka/kafkastart.sh #启动kafka
        sh /usr/local/kafka/kafkastop.sh #关闭kafka
    至此,Linux下Kafka单机安装配置完成。


    6、liunx下kafka生产者和消费者模式测试

        6.1、启动kafka

            sh /usr/local/kafka/kafkastart.sh
        6.2、创建topic test
        /usr/local/kafka/bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --    topic test
        6.3、查看topic
        ./usr/local/kafka/bin/kafka-topics.sh --list --zookeeper localhost:2181
        6.4、启动producer发布消息
         ./usr/local/kafka/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
          (ps:此时在命令行输入: hello world!)
        6.5、启动consumer消费消息
            ./usr/local/kafka/bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning

          (ps:此时会显示hello world!)

    测试结果如下(我开了两个窗口便与测试):
        
        (ps:图1为producer生产者,图2为consumer消费者)

    展开全文
  • Linux部署kafka 1、下载安装包传输到Linux服务器目录/usr/local/webserver https://www.apache.org/dyn/closer.cgi?path=/kafka/2.2.0/kafka_2.11-2.2.0.tgz 2、解压缩文件后启动kafka服务 [root@centos-linux-1 ...
  • linux部署kafka

    2019-09-30 02:51:51
    由于项目中要用到kafka,先在自己的虚拟机上部署试一下 1. 下载压缩包 https://www.apache.org/dyn/closer.cgi?path=/kafka/2.3.0/kafka_2.12-2.3.0.tgz 2. kafka运行依赖zookeeper,如未安装,可参照 ...
  • Linux部署kafka集群

    2019-02-06 21:37:42
    kafka集群部署3.1. 解压安装包3.2 在解压后的目录创建logs文件夹3.3 修改配置文件3.3.13.3.23.3.33.3.43.4 配置环境变量3.5 分发安装包和环境变量的配置文件3.6 分别在hostname2,hostname3上修改配置文件/kafka/...
  • LinuxKafka部署

    千次阅读 2019-05-24 17:13:00
    Kafka的运行依赖于zookeeper,请先确保服务器环境里已有zookeeper运行,zookeeper配置文档请查看我的另一篇文章——Linux之zookeeper安装部署 单台机子简单验证Kafka是否可行 参照官网教程即可,需要打开三个终端...
  • 主要介绍了linux contos6.8下部署kafka集群的方法,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
  • linux部署 kafka

    2016-02-04 15:53:00
    参考文章 http://www.cnblogs.com/sunxucool/p/4459020.html ... 一.Server 环境搭建 1 安装zookeeper集群(单机集群) storm 部署那里也有 2.安装 kafka 集群(...
  • 使用 Docker 快速部署一个简单的 Kafka 服务 下载 kafka 的 docker 镜像: docker pull spotify/kafka 注意: kafka 依赖 zookeeper 服务,而 spotify/kafka 里面集成好了 zookeeper 与 kafka,实现
  • Linux上安装部署Kafka

    千次阅读 2018-05-10 17:25:01
    准备 kafka_2.11-0.10.2.1.tgz 下载地址: ...一台Linux服务器 Java环境 安装部署 kafka_2.11-0.10.2.1.tgz 文件下载下来,移动到自己的目录下 我这里是 /opt/kafaka/ tar -zxv...
  • Linuxkafka部署

    2019-08-08 20:56:00
    Linuxkafka部署 转载于:https://www.cnblogs.com/wuzm/p/11323797.html
  • Linux环境下安装部署zookeeper、kafka目录zookeeper和kafka压缩包_linux安装zookeeper解压修改zookeeper配置文件启动zookeeper关闭zookeeper安装akfka解压修改kafka配置文件启动kafka关闭kafkaKafka常用命令行创建...
  • linuxkafka

    2019-01-09 17:01:17
    linux部署kafka所需压缩包 版本是kafka_2.11-2.0.1.tgz
  • 部署Linux单机kafka踩坑

    2019-06-13 20:28:03
    kafka简介 kafka是Apache开发的一个开源流处理...部署前置条件 Linux系统中有jdk(或者jre)环境(推荐jdk1.8) zookeeper和kafka的安装包(压缩包文件) kafka安装包中自带有zookeeper,本文未选用kafka自带zo...
  • 注意:部署Kafka之前先部署环境JAVA、Zookeeper 准备三台CentOS_6.5_x64服务器,分别是:IP: 192.168.0.249 dbTest249 Kafka ...
  • 一,安装3台虚拟Linux机 可参照 -https://blog.csdn.net/Ginny_2017/article/details/92799904 二,安装Kafka之前,需要安装Zookeeper, 也可以使用Kafka自带的ZK 独立安装ZK, 可参考:...
  • Linux 单节点部署kafka

    2018-09-26 16:04:45
    vi kafka_2.11-0.11.0.2/bin/kafka-server-start.sh if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then  export KAFKA_HEAP_OPTS="-Xmx256m -Xms256m" fi 修改对外的IP地址,否则kafka在别的机器上无法发布和订阅 : ...
  • Kafka是一个分布式的、可分区的、可复制的消息系统。它提供了普通消息系统的功能,但具有自己独特的设计。这个独特的设计是什么样的呢 介绍 Kafka是一个分布式的、可分区的、可复制的消息系统。它提供了普通消息...
  • Linux环境下安装部署zookeeper、kafka目录 zookeeper和kafka压缩包_linux 安装zookeeper 解压 修改zookeeper配置文件 启动zookeeper 关闭zookeeper 安装akfka 解压 修改kafka配置文件 启动kafka 关闭kafka Kafka常用...
  •  kafkfaProducer是线程安全的,然而KafkaConsumer是非线程安全的,但是并不意味着我们只能在单线程的环境中实现,如果生产者发送的速度大于消费者处理消息的速度,并且Kafka消息保留机制的作用可以通过多线程的方式...
  • Linuxkafka部署和集群

    2018-07-19 10:08:00
    1.下载kafka安装包kafka_2.12-1.1.0。 tar -xzvf kafka_2.11-0.8.2.1.tgz #解压 mv kafka_2.11-0.8.2.1 /usr/local/kafka #移动到安装目录 2、配置kafka mkdir /usr/local/kafka/log/kafka #创建kafka日志目录 ...
  • Linux安装Kafka

    千次阅读 2018-12-23 22:54:21
    本文介绍Linux安装Kafka。 1.Kafka简介 Kafka也是开源与Apache开源基金会的项目,由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统。 在百度百科是这样介绍的: Kafka是由Apache软件基金会开发的...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 18,616
精华内容 7,446
关键字:

linux部署kafka

linux 订阅