精华内容
下载资源
问答
  • kafka常用指令

    2020-07-06 10:52:03
    kafka常用指令 启动kafka服务 ./bin/kafka-server-start.sh -daemon config/server.properties & 创建topic #--create:创建 --zookeeper:zookeeper地址加端口号 --replication-factor:副本数 --partitions:...

    kafka常用指令

    • 启动kafka服务

      ./bin/kafka-server-start.sh -daemon config/server.properties &
      
    • 创建topic

      #--create:创建   --zookeeper:zookeeper地址加端口号  --replication-factor:副本数    --partitions:主题分区  --topic:topic的名字
      ./bin/kafka-topics.sh --create --zookeeper localhost:9092 --replication-factor 1 --partitions 1 --topic test
      
    • 查看topic信息

      ./bin/kafka-topics.sh --zookeeper localhost:9092 --describe --topic test
      
    • 启动生产者

      ./bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
      
    • 标题启动消费者

      ./bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test \
      
    • 用docker安装kafka客户端

      docker run -d --name my-kafka --restart always -v /etc/hosts:/etc/hosts -eZK_HOSTS=123.57.177.22:2181 \
      -p 8000:9000 kafkamanager/kafka-manager
      

    展开全文
  • Kafka实用指令

    2021-04-22 10:22:26
    kafka运行依赖于zookeeper,在kafka启动之前,首先要保证zookeeper已正常启动。zookeeper可单独部署或者使用kafka自带的zookeeper操作的相应脚本。 启动zookeeper(使用kafka自带脚本): nohup bin/zookeeper-...

    KafkaServer管理:

    kafka运行依赖于zookeeper,在kafka启动之前,首先要保证zookeeper已正常启动。zookeeper可单独部署或者使用kafka自带的zookeeper操作的相应脚本。
    启动zookeeper(使用kafka自带脚本):

    nohup bin/zookeeper-server-start.sh config/zookeeper.properties &
    

    启动单个kafka节点:

    nohup bin/kafka-server-start.sh config/server.properties &
    

    kafka没有提供同时启动集群中所有节点的脚本(可以自己根据使用需求,使用ssh进行封装),需要分别在集群其他主机上运行此命令,启动kafkaserver,启动之后可以登录zookeeper客户端查看相应节点信息。
    关闭单个kafka节点:

    bin/kafka-server-stop.sh
    

    同样,kafka没有提供关闭集群操作的脚本(可以自己根据使用需求,使用ssh进行封装),需要分别在集群其他主机上运行此命令。

    主题管理:

    kafka提供了一个kafka-topics.sh工具脚本,用于对主题相关的操作,如创建主题、删除主题、修改主题分区数和副本数、查看主题信息等操作。
    此脚本核心代码仅1行:

    exec $(dirname $0)/kafka-run-class.sh kafka.admin.TopicCommand "$@"
    

    运行kafka-run-class.sh脚本,调用kafka.admin.TopicCommand类,同时接受一个操作指令,该指令包括:

    --create   创建topic
    --alter		 修改topic
    --list     列举topic
    --describe 描述topic
    --delete	 删除topic
    

    创建主题:
    命令示例:创建一个名为renmy的主题,该主题有1个分区,1个副本因子

    	./kafka-topics.sh --create --zookeeper localhost:2181 --topic renmy --partitions 1 --replication-factor 1
    

    其中:
    –create表示此次操作为创建主题
    –zookeeper localhost:2181 设置zookeeper集群地址(按自己实际环境修改)
    –topic renmy 设置主题名字为
    –partitions 1 设置主题分区数
    –replication-factor 1 设置主题副本因子(副本数不能大于kafka节点数)
    在创建主题时,还可以使用config参数来设置主题级别的配置以覆盖默认配置,可以设置多组配置具体格式为:
    –config config1-name=config1-value --config config2-name=config2-value
    创建一个名为renmy1的主题,该主题有3个分区,1个副本因子,并设置max.message.bytes为404800字节,执行如下命令:

    	./kafka-topics.sh --create --zookeeper localhost:2181 --topic renmy1 --partitions 3 --replication-factor 1 --config max.message.bytes=404800
    

    删除主题:
    删除kafka主题有两种方式:
    (1)手动删除各节点{log.dir}目录下该主题分区文件夹,同时,登录zookeeper客户端删除待删除主题对应的节点,主题元素保存在/brokers/topics和/config/topics目录下
    (2)执行kafka-topics.sh脚本进行删除,希望通过此脚本彻底删除主题,则需要保证在启动kafka时,加载的server.properties文件中配置delete.topic.enable=ture,该配置默认配置为false
    否则执行该脚本并未真正删除主题,而是在zookeeper的/admin/delete_topics目录下创建一个与待删除主题同名的节点,将该主题标记为删除状态。
    使用命令如下:

    ./kafka-topics.sh --delete --zookeeper localhost:2181 --topic renmy
    

    查看主题:
    kafka提供了list和describe两个命令方便查看主题信息,其中list参数列出kafka所有的主题名,describe参数可以查看所有或者某个主题的信息
    查看主题列表:

    ./kafka-topics.sh --list --zookeeper localhost:2181
    

    查看某一主题:

    ./kafka-topics.sh --zookeeper localhost:2181 --describe --topic renmy1
    

    从输出结果可以看到,已按主题分组展示,每组主题信息中第一行分别展示了主题名、该主题分区总数、该主题副本总数、创建主题时设置的config参数。

    从第二行开始,按主题分区编号进行排序,展示每个分区的leader副本节点,副本列表AR及ISR信息。
    查看正在同步的主题:

    ./kafka-topics.sh --zookeeper localhost:2181 --describe --under-replicated-partitions
    

    查看没有leader的分区

    ./kafka-topics.sh --zookeeper localhost:2181 --describe --unavailable-partitions
    

    查看主题覆盖配置:

    ./kafka-topics.sh --zookeeper localhost:2181 --describe --topics-with-overrides
    

    修改主题:
    当创建一个主题之后,可以使用alter命令对主题进行修改,包括修改主题级别的配置、增加主题分区、修改副本分配方案、修改主题offset等
    修改主题,增加分区
    ./kafka-topics.sh --alter --zookeeper localhost:2181 --topic renmy --partitions 3

    修改主题级别配置
    老版本方法:(在新kafka版本中此方法将会被弃用)
    修改max.message.bytes值为204800
    
    ./kafka-topics.sh --alter --zookeeper localhost:2181 --topic renmy --config max.message.bytes=204800
    

    删除max.message.bytes配置使其恢复默认值

    ./kafka-topics.sh --alter --zookeeper localhost:2181 --topic renmy --delete-config max.message.bytes
    

    新版本方法:
    修改max.message.bytes值为204800(多个参数之间用","分隔)

    ./kafka-configs.sh --zookeeper localhost:2181 --alter --entity-type topics --entity-name renmy  --add-config 'max.message.bytes=204800' 
    ./kafka-configs.sh --zookeeper localhost:2181 --alter --entity-type topics --entity-name renmy --delete-config 'max.message.bytes'
    

    生产者基本操作:

    执行生产者操作必须指定–broker-list和–topic,其他参数不指定时,使用默认值
    无key型消息:默认情况下,所生产的消息是没有 key 的,直接输入消息值即可(value)
    注意:有些版本–bootstrap-server 需要改为 --broker-list

    ./kafka-console-producer.sh --bootstrap-server 192.168.49.128:9092 --topic renmy
    

    有key型消息:默认消息键与消息值间使用“Tab键”进行分隔,切勿使用转义字符(\t)

    ./kafka-console-producer.sh --bootstrap-server 192.168.206.128:9092 --topic renmy --property parse.key=true
    

    修改分隔符为空格

    ./kafka-console-producer.sh --bootstrap-server 192.168.206.128:9092 --topic renmy --property parse.key=true --property key.separator=' '
    

    消费者基本操作:

    从头开始接收消息:

    ./kafka-console-consumer.sh --bootstrap-server 192.168.49.128:9092 --from-beginning --topic renmy
    

    从最新offset开始消费(不消费之前消息)

    ./kafka-console-consumer.sh --bootstrap-server 192.168.206.128:9092 --topic renmy
    

    指定group_id消费:

    ./kafka-console-consumer.sh --bootstrap-server 192.168.206.128:9092 --group test_id --topic renmy
    

    显示key消费:

    ./kafka-console-consumer.sh --bootstrap-server 192.168.206.128:9092 --property print.key=true --topic renmy
    

    指定分区消费可使用参数:–partition,除非指定’–offset’,否则从分区结束(latest)开始消费
    示例:消费renmy主题中的0分区所有消息

    ./kafka-console-consumer.sh --bootstrap-server 192.168.206.128:9092 --from-beginning --topic renmy --partition 0	
    

    指定offset位置开始消费(必须指定分区)

    ./kafka-console-consumer.sh --bootstrap-server 192.168.206.128:9092 --offset 2 --partition 0 --topic renmy
    

    显示所有group_id:

    ./kafka-consumer-groups.sh --bootstrap-server 192.168.49.128:9092 --list
    

    显示指定group_id消费情况:

    ./kafka-consumer-groups.sh --bootstrap-server 192.168.49.128:9092 --group console-consumer-91163 --describe
    

    显示解释:
    •TOPIC:该group里消费的topic名称
    •PARTITION:分区编号
    •CURRENT-OFFSET:该分区当前消费到的offset
    •LOG-END-OFFSET:该分区当前latest offset
    •LAG:消费滞后区间,为LOG-END-OFFSET - CURRENT-OFFSET,具体大小需要看应用消费速度和生产者速度,
    一般过大则可能出现消费跟不上,需要引起应用注意
    •CONSUMER-ID:server端给该分区分配的consumer编号
    •HOST:消费者所在主机
    •CLIENT-ID:消费者id,一般由应用指定

    查看主题Offset

    ./kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list 192.168.49.128:9092 --topic renmy
    
    展开全文
  • kafka常用指令 1、启动服务: [root@zjw ~]# kafka-server-start.sh /opt/soft/kafka211/config/server.properties 2、关闭 kafka-server-stop.sh 3、查看所有topic [root@zjw ~]# kafka-topics.sh --zookeeper...

    kafka常用指令

    1、启动服务:

    [root@zjw ~]# kafka-server-start.sh /opt/soft/kafka211/config/server.properties 
    

    2、关闭

    kafka-server-stop.sh 
    

    3、查看所有topic

      [root@zjw ~]# kafka-topics.sh --zookeeper 192.168.253.150:2181 --list
    

    4、查看所有topic详细信息

      [root@zjw ~]# kafka-topics.sh --zookeeper 192.168.253.150:2181 --describe
    

    5、查看指定topic详细信息

      [root@zjw ~]# kafka-topics.sh --zookeeper 192.168.253.150:2181 --describe --topic demo
    

    6、创建topic

    [root@zjw ~]# kafka-topics.sh --create --topic testPartition2 --zookeeper zjw:2181 --partitions 4 --replication-factor 1
    

    7、删除topic:

    //添加配置
    delete.topic.enable=true
    
    [root@zjw ~]# kafka-topics.sh --delete --zookeeper zjw:2181 --topic testPartition2
    Topic testPartition2 is marked for deletion.
    Note: This will have no impact if delete.topic.enable is not set to true.
    

    8、查看分区数据数量

    [root@zjw ~]# kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list zjw:9092 --topic testPartition2
    

    9、生产消息:

    kafka-console-producer.sh --broker-list 192.168.253.150:9092 --topic demo
    

    10、消费消息:

    //消费消息(可能端口号与配置文件保持一致,或与发送端口保持一致)
    kafka-console-consumer.sh --bootstrap-server 192.168.253.150:9092:9092 --topic test --from-beginning   
        //加了--from-beginning 重头消费所有的消息
    kafka-console-consumer.sh --bootstrap-server 192.168.253.150:9092:9092 --topic test         
        //不加--from-beginning 从最新的一条消息开始消费
    

    11、显示所有的消费者

    kafka-consumer-groups.sh --bootstrap-server 192.168.253.150:9092:9092 --list
    

    12、获取正在消费的topic(console-consumer-63307)的group的offset

    kafka-consumer-groups.sh --describe --group console-consumer-63307 --bootstrap-server 192.168.253.150:9092:9092
    

    13、重置指针

    kafka-consumer-groups.sh --bootstrap-server 192.168.253.150:9092 --group gp01 --reset-offsets --all-topics --to-earliest --execute
    

    14、设置永久保存

    kafka-topics.sh --zookeeper 192.168.253.150:2181 --alter --topic users --config retention.ms=-1
    
    展开全文
  • Kafka操作指令

    2020-08-11 20:50:14
      在集群中启动kafka首先要启动zookeeper 1. 2181是客户端与zookeeper通信用的端口号 2. 9092是客户端与kafka通信用的端口号 启动kafka集群服务(单起) kafka-server-start.sh -daemon server.properties 创建...

    kafka是依赖于zookeeper的,也就是说创建的topic中的分区副本等信息存储在zookeeper上面,实际的数据还是存储在本地指定的logs文件中
      在集群中启动kafka首先要启动zookeeper
    1. 2181是客户端与zookeeper通信用的端口号
    2. 9092是客户端与kafka通信用的端口号

    启动kafka集群服务(单起)

    kafka-server-start.sh -daemon server.properties
    

    创建test的主题(指定副本数为1,分区数为2)

    kafka-topic.sh --create --zookeeper hadoop101:2181 --replication-factor 1
    --partitions 2 --topic test
    
    因为kafka基于zookeeper,所以机器ip写谁都行 
    

    查看创建的主题有哪些
    kafka-topic.sh --list --zookeeper hadoop101:2181
    发送消息(创建生产者,指定生产者和主题)
    kafka-console-producer.sh --broker-list hadoop102:9092 --topic test
    接收消息 (创建消费者,指定消费者是谁和主题 PS:可指定分组)

    船新版本:
    
    kafka-console-consumer.sh     
    --bootstrap-server      localhost:9092       //指定主机ip
    --consumer-property group.id=testGroup       //指定消费者所属组
    --consumer-property client.id=consumer-1     //指定消费者再在组中的名字/代号
    --topic                        test          //指定消费者要接收主题
    --from-beginning                             //完整获取对应topic存储的信息
    
    旧版本:
    
    kafka-console-consumer.sh 
    --zookeeper localhost:2181    //与zookeeper连接
    --topic 	    test   	      //指定主题
    --from-beginning		      //完整获取对应topic所存储的信息
    

    查看消费者所属组

    kafka-consumer-groups.sh 
    --bootstrap-server localhost:9092 
    --list                           
    --new-consumer
    

    根据不同的分组中消费者的数量不同分为单播消费和多播消费
    多播消费:每组中只有一个消费者
          每个消费者都能收到信息
    单播消费:每组中有若干个消费者
         同组中只能有一个消费者收到信息

    展开全文
  • Kafka 基本指令大全

    2020-10-31 12:11:47
    使用kafka前要先启动zookeeper,在启动kafka 启动zookeeper bin/zookeeper-server-start.sh config/zookeeper.properties 启动kafka bin/kafka-server-start.sh config/server.properties 创建topic bin/kafka-...
  • 2 Kafka常用指令总结

    2021-02-06 12:02:35
    2 Kafka常用指令        笔者是进入kafka安装目录下进行操作,使用Kafka前需要安装并启动zookeeker,关于zookeeper和Kafka的安装在笔者前一篇中。zookeeper安装和启动.首先进入...
  • #启动hdfs kafka zookeeper fuflume指令 ##hdfs启动 start-dfs.sh ##启动zookeeper ./zkmanager.sh start ## 启动kafka cd apps/kafka_2.12-2.2.0/bin/ ./kafka-server-start.sh …/config/server.properties ##...
  • kafka常用指令(一)

    2018-05-15 11:30:18
     启动kafka服务bin/kafka-server-start.sh config/server.properties &2. 关闭kafka服务bin/kafka-server-stop.sh3. 查看主题topics[root@dn1 bin]#./kafka-topics.sh --list -zookeeper dn1ATLAS...
  • 启动kafka失败 思路: 1、先去查看kafka日志 cd /opt/module/kafka/logs (每个人的路径不同,自己找到自己的kafka路径) 查看最后500行日志信息 输入指令: tail -500 server.log 看到:ERROR Fatal error during ...
  • kafka常用操作指令

    2019-08-01 15:36:10
    启动kafka集群(前提要启动ZK的集群): [root@bigdata111 kafka_2.11-2.3.0]#bin/kafka-server-start.sh config/server.properties & 关闭kafka集群: [root@bigdata111 kafka_2.11-2.3....
  • 今天在用下面的指令启动kafa的时候报错了: # bin/kafka-server-start.sh config/server.properties & 错误信息如下: [2018-04-11 16:27:31,185] ERROR [KafkaServer id=0] Fatal error during KafkaServer startup...
  • kafka操作常用指令

    2019-07-05 16:40:13
    启动: systemctl start firewalld 关闭: systemctl stop firewalld 查看状态: systemctl status firewalld 开机禁用 : systemctl disable firewalld 开机启用 : systemctl enable firewalld 1、开zoo...
  • (2) cd /usr/local/Cellar/kafka/2.6.0/bin 进到启动目录,执行kafka-server-start 挑出一堆东西没报错就是启动成功。 (3)启动一个客户端创建一个topic主题,可以把它看成RabbitMQ中的queue。 kafka-topics --...
  • 启动zookeeper,然后启动kafka zookeeper 启动:[root@VM_0_9_centos bin]#./zkServer.sh start 查看:[root@VM_0_9_centos bin]#./zkServer.sh status 停止:[root@VM_0_9_centos bin]#./zkServer.sh stop 登录...
  • 启动kafka服务: bin/kafka-server-start.sh config/server.properties & 停止kafka服务: bin/kafka-server-stop.sh 创建topic: bin/kafka-topics.sh --create --zookeeper hadoop002.local:2181,hadoop001....
  • 1、hadoop集群启动之后,启动Kafka kafka-server-start.sh /opt/soft/kafka211/config/server.properties 开启Kafka 后面是server.properties的路径,不是在当前目录最后写全路径。 2、建立Kafka topic kafka-...
  • kafka03-基本操作指令

    2021-04-02 14:09:02
    kafka是依赖于zookeeper工作的,因此在启动kafka之前需要完成zookeeper环境的搭建 zookeeper > ./zkServer.sh start //启动 > ./zkServer.sh stop //停止后,如果CLi没有关闭,将报错 kafka >./kafka-...
  • kafka后台启动指令kafka-server-start.sh -daemon /hadoop/kafka/config/server.properties kafka删除指令: kill -9 线程号 踩过的坑: 1、本地通过java api启动一个生产者线程,无法向服务器的kafka写数据 ...
  • 启动kafka之前需要先启动zookeeper集群,可以使用kafka的zookeeper,启动命令:bin/zookeeper-server-start.sh config/zookeeper.properties &,也可以自行下载zookeeper,下载后解压包:tar -...
  • 1.kafka 启动 kafka 启动之前 要先启动 zookeeper, 可以参考我的 上一篇博客 kafka-server-start.sh ../config/server.properties 2.创建一个topic ../bin/kafka-topics.sh --create --zookeeper localhost:2181 -...
  • Kafka-

    2020-11-19 16:08:01
    启动kafka,进入Kafka安装目录 ./bin/kafka-server-start.sh -daemon config/server.properties 停止Kafka ./bin/kafka-server-stop.sh 创建Topic ./bin/kafka-topics.sh --create --zookeeper localhost:...
  • 这里前提条件是已经部署安装了一个kafka连接器。我之前写过一篇关于 kafka-connect-...这里需要用到kafka中的topic,所以现在kafka中创建student的主题:kafka常用指令 kafka-topics --zookeeper 192.168.129.2...
  • 利用jdk的jps指令监控zookeeper和kafka进程是否存在,不存在则重启启动 #! /bin/bash function check_process(){ process_count=`jps|grep $1|wc -l` #监控进程是否存在 port_count=`netstat -lntp|grep $2|wc ...
  • 一、分别下载kafka和zookeeper的安装包并分发给各服务器,然后解压kafaka和zookeeper 二、配置kafka的配置文件 解压后进入文件夹中的config文件夹, 修改红色框框内的配置文件 ...执行指令后可执行sh zkS
  • kafka初探

    2019-01-22 17:53:00
    1、安装jdk1.8、scala、kafka 详细可以看:... 2、kafka命令行指令操作 (a)zookeeper启动 bin/zookeeper-server-start.sh config/zookeeper.properties ...
  • kafka命令

    2019-11-20 21:17:33
    //启动kafka服务,三台主机分别输入此指令kafka-server-start.sh $KAFKA_HOME/config/server.properties & //以后台的方式启动 nohup kafka-server-start.sh $KAFKA_HOME/config/server.properties & ...
  • 启动 查看某节点下的信息、创建主题、查看所有的主题 使用测试 本人测试时相关环境: 机器 jdk Kafka Linux CentOS7 1.8 kafka_2.11-2.1.0.tgz ...
  • 概述 本文分析了kafka的broker的实现架构,通过本文的分析,我们可以对broker的实现架构的各个部分有一个总体的了解。 实现broker的总体架构图 下图是broker内部的总体架构图...客户端指令处理服务 日志管理子系统...

空空如也

空空如也

1 2 3
收藏数 57
精华内容 22
关键字:

kafka启动指令