精华内容
下载资源
问答
  • kafka-server-stop.sh不起作用,kafka关不了 修改kafka-server-stop.sh文件 cd ~/modules/kafka_2.11/bin vi kafka-server-stop.sh 此时可以把PIDS=$(ps ax | grep -i ‘kafka.Kafka’ | grep java | grep -v grep | ...

    kafka-server-stop.sh不起作用,kafka关不了

    修改kafka-server-stop.sh文件
    cd ~/modules/kafka_2.11/bin

    vi kafka-server-stop.sh

    此时可以把PIDS=$(ps ax | grep -i ‘kafka.Kafka’ | grep java | grep -v grep | awk ‘{print $1}’)这行代码修改为

    PIDS=$(jps -lm | grep -i ‘kafka.Kafka’ | awk ‘{print $1}’)

    展开全文
  • kafka常用命令

    2017-02-10 14:06:08
    kafka 0.8.2 //kafka后台启动命令 bin/kafka-server-start.sh -daemonconfig/...//kafka停止命令, bin/kafka-server-stop.sh //创建topic命令 bin/kafka-topics.sh --create --zookeeper10.0.128.32:2181/k

    kafka 0.8.2

    //kafka后台启动命令

    bin/kafka-server-start.sh -daemonconfig/server.properties

    //kafka停止命令,

    bin/kafka-server-stop.sh

    //创建topic命令

    bin/kafka-topics.sh --create --zookeeper10.0.128.32:2181/kafka --replication-factor 3 --partitions 10 --topic wyptest

    //查看topic列表

    bin/kafka-topics.sh --list --zookeeper10.0.128.32:2181/kafka

    //修改topic

    bin/kafka-topics.sh --alert --zookeeper10.0.128.32:2181/kafka --partitions 800 --topic sdk_default

    //查看topic信息

    bin/kafka-topics.sh --describe --zookeeper10.0.128.32:2181/kafka --topic wyptest

    //删除topic

    bin/kafka-topics.sh --delete --zookeeper10.0.128.32:2181/kafka --topic sdk_default

    //控制台生产者

    bin/kafka-console-producer.sh --broker-list10.0.128.32:9092 --topic wyptest

    //控制台消费者

    bin/kafka-console-consumer.sh --zookeeper10.0.128.32:2181/kafka --from-beginning --topic sdk_default

    展开全文
  • kafka 基本命令(较新版本的kafka

    千次阅读 2019-09-05 11:14:21
    # 指定对应的配置文件启动 kafka-server-start.sh /hadoop/kafka/config/server.properties # -daemon 以后台的方式启动 kafka-server-start.sh -daemon /hadoop/kafka/...kafka停止命令 kafka-server-stop.sh 或...

    # 指定对应的配置文件启动
    kafka-server-start.sh /hadoop/kafka/config/server.properties


    # -daemon 以后台的方式启动
    kafka-server-start.sh -daemon /hadoop/kafka/config/server.properties


    kafka停止命令
    kafka-server-stop.sh

    或者

    kill -9 kafka的pid


    # 消费者列表查询
    ./kafka-topics.sh --zookeeper 127.0.0.1:2181 --list


    #创建 topic
    ./kafka-topics.sh --create --zookeeper 127.0.0.1:2181 --replication-factor 3 --partitions 1 --topic chltest
    选项说明:
    --topic 定义topic名
    --replication-factor  定义副本数
    --partitions  定义分区数

    # 删除topic
    ./kafka-topics.sh --zookeeper server01:2181 --delete --topic chltest
    出现提示:
    Topic test is marked for deletion.
    Note: This will have no impact if delete.topic.enable is not set to true.
    这里只是标记删除,并没有删除数据,同时也不能往这个topic写入数据


    # 修改topic的分区,注意:分区数量只能增加,不能减少
    ./kafka-topics.sh --zookeeper server01:2181 --alter --topic chltest --partitions 5


    # describe命令还提供一些参数,用于过滤输出结果,如:
    # --topic-with-overrides:可以找出所有包含覆盖配置的主题,它只会列出包含与集群不一样配置的主题
    ./kafka-topics.sh  --zookeeper kafka-test-1:2181 --describe --topics-with-overrides


    # describe有两个参数用于找出有问题的分区 
    # --unavailable-partitions:列出所有没有首领的分区,这些分区已经处于离线状态,对于生产者和消费者来说是不可用的
    # --under-replicated-partitions:列出所有包含不同步副本的分区。
    ./kafka-topics.sh  --zookeeper kafka-test-1:2181 --describe --unavailable-partitions
    ./kafka-topics.sh  --zookeeper kafka-test-1:2181 --describe --under-replicated-partitions


    #发送消息(生产者)
    ./kafka-console-producer.sh --broker-list kafka-test-1:9092 --topic chltest
    >hello world
    >hadoop  hadoop


    #消费消息(消费者)(kafka 0.9 版本之前的  使用 --zookeeper ,而不是 --bootstrap-server)(注意:端口是 kafka 的端口,这里是 9092,而不是zookeeper端口)
    ./kafka-console-consumer.sh --bootstrap-server kafka-test-1:9092 --from-beginning --topic chltest --consumer-property group.id=test-consumer-group-1
    通过添加–consumer-property group.id= test-consumer-group-1 指定消费组为 test-consumer-group-1 (同时也可以添加消费组)

     
    #查看某个Topic的详情
    ./kafka-topics.sh --topic chltest --describe --zookeeper kafka-test-1:2181


    获取kafka中所有组
    ./kafka-consumer-groups.sh  --bootstrap-server kafka-test-1:9092 --list

    查看组消费情况
    ./kafka-consumer-groups.sh --bootstrap-server kafka-test-1:9092 --describe --group test-consumer-group-1
    # 输出结果
    TOPIC           PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG             CONSUMER-ID     HOST            CLIENT-ID
    chltest         0          13              13              0               -               -               -


    # CURRENT-OFFSET: 当前消费者群组最近提交的offset,也就是消费者分区里读取的当前位置
    # LOG-END-OFFSET: 当前最高水位偏移量,也就是最近一个读取消息的偏移量,同时也是最近一个提交到集群的偏移量
    # LAG:消费者的CURRENT-OFFSET与broker的LOG-END-OFFSET之间的差距


    # 删除消费者群组
    ./kafka-consumer-groups.sh --bootstrap-server kafka-test-1:9092 --delete --group test-consumer-group-1


    # 删除消费者群组中的topic -->chltest
    ./kafka-consumer-groups.sh --bootstrap-server kafka-test-1:9092 --delete --group test-consumer-group-1 --topic chltest


     

    展开全文
  • Kafka常用命令

    万次阅读 2016-12-28 23:40:57
    Kafka基本操作命令感觉最近有一阵子没有玩Kafka了,都有点生疏了,我们今天就来讲解如何使用命令操作Kafka: 启动命令 创建Topic 查看Topic列表 删除Topic Producer和Consumer 写入和消费数据 其他命令 根据前一篇...

    Kafka常用命令

    感觉最近有一阵子没有玩Kafka了,都有点生疏了,我们今天就来讲解如何使用命令操作Kafka:

    • 启动命令
    • 创建Topic
    • 查看Topic列表
    • 删除Topic
    • Producer和Consumer 写入和消费数据
    • 其他命令

    根据前一篇如何在阿里云上构建Kafka系统,想必大家都已经知道了如何配置Kafka了,但是有了Kafka后应当如何进行下一步的操作呢?这便是本节的主要内容了。

    1. 启动命令

    启动kafka很简单,配置好前置的操作后,先进入zookeeper的目录下,启动zookeeper

    先到…/Software/Zookeeper/zookeeper-3.4.6目录下

    cd zookeeper-3.4.6
    //先看下当前目录
    pwd
    结果:/Users/XXX/Software/Zookeeper/zookeeper-3.4.6
    //启动Zookeeper
    ./bin/zkServer.sh  start
    //关闭Zookeeper 当然我们这边就不用关闭了,大家知道就好
    ./bin/zkServer.sh  stop
    

    启动后结果如下所示,就代表命令执行成功了:

    sh-3.2# ./bin/zkServer.sh start
    JMX enabled by default
    Using config: /Users/Sean/Software/Zookeeper/zookeeper-3.4.6/bin/../conf/zoo.cfg
    Starting zookeeper ... STARTED
    

    PS:因为kafka是需要注册在zookeeper上面,通过zookeeper进行管理和调度的,所以启动kafka之前,我们必须要启动zookeeper。

    随后我们进入Kafka目录下,启动kafka,具体操作命令如下所示:

    cd kafka_2.11-0.10.1.0
    //查看当前目录
    pwd
    /Users/xxx/Software/Kafka/kafka_2.11-0.10.1.0
    //启动kafka
    ./bin/kafka-server-start.sh ./config/server.properties
    

    看到没有报错之后kafka就是已经成功被运行了,当然可以jps -lm查看一下,操作命令如下:

    jps -lm
    // 结果如下
    7111 org.apache.zookeeper.server.quorum.QuorumPeerMain /Users/Sean/Software/Zookeeper/zookeeper-3.4.6/bin/../conf/zoo.cfg
    7357 sun.tools.jps.Jps -lm
    7119 kafka.Kafka ./config/server.properties
    sh-3.2#
    

    可以看到zookeeper和kafka都已经运行起来了,当然这个是单机的命令,集群的命令后面再讲。
    这样启动又一个坏处,就是kafka启动完毕之后,不能关闭终端,为此,我们可以运行这条命令:

    nohup ./bin/kafka-server-start.sh config/server.properties >  /dev/null 2>&1 &
    
    运行结果:
    [1] 7404
    

    多个kafka的话,在各个虚拟机上运行kafka启动命令多次即可。


    2. 创建Topic

    创建Topic命令如下所示:
    创建一个test的Topic

    ./bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
    

    多集群创建,执行这个需要搭建多机器的kafka集群环境,zkq1/zkq2/zkq3分别代表了3台zookeeper集群的三台机器

    ./bin/kafka-topics.sh --create --zookeeper zkq1:2181,zkq2:2181,zkq3:2181 --replication-factor 6 --partition 6 --topic test
    

    3. 查看Topic

    创建完成后我们需要查看Topic到底是否创建成功了,可以执行如下命令:

    ./bin/kafka-topics.sh --list --zookeeper 127.0.0.1:2181
    

    同理,zookeeper集群的话,写集群的三台机器的地址即可。
    操作的步骤如下所示,大家一看便知:

    //创建Topic  test test2 test3
    sh-3.2# ./bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
    //结果
    Created topic "test".
    sh-3.2# ./bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test2
    //结果
    Created topic "test2".
    sh-3.2# ./bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test3
    //结果
    Created topic "test3".
    //查询
    sh-3.2# ./bin/kafka-topics.sh --list --zookeeper 127.0.0.1:2181
    //结果
    test
    test2
    test3
    

    4. 删除Topic

    删除Topic其实页很简单,执行命令如下:

    ./bin/kafka-topics.sh --zookeeper 127.0.0.1:2181 --delete --topic test
    

    当然,如果你的server.properties内没有配置相关的配置的话,会出现如下错误:

    Topic test is marked for deletion.
    Note: This will have no impact if delete.topic.enable is not set to true.
    

    这边是说,你的Topic已经被标记为待删除的Topic,但是呢,你配置文件的开关没有打开,所以只是给它添加了一个标记,实际上,这个Topic并没有被删除。只有,你打开开关之后,会自动删除被标记删除的Topic。

    解决办法:
    设置server.properties文件内的“delete.topic.enable=true”,并且重启Kafka就可以了。

    参考:
    kafka删除的操作


    5. 发送和消费数据

    发送数据

    ./bin/kafka-console-producer.sh --broker-list 127.0.0.1:9092 --topic test
    //输入内容
    sdfsdfsdf
    sdfsdfsdfsdf
    woshi yanxu
    dfsdfsdfsdf
    sdgdfgdfgdfg
    dfgdfgdfg
    

    消费数据

    ./bin/kafka-console-consumer.sh --zookeeper 127.0.0.1:2181 --topic test --from-beginning
    //内容
    c
    ls
    sdfsdfsdf
    sdfsdfsdfsdf
    woshi yanxu
    dfsdfsdfsdf
    sdgdfgdfgdfg
    dfgdfgdfg
    
    

    6. 其他操作

    其他操作参考其他博客内容

    1. 迁移kafka数据
    2. kafka常用命令总结
    3. Kafka命令行常用命令说明
    展开全文
  • kafka脚本命令

    2020-11-11 16:30:28
    kafka的脚本操作命令,包括启动、topic、producer、conductor相关的命令
  • Kafka操作命令

    千次阅读 2018-11-04 12:04:52
    启动zookeeper服务:  bin\windows\zookeeper-server-start.bat config\zookeeper.properties  启动kfaka服务:  bin\windows\kafka-server-start.bat config\...停止kafka bin\windows\kafka-server-stop.bat...
  • kafka常用命令总结

    千次阅读 2017-12-25 17:03:44
    kafka常用命令
  • kafka启动命令

    2020-04-26 22:22:07
    在此目录下运行命令 /opt/kafka_2.12-2.2.0/ 启动内置的zookeeper bin/zookeeper-server-start.sh conf/zookeeper.properties 启动kafka服务 bin/kafka-server-start.sh conf/server.properties 创建topic话题 bin/...
  • Kafka常用命令大全

    2020-11-12 17:37:28
    启动 Kafka ...停止 Kafka kafka-server-stop.sh 查看所有 Topic ./kafka-topics.sh --list --zookeeper 192.168.25.132:2181 查看所有 Topic 的详细信息 ./kafka-topics.sh --describe --zookee.
  • kafka查询命令

    千次阅读 2019-06-18 10:15:07
    kafka版本:kafka_2.12-2.1.1 kafka_port默认9092,zk_port默认2181 查看topic bin/kafka-topics.sh --zookeeper zk_ip:zk_port --list 查看group bin/kafka-consumer-groups.sh --bootstrap-server kafka_ip:...
  • kafka基础命令

    2020-08-11 21:19:47
    参考文章: ... ... kafka版本:kafka_2.12-2.6.0 一、启动zookeeper,cd 到kafka的根目录执行以下: bin/zookeeper-server-start.sh -daemon config/zookeeper.properties 加-daemon参数,
  • Kafka 启动命令

    千次阅读 2018-08-14 18:03:08
    1 .启动zookeeper bin/zookeeper-server-start.sh config/zookeeper.properties bin/zookeeper-server-stop.sh config/zookeeper....2.启动停止kafka bin/kafka-server-start.sh config/server.properties bi...
  • kafka操作命令

    2020-10-20 15:02:50
    ./bin/zkServer.sh start ./bin/zkServer.sh stop ...2、停止Kafka bin/kafka-server-stop.sh 3、创建Topic bin/kafka-topics.sh --create --zookeeper 118.178.254.35:2181 --replication-factor 1 --partitions
  • kafka基本命令

    2019-06-06 11:42:50
    启动zookeeper bin/zookeeper-server-start.sh config/zookeeper.properties & 启动kafka bin/kafka-server-start.sh config/server....停止kafka bin/kafka-server-stop.sh 停止zookeeper bin/zookee...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 10,436
精华内容 4,174
关键字:

kafka停止命令