精华内容
下载资源
问答
  • Kafka删除topic

    2021-03-07 13:57:02
    2、Kafka 删除topic的命令是: ./bin/kafka-topics --delete --zookeeper 【zookeeper server】 --topic 【topic name】 如果kafaka启动时加载的配置文件中server.properties没有配置delete.topic.enabl

    彻底删除Kafka中的topic

    1、删除kafka存储目录(server.properties文件log.dirs配置,默认为"/tmp/kafka-logs")相关topic目录

    2、Kafka 删除topic的命令是:

     ./bin/kafka-topics  --delete --zookeeper 【zookeeper server】  --topic 【topic name】
    
     如果kafaka启动时加载的配置文件中server.properties没有配置delete.topic.enable=true,那么此时的删除并不是真正的删除,而是把topic标记为:marked for deletion
    
     你可以通过命令:./bin/kafka-topics --zookeeper 【zookeeper server】 --list 来查看所有topic
    
    
    
     此时你若想真正删除它,可以如下操作:
    
     (1)登录zookeeper客户端:命令:./bin/zookeeper-client
    
     (2)找到topic所在的目录:ls /brokers/topics
    
     (3)找到要删除的topic,执行命令:rmr /brokers/topics/【topic name】即可,此时topic被彻底删除。
    
    
    
    另外被标记为marked for deletion的topic你可以在zookeeper客户端中通过命令获得:ls /admin/delete_topics/【topic name】,
    
    如果你删除了此处的topic,那么marked for deletion 标记消失
    
    zookeeper 的config中也有有关topic的信息: ls /config/topics/【topic name】暂时不知道有什么用
    

    总结:

    彻底删除topic:

    1、删除kafka存储目录(server.properties文件log.dirs配置,默认为"/tmp/kafka-logs")相关topic目录

    2、如果配置了delete.topic.enable=true直接通过命令删除,如果命令删除不掉,直接通过zookeeper-client 删除掉broker下的topic即可。

    展开全文
  • kafka 删除 topic

    2017-10-07 17:06:41
    kafka 删除topic 提示marked for deletion   [html] view plain copy   [root@logSer config]# kafka-topics.sh --delete --zookeeper localhost:2181 --topic test-group  Topic test-...

     

    kafka 删除topic 提示marked for deletion

     

    [html] view plain copy
     
    1. [root@logSer config]# kafka-topics.sh --delete --zookeeper localhost:2181 --topic test-group        
    2. Topic test-group is marked for deletion.  
    3. Note: This will have no impact if delete.topic.enable is not set to true.  
    4. [root@logSer config]# kafka-topics.sh --list --zookeeper localhost:2181  
    5. test-group - marked for deletion  
    6. test-topic  
    7. test-user-001  


    并没有真正删除,如果要真正删除

     

    配置delete.topic.enable=true

    配置文件在kafka\config目录

     

    [html] view plain copy
     
    1. [root@logSer config]# vi server.properties   
    2. delete.topic.enable=true  
    3. "server.properties" 122L, 5585C written  
    展开全文
  • kafka删除topic

    2019-10-02 13:06:27
    最近工作中经常遇到要手动或者服务器内存不足 自动关掉spark-streaming读取kafka数据的情况 ,本身只有一个节点,宕掉后会导致kafka当前topic异常,读取与写入都获取不到head,所以要删除topic来解决该问题,实际...

    最近工作中经常遇到要手动或者服务器内存不足 自动关掉spark-streaming读取kafka数据的情况 ,本身只有一个节点,宕掉后会导致kafka当前topic异常,读取与写入都获取不到head,所以要删除topic来解决该问题,实际生产中不推介删除topic的策略解决该问题,是否可以通过手动设置head来解决还没有研究。

    要完全删除该topic需要删除干净许多地方 然后重启kafka的每个节点,不然都可能导致 之前的删除操作还要重新再来一遍。

    另外 我在server.properties中配置了delete.topic.enable=true 通过kafka删除 效果显示的只是mark for deletion 并没有删除

    1. 删除topic日志文件 kafka默认的日志目录为/tmp/kafka-logs/ (在server.properties中修改)需要删除kafka集群中每个节点中的该topic日志

    2. 连接zookeeper 删除broker 

    ./zkCli.sh   --启动zookeeper

    ls /brokers/topic   --查看topic列表

    rmr /brokers/topic/topicname --删除该topic 删除失败可能的原因是里面有子目录  不太清楚递归删除的命令是啥。

    ls /admin/delete_topics  --查看准备删除的topic列表

    rmr /admin/delete_topics/topicname --也要删除

    ls /config/topics   --查看topic配置文件的列表

    rmr /config/topics/topicname --删除

    exit

    3.重启kafka的每个节点

    转载于:https://www.cnblogs.com/endless-poem/p/6952934.html

    展开全文
  • Kafka删除Topic

    2019-09-04 23:02:32
    重启Kafka,否则Topic会标记为marked for deletion,重启才会真正删除。 取消 auto.create.topics.enable 如果有相关程序运行,如Flume,需要关闭自动创建。 查看Topics kafka-topics.sh \ --zookeeper cdh...

    CDH平台

     

    勾选 delete.topics.enable

    重启Kafka,否则Topic会标记为marked for deletion,重启才会真正删除。

    取消 auto.create.topics.enable

    如果有相关程序运行,如Flume,需要关闭自动创建。

     

    查看Topics

    kafka-topics.sh \
    --zookeeper cdh-master:2181,cdh-slave01:2181,cdh-slave02:2181 \
    --list

    删除Topic

    kafka-topics.sh \
    --zookeeper cdh-master:2181,cdh-slave01:2181,cdh-slave02:2181 \
    --delete \
    --topic topic_cp_api

     

    查看log.dirs位置

    查看各个节点目录下 Topic数据是否删除,如果有 Topic文件夹删除。

     

    清除zookeeper数据

    这样基本没有问题,如果还有问题,清除zookeeper中的数据。

    # 启动zkCli.sh
    cd /opt/cloudera/parcels/CDH-6.2.0-1.cdh6.2.0.p0.967373/lib/zookeeper
    bin/zkCli.sh
    
    # 查看topics
    ls /brokers/topics
    ls /config/topics
    
    # 删除
    rmr /brokers/topics/topic_test
    rmr /config/topics/topic_test
    
    ls /brokers/topics
    
    

     

    重建Topic被标记

    如果重建Topic后被标记 Topic park is marked for deletion, 找到相关Topic删除即可。

    ls /admin/delete_topics
    
    rmr /admin/delete_topics/topic_test

     

    展开全文
  • Kafka 删除topic

    2019-03-29 15:38:27
    删除topic里面的数据 这里没有单独的清空数据的命令,这里要达到清空数据的目的只需要以下步骤: 一、如果当前topic没有使用过即没有传输过信息:可以彻底删除。 二、 如果当前topic有使用过即有过传输过信息:并...
  • kafka 删除topic

    2019-05-08 10:20:39
    但是清理Kafka Log又不能单纯的去删除中间环节产生的日志,中间关联的很多东西需要手动同时去清理,否则可能会导致删除后客户端无法消费的情况。 在介绍手动删除操作之前,先简单的介绍一下Kafka消费Offset原理。 ...
  • KAFKA删除topic

    2015-03-26 21:19:51
    kafkatopic删除一直是个比较坑的问题,在某次创建了错误的topic的时候,在删除后发现日志报错一直在寻找已删除topic。 解决后记录下。 操作步骤1:删除在ZK中的KAFAK的TOPIC记录 ./kafka-run-class....
  • kafka删除topic数据

    千次阅读 2019-01-29 17:34:00
    kafka删除topic数据 一、概述 生产环境中,有一个topic的数据量非常大。这些数据不是非常重要,需要定期清理。 要求:默认保持24小时,某些topic 需要保留2小时或者6小时 二、清除方式 主要...
  • kafka 删除topic 操作指南

    千次阅读 2018-08-30 17:28:01
    kafka 删除topic 操作指南 删除topic 有两种方式: 开启Kafka的delete.topic.enable=true配置(推荐使用) 手动删除Zookeeper相关数据 方式一 优点:由Kafka来完成Topic的相关删除,只需要修改server....
  • 1、删除kafka存储目录(server.properties文件log.dirs配置,默认为"/tmp/kafka...2、Kafka 删除topic的命令是: ./bin/kafka-topics --delete --zookeeper 【zookeeper server】 --topic 【topic name】 如果ka...
  • 1、删除kafka存储目录(server.properties文件...2、Kafka 删除topic的命令是: kafka/bin/kafka-topics.sh --delete --zookeeper Zookeeper地址 --topic 主题名称 如果kafaka启动时加载的配置文件中server.proper...
  • kafka 删除topic清空数据 2018年11月20日 18:17:50Ming!阅读数:1391 版权声明:版权声明:本文为博主原创文章,未经博主允许不得转载。 ...
  • kafka 删除topic时的隐患 生产上kafka集群长时间使用会导致topic容器下已被消费的消息过多,进而导致在重新选主时切换时间长的问题。 追根到底来讲切换Leader时间都花费在zookeeper文件同步上,...
  • kafka删除topic方式

    2019-11-18 14:38:28
    工作中因为各种原因,topic中消息堆积的太多或者kafka所在磁盘空间满了等。可能需要彻底清理一下kafka topic。 cd /opt/kafka/kafka_2.10-0.10.2.2/bin 列出所有topic: ./kafka-topics.sh --zookeeper ip:2181 -list...
  • 版本信息Kafka 0.8.2,JDK1.7问题现象最近我们在生产环境执行删除无用的kafka topic的操作时,因为错误的按照8.2版本之前的删除方式操作8.2.2版本的kafka,导致删除过程异常,删除后出现consumer正在消费的其他正常...
  • kafka删除topic方法

    2019-05-08 08:57:07
    删除kafka存储目录(server.properties文件log.dirs配置,默认为"/tmp/kafka-logs")相关topic目录 删除zookeeper "/brokers/topics/"目录下相关topic节点

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 952
精华内容 380
关键字:

kafka删除topic