精华内容
下载资源
问答
  • kafka删除topic
    千次阅读
    2022-06-09 19:45:05

    以下删除kafka主题的方法在Windows环境下测试通过:

    首先修改kafka的配置文件server.properites,修改下面的两个值:

    auto.create.topics.enable=false
    delete.topic.enable=true

    如果没有,直接增加上面的两行。重启kafka。

    然后在kafka目录下执行下面的操作:

    .\bin\windows\kafka-topics.bat --delete --zookeeper localhost:2181 --topic TopicName

    在文件目录下查看对应主题的目录是否删除,如果没有删除则手动删除。文件目录在配置文件server.properites中的log.dirs处查找。

    至此,topic删除完毕,如果之前有连接的生产者和消费者,此时会显示找不到相应的主题。

    [Consumer clientId=consumer-1, groupId=javagroup] Error while fetching metadata with correlation id 4837 : {TopicName=UNKNOWN_TOPIC_OR_PARTITION}

    更多相关内容
  • kafka删除topic方式

    千次阅读 2019-11-18 14:38:28
    工作中因为各种原因,topic中消息堆积的太多或者kafka所在磁盘空间满了等。可能需要彻底清理一下kafka topic。 cd /opt/kafka/kafka_2.10-0.10.2.2/bin 列出所有topic: ./kafka-topics.sh --zookeeper ip:2181 -list...

    工作中因为各种原因,topic中消息堆积的太多或者kafka所在磁盘空间满了等。可能需要彻底清理一下kafka topic。
    cd /opt/kafka/kafka_2.10-0.10.2.2/bin
    列出所有topic:
    ./kafka-topics.sh --zookeeper ip:2181 -list
    其实就是检查zk上节点的/brokers/topics子节点,打印出来。
    创建topic
    ./kafka-topics.sh --zookeeper ip:2181 -create --topic my_topic --partitions 4 --replication-factor 1
    线上环境将自动创建topic禁用掉,改为手动创建(auto.create.topics.enable=false),partitions和replication-factor是两个必备选项,
    第一个参数是消息并行度的一个重要参数,第二个极大提高了topic的可用性,备份因子默认是1,相当于没有备份,其值不能大于broker个数,
    否则会报错。同时还可以指定topic级别的配置参数,这种特定的配置会覆盖掉默认配置,并且存储在zookeeper的/config/topics/[topic_name]节点数据里。
    –alter –config –deleteConfig。replication-factor参数用来指定需要多少个副本(连同leader在内),一般比较推荐设置为2或3。如果设置太少(比如1)导致可用性下降,
    如果设置太大会影响Kafka的性能。
    方式一:
    配置delete.topic.enable=true
    修改kafaka配置文件server.properties,添加delete.topic.enable=true,重启kafka。之后通过kafka命令行就可以直接删除topic
    重启kafka
    nohup /usr/kafka/bin/kafka-server-start.sh /usr/kafka/config/server.properties >/dev/null 2>&1 &
    通过命令行删除topic:
    ./kafka-topics.sh --zookeeper ip:2181 --topic my_topic --delete
    方式二:
    没有配置delete.topic.enable=true
    1、通过命令行删除topic:
    ./kafka-topics.sh --zookeeper ip:2181 --topic my_topic --delete
    因为kafaka配置文件中server.properties没有配置delete.topic.enable=true,
    此时的删除并不是真正的删除,只是把topic标记为:marked for deletion
    2、删除kafka存储目录(server.properties文件log.dirs配置,默认为"/tmp/kafka-logs")相关topic目录。
    方式三:
    若想真正删除它,需要登录zookeeper客户端:
    cd /opt/kafka/zookeeper-3.4.13/bin
    chmod 755 ./* (可执行命令)

    命令:./bin/zkCli.sh
    找到topic所在的目录:ls /brokers/topics
    执行命令:rmr /brokers/topics/my_topic即可,此时topic被彻底删除。
    另外被标记为marked for deletion的topic你可以在zookeeper客户端中通过命令获得:ls /admin/delete_topics/{topic name},
    如果你删除了此处的topic,那么marked for deletion 标记消失。

    展开全文
  • Kafka删除topic

    万次阅读 2021-03-07 13:57:02
    彻底删除Kafka中的topic 1、删除kafka存储目录(server.properties文件log.dirs配置,默认为"/tmp/kafka-logs")相关topic目录 2、Kafka 删除topic的命令是: ./bin/kafka-topics --delete --zookeeper 【zookeeper...

    彻底删除Kafka中的topic

    1、删除kafka存储目录(server.properties文件log.dirs配置,默认为"/tmp/kafka-logs")相关topic目录

    2、Kafka 删除topic的命令是:

     ./bin/kafka-topics  --delete --zookeeper 【zookeeper server】  --topic 【topic name】
    
     如果kafaka启动时加载的配置文件中server.properties没有配置delete.topic.enable=true,那么此时的删除并不是真正的删除,而是把topic标记为:marked for deletion
    
     你可以通过命令:./bin/kafka-topics --zookeeper 【zookeeper server】 --list 来查看所有topic
    
    
    
     此时你若想真正删除它,可以如下操作:
    
     (1)登录zookeeper客户端:命令:./bin/zookeeper-client
    
     (2)找到topic所在的目录:ls /brokers/topics
    
     (3)找到要删除的topic,执行命令:rmr /brokers/topics/【topic name】即可,此时topic被彻底删除。
    
    
    
    另外被标记为marked for deletion的topic你可以在zookeeper客户端中通过命令获得:ls /admin/delete_topics/【topic name】,
    
    如果你删除了此处的topic,那么marked for deletion 标记消失
    
    zookeeper 的config中也有有关topic的信息: ls /config/topics/【topic name】暂时不知道有什么用
    

    总结:

    彻底删除topic:

    1、删除kafka存储目录(server.properties文件log.dirs配置,默认为"/tmp/kafka-logs")相关topic目录

    2、如果配置了delete.topic.enable=true直接通过命令删除,如果命令删除不掉,直接通过zookeeper-client 删除掉broker下的topic即可。

    展开全文
  • kafka删除topic,彻底删除topic

    千次阅读 2021-07-13 19:01:09
    当启动kafka的服务出现Map failed时,需要把有死循环的topic删除 1、删除kafka存储目录(server.properties文件log.dirs配置,默认为"/tmp/kafka-logs")相关topic目录 2、Kafka 删除topic的命令是: bin/kafka-...

    当启动kafka的服务出现Map failed时,需要把有死循环的topic删除

    1、删除kafka存储目录(server.properties文件log.dirs配置,默认为"/tmp/kafka-logs")相关topic目录
    2、Kafka 删除topic的命令是:

    bin/kafka-topics.sh --delete --zookeeper 【zookeeper server(主机ip:2181)】 --topic 【topic name】

     如果kafaka启动时加载的配置文件中server.properties没有配置delete.topic.enable=true,那么此时的删除并不是真正的删除,而是把topic标记为:marked for deletion
     你可以通过命令:./bin/kafka-topics --zookeeper 【zookeeper server】 --list 来查看所有topic
    
    
    此时你若想真正删除它,可以如下操作:
     (1)登录zookeeper客户端:命令:./bin/zookeeper-shell.sh
     (2)找到topic所在的目录:ls /brokers/topics
     (3)找到要删除的topic,执行命令:rmr /brokers/topics/【topic name】即可,此时topic被彻底删除。
    
    另外被标记为marked for deletion的topic你可以在zookeeper客户端中通过命令获得:ls /admin/delete_topics/【topic name】,
    如果你删除了此处的topic,那么marked for deletion 标记消失
    zookeeper 的config中也有有关topic的信息: ls /config/topics/【topic name】暂时不知道有什么用
    

    总结:
    彻底删除topic:
    1、删除kafka存储目录(server.properties文件log.dirs配置,默认为"/tmp/kafka-logs")相关topic目录
    2、如果配置了delete.topic.enable=true直接通过命令删除,如果命令删除不掉,直接通过zookeeper-client 删除掉broker下的topic即可。

    展开全文
  • kafka 删除topic 不成功

    2022-01-03 09:32:05
    利用kafka命令删除topic不成功。 kafka-topics.sh --zookeeper hadoop111:2181 --delete --topic test 原因&解决方式1. 配置文件未将delete.topic.enable=true,导致删除命令未及时生效;解决方式:第一种:找到...
  • 源码解析kafka删除topic

    千次阅读 2022-03-14 15:25:03
    一,如何删除一个topic 删除一个topic有两个关键点: 1,配置删除参数 delete.topic.enable这个Broker参数配置为True。 2,执行 bin/kafka-topics.sh --zookeeper zk_host:port/chroot --delete --topic my_topic_...
  • kafka删除topic数据

    千次阅读 2021-11-14 20:30:12
    kafka删除topic数据 一、概述 生产环境中,有一个topic的数据量非常大。这些数据不是非常重要,需要定期清理。 要求:默认保持24小时,某些topic 需要保留2小时或者6小时 二、清除方式 主要有3个: 1. 基于时间...
  • kafka删除topic消息的四种方式

    万次阅读 2021-01-25 09:53:02
    2.执行命令bin/kafka-topics.sh --delete --topic test --zookeeper zk:2181或者使用kafka-manager集群管理工具删除 注意:如果kafka启动之前没有配置delete.topic.enable=true,topic只会标记
  • kafka 删除topic清空数据

    千次阅读 2020-04-20 09:13:06
    如果一定要删除可以删除topic在重建topic了 No. 1: 如果需要被删除topic 此时正在被程序 produce和consume,则这些生产和消费程序需要停止。 因为如果有程序正在生产或者消费该topic,则该topic的offset信息一致...
  • 最近技术群里面有几个同学碰到了 删除Topic的问题, 怎么样也删除不掉,然后我协助排查之后,就做个记录,写篇文章,大家在碰到这类型的问题的时候应该怎么去排查 收集线索 报not retrying deletion 异常 版本:...
  • 版本信息Kafka 0.8.2,JDK1.7问题现象最近我们在生产环境执行删除无用的kafka topic的操作时,因为错误的按照8.2版本之前的删除方式操作8.2.2版本的kafka,导致删除过程异常,删除后出现consumer正在消费的其他正常...
  • kafka删除topic消息的两种方式

    千次阅读 2020-01-09 18:50:13
    方法一:快速配置删除法 ...2.执行命令bin/kafka-topics.sh --delete --topic test --zookeeper zk:2181或者使用kafka-manager集群管理工具删除 注意:如果kafka启动之前没有配置delete.topic.enab...
  • Kafka如何删除topic

    2021-11-17 14:53:38
    概述  在平时对kafka...
  • kafka 删除topic时的隐患 生产上kafka集群长时间使用会导致topic容器下已被消费的消息过多,进而导致在重新选主时切换时间长的问题。 追根到底来讲切换Leader时间都花费在zookeeper文件同步上,...
  • 删除topic里面的数据 这里没有单独的清空数据的命令,这里要达到清空数据的目的只需要以下步骤: 一、如果当前topic没有使用过即没有传输过信息:可以彻底删除。 二、如果当前topic有使用过即有过传输过信息:并...
  • kafka 删除topic 操作指南 删除topic 有两种方式: 开启Kafka的delete.topic.enable=true配置(推荐使用) 手动删除Zookeeper相关数据 方式一 优点:由Kafka来完成Topic的相关删除,只需要修改server.properties...
  • kafka删除topic

    2019-10-02 13:06:27
    最近工作中经常遇到要手动或者服务器内存不足 自动关掉spark-streaming读取kafka数据的情况 ,本身只有一个节点,宕掉后会导致kafka当前topic异常,读取与写入都获取不到head,所以要删除topic来解决该问题,实际...
  • kafka彻底删除topic清理数据

    千次阅读 2021-12-13 11:01:16
    数据盘占满,kafka处理;删除kafkatopic,进行优化。
  • kafka彻底删除topic

    2020-12-31 09:17:47
    删除topic一般是下面这样的,但是这样是删不掉的,只是标记为删除,再次创建同名topic还是会报错,topic已经存在. kafka-topics.sh \ --zookeeper mypc01:2181,mypc02:2181,mypc03:2181/kafka \ --delete \ --topic pet ...
  • kafka删除topic命令

    2016-04-22 09:09:00
    kafka删除topic命令: kafka-run-class.bat kafka.admin.TopicCommand --delete --zookeeper localhost:2181 --topic test 转载于:https://my.oschina.net/zhaokaiju/blog/664158
  • kafka清除topic及其数据

    2022-06-16 15:52:17
    centos kafka快速清除topic及数据
  • docker下删除kafkatopic

    千次阅读 2019-08-16 23:05:50
    服务器的kafka是配置在docker内的,由于日志越来越多,需要清理空间, 目标是把kafka的日志文件写到nas的服务器...(一)进入kafka容器,删除log文件 1.docker ps 获取到当前kafka的容器id:【5fdfc4397314】 ...
  • 创建名称为test2的同topic kafka-topics --create --bootstrap-server localhost:9092 --topic test3 --partitions 10 --replication-...删除名称为test3 的topic 命令如下 kafka-topics --create --bootstrap-server l

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 33,865
精华内容 13,546
关键字:

kafka删除topic