精华内容
下载资源
问答
  • kafka清空topics

    千次阅读 2015-12-16 08:20:55
    1、缘由(需求):因为测试时不小心,写了一大堆topics,看监测时一顿揪心。 2、解决方案:kafka是被zookeeper监管的,topics是在zookeeper上的(描述可能不是很准确),我发现kakfa原生api好像没有批量删除topics的...

    1、缘由(需求):因为测试时不小心,写了一大堆topics,看监测时一顿揪心。

    2、解决方案:kafka是被zookeeper监管的,topics是在zookeeper上的(描述可能不是很准确),我发现kakfa原生api好像没有批量删除topics的方式,我登陆到zookeeper后,在zookeeper的目录下发现了topics。于是写了个递归程序将其删除。以下是代码:

    public class App {
    	static String path = "/brokers";
    	static ZKConnection zkc = null;
    
    	public static void main(String[] args) throws Exception {
    		zkc = new ZKConnection();
    		zkc.connect();
    		get(zkc.zk.getChildren(path, true), path);
    
    	}
    
    	public static void get(List<String> paths, String path) throws Exception {
    		for (String p : paths) {
    			p = path + "/" + p;
    			if (null == zkc.zk.exists(p, true)) {
    				System.out.println(p);
    				//zkc.zk.delete(p, 0);
    			} else {
    				get(zkc.zk.getChildren(p, true), p);
    				int i =zkc.zk.exists(p,true).getVersion();
    				zkc.zk.delete(p,i);
    			}
    
    			System.out.println(p);
    		}
    	}
    }
    
    class ZKConnection {
    	/**
    	 * server列表, 以逗号分割
    	 */
    	protected String hosts = "server1:2181,server2:2181,server3:2181";
    	/**
    	 * 连接的超时时间, 毫秒
    	 */
    	private static final int SESSION_TIMEOUT = 5000;
    	private CountDownLatch connectedSignal = new CountDownLatch(1);
    	public ZooKeeper zk;
    
    	/**
    	 * 连接zookeeper server
    	 */
    	public void connect() throws Exception {
    		zk = new ZooKeeper(hosts, SESSION_TIMEOUT, new ConnWatcher());
    		// 等待连接完成
    		connectedSignal.await();
    	}
    
    	public class ConnWatcher implements Watcher {
    		public void process(WatchedEvent event) {
    			// 连接建立, 回调process接口时, 其event.getState()为KeeperState.SyncConnected
    			if (event.getState() == KeeperState.SyncConnected) {
    				// 放开闸门, wait在connect方法上的线程将被唤醒
    				connectedSignal.countDown();
    			}
    		}
    	}

    注:连接代码是网上得的

    3.重启kafka,完毕。

    展开全文
  • windows kafka查看topics

    千次阅读 2019-12-12 14:17:20
    1.命令 bin\windows\kafka-topics.bat --list --bootstrap-server localhost:9092 2.效果

    1.命令
    bin\windows\kafka-topics.bat --list --bootstrap-server localhost:9092
    2.效果
    在这里插入图片描述

    展开全文
  • kafka中彻底删除topics

    2018-04-05 11:29:59
    第一步(确保 zookeeper,kafka已经启动) kafka-topics.sh --zookeeper localhost:2181 --delete --topic (topics名称)第二步,删除相关文件 ① 进入zookeeper客户端($ZK_HOME/bin/zkcli.sh) 输入命名查看是否...

    第一步(确保 zookeeper,kafka已经启动)

        kafka-topics.sh --zookeeper localhost:2181 --delete --topic (topics名称)

    第二步,删除相关文件

        ①   进入zookeeper客户端($ZK_HOME/bin/zkcli.sh)

              输入命名查看是否存在你要删除的topics    ls /brokers/topics

              执行删除命令:rmr /brokers/topics/(topics名称)

        ② 输入命名查看是否存在你要删除的topics    ls /admin/delete_topics

               执行删除命令:rmr   /admin/delete_topics/(topics名称)

        ③   输入命名查看是否存在你要删除的topics    ls /config/topics

               执行删除命令:rmr  /config/topics/(topics名称)

        ④退出zookeeper客户端(quit)

    第三步,重启zookeeper和kafka

            检查是否删除成功:

                    查看所有topics:

                            ./kafka-topics.sh --list --zookeeper localhost:2181

        



       


    展开全文
  • 删除kafka 残余topics

    2017-03-09 11:07:45
    Delete topic folder from Kafka broker machine....这里要说的是,kafka意外死亡,或者不停的更换topics,以至于不知道一些topics位于哪个broker下面,导致一些残余topics。只被标记成marked for delete。却

    Delete topic folder from Kafka broker machine.
    利用kafka/bin/topics –delete删除
    一般重启或者过段时间,kafka会自动剔出。
    这里要说的是,kafka意外死亡,或者不停的更换topics,以至于不知道一些topics位于哪个broker下面,导致一些残余topics。只被标记成marked for delete。却始终删不掉。
    首先list一下所有残余的的topic
    进入zookeeper/bin/zkcli.sh
    rmr /brokers/topics/{topic_name}
    rmr /admin/delete_topics/{topic_name}
    这些做完,再list,就发现没有了

    展开全文
  • 即对于 consumer , producer 连接的 Topics 达到自动创建的效果,不需要通过命令进行输入。 具体的配置如下所示: auto.create.topics.enable=true 对于Kafka , 删除Topic 达到物理...
  • kafka-topics.sh 详细说明

    千次阅读 2019-07-16 23:09:18
    本次对 kafka-topics.sh 作详细的说明。该脚本主要用来对 kafka 中的主题进行操作和管理,可以对其主题进行 创建、修改、删除以及查看等功能。 2. kafka-topics.sh 使用方式 /bin目录下的每一个...
  • Sentence Level Recurrent Topic Model: Letting Topics Speak for Themselves TLDR; The authors train an RNN-based topic model that takes into consideration word order and assumes words in the same senten...
  • Advanced C++ Topics

    2010-11-11 17:33:00
    Advanced C++ Topics
  • Kafka常用命令之kafka-topics.sh

    万次阅读 2018-05-05 10:53:25
      kafka-topics 脚本主要负责 topic 相关的操作。它的具体实现是通过 kafka-run-class 来调用 TopicCommand 类,并根据参数执行指定的功能。 一 创建 Topic   TopicCommand.createTopic() 方法负责创建 Topic...
  • @[TOC]最近学习python Django,报错Reverse for ‘topics’ not found. ‘topics’ is not a valid view function or pattern name.) 最近在学习Python编程从入门到实践这本书,做到第18章4小节时,出了一个BUG,...
  • ROS学习笔记五:理解ROS topics

    万次阅读 多人点赞 2016-08-25 16:21:03
    ROS学习笔记五:理解ROS topics本节主要介绍ROS topics并且使用rostopic和rqt_plot命令行工具。例子展示roscore首先运行roscore系列服务,这是使用ROS所必需的基础roscoreturtlesim这里还要用到turtlesim例子,先...
  • @KafkaListener是kafka的消费者,topics是其主题名,groupId是组名; 属性值一般只支持常量,再集群的情况下,topics、groupId如果不是动态的,那集群环境中只有一台能消费同主题上的任务; 2.动态指定topics、...
  • kafka之主题操作kafka-topics命令

    万次阅读 2018-07-28 17:13:40
    kafka-topics.bat --create -zookeeper localhost:2182 --replication-factor 2 --partitions 3 --topic testMcdull222 --create 创建主题 --topic 主题名称 -zookeeper zookeeper集群地址 --replication-fa...
  • (四)理解ROS topics

    2015-01-06 16:55:34
    本节介绍ROS topics和命令行工具rostopics及rqt_plot 1.理解ROS topics topics是nodes间相互交流的工具之一,所以首先要运行nodes。运行前,记住运行roscore。 $ roscore $ rosrun turtlesim turtlesim_node $ ...
  • kafka-topics.sh 这是与主题(Topic)有关的命令行 常用参数列表 选项 描述 --zookeeper 必填项,Zookeeper的连接信息,可填写多个Zookeeper连接信息 --topic 这个参数被用于create、delete、describe和...
  • ActiveMQ系列—ActiveMQ中的Queue和Topics

    千次阅读 2017-09-19 13:58:56
    如果您细心的话,在ActiveMQ提供的管理页面上已经看到有两个功能页面:Queue和... 在ActiveMQ官方的解释是:1、Topics In JMS a Topic implements publish and subscribe semantics. When you publish a message i
  • Kafka常用命令之:kafka-topics创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与...
  • Codeforces Round #627 (Div. 3) D.Pair of Topics

    千次阅读 2020-03-13 15:06:57
    Codeforces Round #627 (Div....The next lecture in a high school requires two topics to be discussed. The i-th topic is interesting by ai units for the teacher and by bi units for the...
  • 第四部分:Intermediate-Level Rendering Topics 章节链接: 第18章 Post-Processing 第19章 Shadow Mapping 第20章 Skeletal Animation 第21章 Geometry and Tessellation Shaders 第22章 Additional Topics...
  • How to choose the number of topics/partitions in a Kafka cluster? read frome here https://www.confluent.io/blog/how-to-choose-the-number-of-topicspartitions-in-a-kafka-cluster/
  • 第四步:kafka中建立kafka-topics 源代码内幕解密 kafka-topics.sh --create 脚本命令执行create topic语句,进入到kafka.admin.TopicCommand类,main方法中执行createTopic方法,然后一步一步的跟踪下去,topic在...
  • 版本: scala:2.11.8 spark:2.11 ...java.lang.IllegalStateException: Consumer is not subscribed to any topics or assigned any partitions 分析原因: 从指定的主题或者分区获取数据,在pol...
  • kafka-topics.sh --describe结果解释

    千次阅读 2018-10-11 16:19:21
    bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic my-replicated-topic  Topic:my-replicated-topic PartitionCount:1 ReplicationFactor:3 Configs:  Topic: my-replicat...
  • kafka-topics.sh 是kafka自带管理主题的工具. 创建主题: 创建一个叫 topicName并且有三个分区,每个分区有三个副本的副本 ./kafka-topics.sh --zookeeper zkip:2181 --create --topic topicName --replication-factor...
  • kafka问题: Error reading field 'topics'

    千次阅读 2017-02-23 11:39:09
    kafka调用的时候出现:org.apache.kafka.common.protocol.types.SchemaException: Error reading field ‘topics’出现这种情况 ,很有可能是 client版本和sever版本不一样
  • 异常信息如下: ... java.lang.IllegalStateException: Subscription to topics, partitions and pattern are mutually exclusive at org.apache.kafka.clients.consumer.internals.Subscription...
  • 之前对这个参数一直理解有误,...先看官方文档的解释:Whether records from internal topics (such as offsets) should be exposed to the consumer. If set to true the only way to receive records from an i...
  • In the last year or so, after quite a lull, the software architecture business has gotten rather exciting again. We're finally seeing major new topics emerging into the early mainstream that are poten
  • 中文简介: 本文对如何在问答社区对用户主题兴趣及专业度建模分析进行了研究,并且提出了针对此问题的统计图模型Topics Expertise Model.论文出处:CIKM‘13.英文摘要: Community Question Answering (CQA) ...
  • 03_ROS_Topics

    万次阅读 2021-01-09 18:11:21
    Understanding ROS Topics 理解ROS话题 本节介绍ROS话题的概念,并介绍命令行工具 rostopic . 来源: ROS Wiki 首先,确保你已经在本地系统某处运行了 roscore : rosnode list 以上命令应返回/rosout 在本节中我们还...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 152,892
精华内容 61,156
关键字:

topics