精华内容
下载资源
问答
  • kafka 创建topic,查看topic

    万次阅读 2018-09-28 16:46:21
    bin/kafka-topics.sh --create --topic topicname --replication-factor 1 --partitions 1 --zookeeper localhost:2181  方法一: 执行linux命令: bin/kafka-topics.sh --create --topic topicname --rep...

    创建

    创建kafka topic
    bin/kafka-topics.sh --create --topic topicname --replication-factor 1 --partitions 1 --zookeeper localhost:2181  


    方法一:
    执行linux命令:
    bin/kafka-topics.sh --create --topic topicname --replication-factor 1 --partitions 1 --zookeeper localhost:2181
    –topic指定topic name 
    –partitions指定分区数,这个参数需要根据broker数和数据量决定,正常情况下,每个broker上两个partition最好; 
    –replication-factor指定partition的replicas数,建议设置为2;


    方法二:
    开启自动创建配置:auto.create.topics.enable=true 
    使用程序直接往kafka中相应的topic发送数据,如果topic不存在就会按默认配置进行创建。

     

    查看

    bin/kafka-topics.sh --list --zookeeper localhost:2181

    展开全文
  • 原因2 转自:https://blog.csdn.net/chenaima1314/article/details/79403113 rocketmq运行时提示 No route info of this topic 异常产生的原因可能是 ①Broker禁止自动创建Topic,且用户没有通过手工方式创建Topic ...

    前些天发现了一个巨牛的人工智能学习网站,通俗易懂,风趣幽默,忍不住分享一下给大家。点击跳转到教程。

     

    原因1:启动 broker 方式不对。

    我完全是按照官方文档操作的,在网上看到说这一步是错误的启动 broker 方式

    nohup sh bin/mqbroker -n localhost:9876 &

    改为:

    nohup sh mqbroker -n localhost:9876 autoCreateTopicEnable=true &

     

    原因2:未关闭防火墙

    原因2 转自:https://blog.csdn.net/chenaima1314/article/details/79403113

    rocketmq运行时提示 No route info of this topic 异常产生的原因可能是

    ①Broker禁止自动创建Topic,且用户没有通过手工方式创建Topic

    ②Broker没有正确连接到Name Server
    ③Producer没有正确连接到Name Server 

    首先解决①这种情况,启动顺序要先启动nameserver,再启动broker,启动broker时加上autoCreateTopicEnable=true 

    例如 nohup sh mqbroker -n localhost:9876 autoCreateTopicEnable=true &

    启动没有异常检查下nameserver中是否成功注册了broker,有两种方式 
    第一种、看broker的日志 如果出现形如
    2018-02-28 16:21:35 INFO BrokerControllerScheduledThread1 - register broker to name server 192.168.192.129:9876 OK
    2018-02-28 16:22:05 INFO BrokerControllerScheduledThread1 - register broker to name server 192.168.192.129:9876 OK
    证明已经连接到nameserver上
    第二种、 在bin目录下执行命令sh mqadmin clusterList -n localhost:9876 如果看到
    #Cluster Name     #Broker Name            #BID  #Addr                  #Version                #InTPS(LOAD)       #OutTPS(LOAD) #PCWait(ms) #Hour #SPACE
    DefaultCluster    DEFAULT_BROKER          0     192.168.192.129:10911  V4_2_0_SNAPSHOT          0.00(0,0ms)         0.00(0,0ms)          0 422168.55 -1.0000

    也是证明已经连接到nameserver上。

    如果按前两步检查没有问题,但启动还是报错,那么剩下的可能原因是producer无法连接到nameserver,很可能是防火墙的原因 ,要检验猜测只需要关闭防火墙,命令为systemctl stop firewalld.service
    然后再次验证,应该已经可以使用了。

     原因3.  少 jar 包:fastjson-1.2.29.jar  

    这是网上看到的,我的情况并不少这个jar 。

    原因4. mqnameserver 或者 mqbroker 没有启动成功。

    我的情况是 :会报错内存不够。

    报错为:

    # There is insufficient memory for the Java Runtime Environment to continue.
    # Native memory allocation (mmap) failed to map 805306368 bytes for committing reserved memory.

    要在 /distribution/target/apache-rocketmq/bin 下的2个脚本中设置内存占用大小。

    vim bin/runserver.sh (调整nameserver启动的内存,不调整此文件,可能导致无法启动。)
    
    JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn512m -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m" 
    
     vim bin/runbroker.sh     JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn128m"

     

    展开全文
  • Kafka删除topic

    万次阅读 2016-08-21 18:22:41
    两种方法: 一、修改配置文件server.properties 添加如下配置: ...说明:官方给的文档说明“Enables delete topic. Delete topic through the admin tool will have no effect if this config is turne

    两种方法:

     

    一、修改配置文件server.properties

        添加如下配置:

            delete.topic.enable=true

     

    说明:官方给的文档说明“Enables delete topic. Delete topic through the admin tool will have no effect if this config is turned off”,意思就是说如果想删除topic,此项配置必须为true,默认为false。配置完重启kafka、zookeeper。

     

    二、如果不想修改配置,也可以彻底删除topic

     

    1、删除kafka存储目录(server.propertiewenjian log.dirs配置,默认为“/tmp/kafka-logs”)下对应的topic。(不同broker下存储的topic不一定相同,所有broker都要看一下)

    2、进入zookeeper客户端删掉对应topic

            zkCli.sh  -server 127.0.0.1:42182

       找到topic目录

            ls   /brokers/topics

       删掉对应topic

        rmr  /brokers/topic/topic-name

       找到目录

            ls    /config/topics

       删掉对应topic

            rmr  /config/topics/topic-name  

     

    以上两步全部执行才算彻底删除topic

     

     

    ---
    更多文章关注公众号

    展开全文
  • 截图事例: 先查看topic: HelloWor、HelloWorld、test。这三个是我之前创建的。 我想删掉HelloWor。结果出现错误。 报错如下: 解决:topic名字打错了,导致zk找不到对应的topic。 ...

    截图事例:
    先查看topic:
    在这里插入图片描述
    HelloWor、HelloWorld、test。这三个是我之前创建的。
    我想删掉HelloWor。结果出现错误。
    报错如下:
    在这里插入图片描述
    解决:topic名字打错了,导致zk找不到对应的topic。
    在这里插入图片描述

    展开全文
  • pulsar创建topic

    千次阅读 2019-03-08 10:25:41
    因为之前写了一个游标回滚的博客,牵扯到分区topic与非分区topic的区别,楼主总结了一些经验,有不对的地方欢迎指出 ** 1. 分区topic的创建** private static PulsarAdmin admin = null; public void createTopic(){...
  • RocketMQ手动创建Topic

    万次阅读 2019-05-05 14:06:13
    创建Topic使用的命令 mqadmin updateTopic: .\mqadmin updateTopic Java HotSpot(TM) 64-Bit Server VM warning: ignoring option PermSize=128m; support was removed in 8.0 Java HotSpot(TM) 64-Bit Server VM ...
  • 这个问题是最近一个朋友问我的,用sparkstreaming消费kafka的多个topic,怎么获取topic的信息,然后根据不同topic的数据做不同的逻辑处理.其实这个问题非常简单,...
  • Topic和Partition

    千次阅读 2018-09-14 08:59:11
    Topic是一个逻辑上的概念,可以看成是一类消息的聚合。从物理上来说,一个Topic是由分散在各个服务节点上的Partition组成的,每个Topic可以有多个Producer向他发送消息,也可以有多个Consumer消费其中的消息。 如...
  • springboot+kafka中@KafkaListener如何动态指定多个topic

    万次阅读 热门讨论 2019-03-27 10:38:15
    springboot+kafka中@KafkaListener如何动态指定多个topic 本项目为springboot+kafak的整合项目,故其用了springboot中对kafak的独特消费注解@KafkaListener 首先,application.properties中配置用逗号隔开的多个...
  • 【实战】kafka删除Topic常见异常排查思路及解决方案

    千次阅读 多人点赞 2021-09-09 16:57:50
    最近技术群里面有几个同学碰到了 删除Topic的问题, 怎么样也删除不掉,然后我协助排查之后,就做个记录,写篇文章,大家在碰到这类型的问题的时候应该怎么去排查 收集线索 报not retrying deletion 异常 版本:kafka_...
  • kafka中topic基本操作

    千次阅读 2018-07-13 09:36:05
    Topic基本操作 在linux服务器上查找kafka的安装位置 locate kafka-topics.sh kafka配置文件在kafka的安装文件夹下的 ./config/service.properties 中 创建kafka topic bin/kafka-topics.sh –create –...
  • 恢复删除Topic的过程
  • 查看kafka的topic清单以及topic的内容

    千次阅读 2020-11-12 16:54:09
    对于云端服务器上运行着的kafka集群,由于没有开放相关的端口,之前查看都是使用端口转发,ssh练上去之后,使用端口转发,转发到本地查看。 使用kafka时发现,zk连接上...查看kafka中topic清单:kafka-topics.sh --l
  • kafka查看topic和消息内容命令

    万次阅读 2019-01-10 00:32:00
    1、查询topic,进入kafka目录: bin/kafka-topics.sh --list --zookeeper localhost:2181 2、查询topic内容: bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic topicName --from-...
  • Kafka解析之topic创建(1)

    万次阅读 2018-02-10 11:15:01
    在使用kafka发送消息和消费消息之前,必须先要创建topic,在kafka中创建topic的方式有以下2种: 如果kafka broker中的config/server.properties配置文件中配置了auto.create.topics.enable参数为true(默认值就是...
  • 一、 Kafka常用操作命令 查看当前服务器中的所有topic[root@hadoop3 kafka]# bin/kafka-topics.sh --list --zookeeper hadoop11:2181 [root@hadoop3 kafka]#信息写入到  创建topic[root@hadoop3 kafka]# bin/...
  • MQClientException: No route info of this topic, topicTest01 问题原因 maven版本和服务器不一样。按照官方文档执行的案例出错,主要是官方文档推荐的下载包是4.4.0,然后案例引入的maven是4.3.0。所以导致出现...
  • kafka删除topic

    千次阅读 2018-09-10 10:53:10
    最近工作中经常遇到要手动或者服务器内存不足 自动关掉spark-streaming读取kafka数据的情况 ,本身只有一个节点,宕掉后会导致kafka当前topic异常,读取与写入都获取不到head,所以要删除topic来解决该问题,实际...
  • kafka彻底删除topic

    千次阅读 2017-03-20 15:08:56
    今天发现一个线上kafka(版本为0.8.2.2)多天前已不再消费的topic标记为删除(marked for deletion),而我们每天有定时删除topic的shell脚本,会把无用的topic干掉,但发现这些topic只是被标记为删除,而并没有真正删除
  • rocketmq无法创建Topic

    2018-09-14 10:30:45
    在启动namesrv、 broker后,创建Topic一直出现如下的问题,没有找到解决方法 [root@localhost bin]# sh mqadmin updateTopic ‐c DEFAULT_CLUSTER ‐n 192.168.202.128:9876 ‐t TopicTest1 ‐r 10 ‐w 10 Java ...
  • Kafka动态调整topic分区partition

    万次阅读 2018-10-13 14:46:36
    我们在使用kafka时,初期创建时所指定topic属性需要修改,如何动态修改kafka属性?kafka提供了命令行工具—kafka-topics.sh. kafka-topics.sh工具介绍 kafka-topics.sh工具也是我们用来创建topic、查看topic详情的...
  • Rocketmq-Topic

    万次阅读 2017-01-16 23:35:36
    rocket-topic 创建
  • Kafka彻底删除topic

    千次阅读 2020-06-10 21:57:10
    kafka默认仅做删除标记,并没有真实删除,若要真实删除topic 方法一:修改配置文件server.properties并进行重启 server.properties添加:delete.topic.enable=true,然后重启 删除测试 # 创建topic > ./bin/kafka...
  • 删除kafka topic后再重新建同名topic

    千次阅读 2017-11-08 10:35:03
    delete.topic.enable=true 第一步:bin/kafka-topics --zookeeper zookeeper集群 --delete --topic topicName 第二步:进入zookeeper命令行,删除三个目录①rmr /brokers/topics/market ②rmr /admin/...
  • kafka topic 删除异常

    千次阅读 2020-05-20 17:16:01
    公司kafka集群是允许删除topic,但是前段时间组里小伙伴有个topic总是删不掉,也不知道他是怎么删的;后来我尝试手动删除zookeeper中的元数据,看看能否删掉这个topic,操作如下 rmr /brokers/topics/nginx_clean_...
  • No route info of this topic, TopicTest 问题描述: 运行官方mq示例发送消息时,提示如下错误: Exception in thread "main" org.apache.rocketmq.client.exception.MQClientException: No route info of...
  • 这个教程要学习的是怎么从一个运行的ROS系统中记录一些数据存放在.bag...这一节会讲怎么从一个运行的ROS系统中记录topic的数据。topic的数据会被累计存储在一个bag文件中。 首先,执行以下三条命令: roscore r...
  • ERROR Error when sending message to topic topic_lcc with key: null, value: 28 bytes with error: (org.apache.kafka.clients.producer.internals.ErrorLoggingCallback) org.apache.kafka.common.errors....

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 365,785
精华内容 146,314
关键字:

topic