精华内容
下载资源
问答
  • kafka创建topic
    万次阅读
    2021-11-29 10:30:17

    创建topic的两种方式:
    方法一:

    bin/kafka-topics.sh --create --topic topicname --replication-factor 1 --partitions 1 --zookeeper localhost:2181
    

    -topic 指定topic
    -partitions指定分区数

    kafka通过分区策略,将不同的分区分配在一个集群中的broker上,一般会分散在不同的broker上,当只有一个broker时,所有的分区就只能分配到该broker上。
    消息会通过浮在均衡发布到不同的分区上,消费者会监测偏移量来获取哪个分区有新数据,从而从该分区上拉取消息数据。
    分区数越多,在一定程度上会提高消息处理的吞吐量,因为kafka是基于文件进行读写,因此也需要打开更多的文件句柄,也会增加一定的性能开销。
    如果分区过多,那么日志分段也会很多,写的时候由于是批量写,其实就会变成随机写,随机I/O对性能影响很大,所以一般来说,kafka不能有太多的Partition

    –replication-factor
    用来设置主题的副本数。每个主题可以有多个副本,副本位于集群中不同的broker上,也可以说副本的数量不能超过broker的数量,否则创建主题时会失败

    方法二:
    conf/server.properties开启自动创建配置:auto.create.topics.enable=true

    更多相关内容
  • 1、在Java代码中调用ZooKeeper的工具类,创建Topic。 2、建立一个含有Topic属性的JavaBean,set内容到各个属性中。 3、Id的规则尚不明确,目前用yyyy-MM-dd日期格式代替id,作为命名后缀。 4、前缀目前在代码中直接...
  • kafka创建topic、添加配置等相关操作

    千次阅读 2022-06-28 09:56:15
    创建topickafka命令行消费者、kafka命令行生产者、删除topic、kafka单个topic增加配置。 kafka-console-consumer、kafka-console-producer、kafka-topics、kafka-configs的使用

    一、创建topic

    装有kafka的系统命令行界面执行以下命令创建名为test的topic

    kafka-topics --create --zookeeper localhost:2180 --replication-factor 2 --partitions 3 --topic test

    说明:

    --create                      表示要对kafka执行创建的操作 

    --zookeeper               指定自己的zookeeper连接地址,这里是localhost:2180

    --replication-factor      指定保存数据的副本数,这里是2,可以根据自己需求指定

    --partitions                  指定保存数据的分区数,这里是3,可以根据自己需求指定

    --topic                         指定要创建的topic(kafka里面的表)名字

    二、kafka命令行消费者

    在kafka节点执行kafka-console-consumer命令行工具

    kafka-console-consumer --bootstrap-server test1:9192,test2:9192,test3:9192 --topic test

    说明:

    --bootstrap-server       指定kafka的块地址,这里是 test1:9192,test2:9192,test3:9192 需要替换自己的kafka块连接地址。(ps:只要网络可以通信,使用该命令行消费工具也可以指定其他kafka集群的topic进行消费)

    --topic                         指定需要进行消费的kafka topic

    其他参数:

    --from-beginning         添加该参数表示从topic的最开始位置进行消费,不指定则默认从topic的最新位置进行消费

    三、kafka命令行生产者

    kafka-console-producer --broker-list test1:9092,test2:9092,test3:9092 --topic test

    说明:

    --broker-list                 指定kafka的块地址,这里是 test1:9192,test2:9192,test3:9192 需要替换自己的kafka块连接地址。(ps:只要网络可以通信,使用该命令行生产者工具也可以指定其他kafka集群的topic进行生产数据)

    --topic                         指定生产数据的kafka topic

    四、删除topic

    如果要删除topic和数据块,需要设置kafka的配置文件server.properites

    添加delete.topic.enable=true

    然后重启kafka。如果只是逻辑删除topic,并不删除数据块,则可以不配置。

    kafka-topics --zookeeper localhost:2181 --topic test --delete

    说明:

    --delete                         表示要对kafka执行删除的操作 

    --zookeeper                   指定自己的zookeeper连接地址,这里是localhost:2180

    --topic                            指定要删除的topic名字

    五、kafka单个topic增加配置

    这里以单独把topic test的数据保存天数设置为永久为例。

    kafka-configs --zookeeper localhost:2181 --alter --add-config 'retention.ms=-1' --entity-name test --entity-type topics

    说明:

    --zookeeper                   指定自己的zookeeper连接地址,这里是localhost:2180

    --alter                             表示要进行配置修改命令

    --add-config                    要添加的键值对配置。方括号可用于对包含逗号的值进行分组:'k1 = v1, k2 = [v1, v2, v3], k3 = v3'

    --entity-name                 要操作实体的名称,topic名、客户端id、userID、brokerID

    --entity-type                   实体配置的类型可以是topics、clients、users、brokers

    展开全文
  • kafka创建topic报错

    2020-12-30 16:43:53
    kafka创建topic报错 kafka-topics.sh \ --zookeeper mypc01:2181,mypc02:2181,mypc03:2181/kafka-2020 \ --create \ --topic news203 \ --partitions 1 \ --replication-factor 1 ...

    kafka创建topic报错

    kafka-topics.sh \
    --zookeeper mypc01:2181,mypc02:2181,mypc03:2181/kafka-2020 \
    --create \
    --topic news \
    --partitions 1 \
    --replication-factor 1
    
    InvalidReplicationFactorException: Replication factor: 1 larger than available brokers: 0.
     (kafka.admin.TopicCommand$)
    

    排查原因,
    1 kafka正常启动
    2 发现是zookeeper路径不正确.
    就是创建topic时的zookeeper路径要和kafka配置server.properties中的一样

    # Zookeeper connection string (see zookeeper docs for details).
    # This is a comma separated host:port pairs, each corresponding to a zk
    # server. e.g. "127.0.0.1:3000,127.0.0.1:3001,127.0.0.1:3002".
    # You can also append an optional chroot string to the urls to specify the
    # root directory for all kafka znodes.
    zookeeper.connect=mypc01:2181,mypc02:2181,mypc03:2181/kafka-2020
    
    展开全文
  • springboot 启动 kafka创建topic不生效

    千次阅读 2022-03-02 10:36:48
    kakfa springboot创建topic

    kafka一个坑

    大家应该都知道

    @Bean
        public NewTopic updateTopic() {
            return new NewTopic(“topic”,6, (short) 2 );
        }
    

    这样就能在项目启动的时候创建一个topic 6个分区 2个副本

    但是当你使用配置的方式创建的时候 这里的代码项目启动之后话题并没有创建

    这时候加上@Order(0)就能成功创建了
    原理没看过 猜测是kafka自动配置的时候是根据容器里面的bean来创建topic的 但是这个bean使用配置方式的话 放入容器的顺序晚于kafka初始化.

    纯猜测 有空再研究 或者有没有大佬解释一下

    @Configuration
    //@Order(0)
    public class KafkaInitialConfiguration  {
        //分区数 默认为6 有配置则使用配置
        @Value("${kafka.partitionSizes}")
        private int partitionSizes ;
        //分区数 默认为6 有配置则使用配置
        @Value("${kafka.replicationFactor}")
        private int replicationFactor ;
        @Value("${kafka.topicName}")
        private String topicName ;
        // 如果要修改分区数,只需修改配置值重启项目即可
        // 修改分区数并不会导致数据的丢失,但是分区数只能增大不能减小
        @Bean
        public NewTopic updateTopic() {
            return new NewTopic(topicName,partitionSizes, (short) replicationFactor );
        }
    }
    
    展开全文
  • Linux Kafka 创建Topic 命令

    千次阅读 2020-05-08 17:25:18
    ./kafka-topics.sh --create --topic "email-topic"--replication-factor 1 --partitions 1 --zookeeper localhost:2181 这里:email-topictopic名称。 需注意zookeeper的ip和端口 要确保正确。 如果是...
  • 使用docker搭建kafka 创建 topic 报错 Error: Exception thrown by the agent : java.rmi.server.ExportException: Port alrea 先查看卡夫卡容器有没有启动 docker ps 进入到kafka容器 docker exec -it kafka1 /...
  • windowsKAFKA创建TOPIC

    千次阅读 2019-12-24 18:36:10
    创建topic kafka-topics.bat --create -zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic "test" 创建生产者 kafka-console-producer.bat --broker-list localhost:9092 --t...
  • } } 创建Topic: @RequestMapping("/kafka") public class KafkaController { @Autowired private KafkaAdminClient kafkaAdminClient; @GetMapping("/createTopic") public CreateTopicsResult createTopic(){ New...
  • kafka创建Topic的时候 在Zk上创建了哪些节点
  • Kafka 2.6.0 引入依赖 <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>2.6.0</version> </dependency> ...
  • Kafka创建Topic(API方式)

    千次阅读 2019-09-18 03:19:58
    Kafka官方提供了两个脚本来管理topic,包括...其中kafka-topics.sh负责topic创建与删除;kafka-configs.sh脚本负责topic的修改和查询,但很多用户都更加倾向于使用程序API的方式对topic进行操作。 上一篇文章中...
  • Partition 数目与Replication Factor是在创建一个topic时非常重要的两个参数,这两个参数的取值会直接影响到系统的性能与稳定性。 尽量在第一次创建一个topic时就指定这两个参数,因为 如果Partition 数目在之后再次...
  • kafka创建topic失败

    千次阅读 2018-03-08 10:24:56
    本人初次接触kakfa,创建topic后生产消息失败,生产消息的命令为: sh kafka-console-producer.sh --broker-list localhost:9092 --topic test 报错日志为:[2018-03-06 21:58:24,978] ERROR Error when ...
  • 因为好久没创建kafka topic 经排查是zookeeper的地址有问题 因此地址需要一致: kafka-topics.sh --create --topic test --zookeeper hadoop112:2181/kafka --partitions 5 --replication-factor 1
  • Kafka创建Topic时如何将分区放置到不同的Broker中 副本因子不能大于 Broker 的个数; 第一个分区(编号为0)的第一个副本放置位置是随机从 brokerList 选择的; 其他分区的第一个副本放置位置相对于第0个分区...
  • kafka如何创建topic

    千次阅读 2021-05-29 17:01:20
    Kafka创建topic命令很简单,一条命令足矣:bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 3 --topic test  这条命令会创建一个名为test的topic,有3个分区,每...
  • kafka 创建topic,查看topic

    万次阅读 2018-09-28 16:46:21
    创建kafka topic bin/kafka-topics.sh --create --topic topicname --replication-factor 1 --partitions 1 --zookeeper localhost:2181  方法一: 执行linux命令: bin/kafka-topics.sh --create --topic ...
  • Kafka创建Topic出现replication factor: 2 larger than available brokers: 0 减少replication factor还是出现错误的解决办法 kafka-topics.sh --zookeeper hbase:2181 --create --topic ct --partitions 3 --...
  • java创建kafkatopic

    千次阅读 2022-03-03 15:57:04
    kafka 0.10及其以下版本创建topic 这个版本创建topic必须使用zookeeper,一般可以使用如下命令手动创建topic: bin/kafka-topics.sh --create --zookeeper 127.0.0.1:2181 --replication-factor 3 --partitions 3 --...
  • NULL 博文链接:https://bewithme.iteye.com/blog/2395202
  • 创建名称为test2的同topic kafka-topics --create --bootstrap-server localhost:9092 --topic test3 --partitions 10 --replication-factor 1 查看topic kafka-topics --list --bootstrap-server localhost:9092 ...
  • kafka创建Topic出现的问题

    千次阅读 2018-12-17 11:50:02
    replication factor: 3 larger than available brokers:...[2018-12-15 07:25:43,621] ERROR org.apache.kafka.common.errors.InvalidReplicationFactorException: replication factor: 3 larger than available bro...
  • java spring-boot kafka 创建topic

    千次阅读 2018-01-17 14:26:00
    java spring-boot kafka 创建topic Map<String, Object> configs = new HashMap<>(); configs.put(AdminClientConfig.BOOTSTRAP_...
  • 分区 使kafka能够横向扩展,一个topic可以有多个分区,在创建topickafka根据内部的负载均衡算法 将分区均匀的分布在多个broker上,分区可以提高系统的吞吐量 备份 使kafka具有较高的容错性,当某一台broker挂掉时,...
  • Kafka创建Topic报错原因有很多种,我主要讲一下我所遇到的问题的解决方法,各位可以尝试一下,希望对各位有用。 第一次使用kafka,搭建环境后,使用kafka创建Topic报错,报错信息如下: Error while executing ...
  • 一个kafka创建topic失败的问题

    万次阅读 2017-11-22 14:44:55
    关于kafka创建topic时出现 ERROR kafka.common.KafkaException: Failed to parse the broker info from zookeeper 错误的处理
  • kafka创建topic报错ERROR org.apache.kafka.common.errors.InvalidReplicationFactorException 在kafka创建topic中输入以下命令 bin/kafka-topics.sh --zookeeper node01:2181 --create --replication-factor 3 -...
  • 如何在kafka创建topic

    千次阅读 2021-07-24 17:53:29
    如何在kafka创建topic 在使用kafka发送消息和消费消息之前,必须先要创建topic,在kafka创建topic的方式有以下3种: 如果kafka broker中的config/server.properties配置文件中配置了auto.create.topics.enable...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 57,525
精华内容 23,010
关键字:

kafka创建topic