精华内容
下载资源
问答
  • kafka服务启动$KAFKA_HOME/bin/kafka-server-start.sh-daemonconfig/server.properties创建Topic$KAFKA_HOME/bin/kafka-topics.sh --create --topic test0--zookeeper 127.0.0.1:2181 --config max.message.bytes=.....
    • kafka服务启动

    $KAFKA_HOME/bin/kafka-server-start.sh -daemon config/server.properties 
    • 创建Topic

    $KAFKA_HOME/bin/kafka-topics.sh --create --topic test0--zookeeper 127.0.0.1:2181 --config max.message.bytes=12800000 --config flush.messages=1 --partitions 5 --replication-factor 1--topic后面的test0是topic的名称--zookeeper应该和server.properties文件中的zookeeper.connect一样--config指定当前topic上有效的参数值--partitions指定topic的partition数量,如果不指定该数量,默认是server.properties文件中的num.partitions配置值--replication-factor指定每个partition的副本个数,默认1
    • 列出所有Topic

    $KAFKA_HOME/bin/kafka-topics.sh --list --zookeeper 127.0.0.1:2181
    • 查看Topic的分区和副本

    $KAFKA_HOME/bin/kafka-topics.sh --describe --zookeeper 127.0.0.1:2181  --topic test0
    • 删除topic

    #删除kafka的topic命令$KAFKA_HOME/bin/kafka-topics.sh --delete --zookeeper 127.0.0.1:2181 --topic test0#删除zookeeper中该topic相关的目录命令:rm -r /kafka/config/topics/test0rm -r /kafka/brokers/topics/test0
    • 查看topic消费的offset(偏移量)

    $KAFKA_HOME/bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list 127.0.0.1:9092 --topic test0 --time -1
    • 修改topic的partition数量(只能增加不能减少)

    $KAFKA_HOME/bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --group testgroup --topic test0 --zookeeper 127.0.0.1:2181
    • 启动kafka生产者

    $KAFKA_HOME/bin/kafka-console-producer.sh --broker-list 127.0.0.1:9092 --topic test0
    • 启动kafka消费者

    #从头开始$KAFKA_HOME/bin/kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 --topic test0 --from-beginning#从尾部开始$KAFKA_HOME/bin/kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 --topic test0 --offset latest#指定分区$KAFKA_HOME/bin/kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 --topic test0 --offset latest --partition 1#取指定个数$KAFKA_HOME/bin/kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 --topic test0 --offset latest --partition 1 --max-messages 1
    • 查看有哪些消费者Group

    $KAFKA_HOME/bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server 127.0.0.1:9092 --list
    • 查看Group详情

    $KAFKA_HOME/bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server 127.0.0.1:9092 --group test --describe
    • 删除Group

    $KAFKA_HOME/bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server 127.0.0.1:9092 --group test --delete

    ef94b177c276a43a4be3e6affc47580d.png

    展开全文
  • Linux Kafka 创建Topic 命令

    千次阅读 2020-05-08 17:25:18
    ./kafka-topics.sh --create --topic "email-topic"--replication-factor 1 --partitions 1 --zookeeper localhost:2181 这里:email-topictopic名称。 需注意zookeeper的ip和端口 要确保正确。 如果是...

    ./kafka-topics.sh --create --topic "email-topic" --replication-factor 1 --partitions 1 --zookeeper localhost:2181

    这里:email-topic是 topic名称。

    需注意zookeeper的ip和端口 要确保正确。

     

    如果是Windows:

    kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic "email-topic" 

     

    展开全文
  • 测试消费程序启动后,要莫名的过几十秒乃至几分钟才能成功获取到到topic的partition和offset,而后开始消费数据,于是学习了一下查看kafka broker里topic和consumer group状态的相关命令,这里记录一下。命令参考自...

    最近工作中遇到需要使用kafka的场景,测试消费程序启动后,要莫名的过几十秒乃至几分钟才能成功获取到到topic的partition和offset,而后开始消费数据,于是学习了一下查看kafka broker里topic和consumer group状态的相关命令,这里记录一下。

    命令参考自《Kafka: The Definitive Guide》 Chapter 9 Administrating Kafka

    以下命令中使用的zookeeper配置地址为127.0.0.1:2181,bootstrap--server(即broker)地址为: 127.0.0.1:9292

    f07ef772e9435fc8dc973dcea296216e.png

    1,查看kafka topic列表,使用--list参数

    bin/kafka-topics.sh --zookeeper 127.0.0.1:2181 --list

    __consumer_offsets

    lx_test_topic

    test

    2,查看kafka特定topic的详情,使用--topic与--describe参数

    bin/kafka-topics.sh --zookeeper 127.0.0.1:2181 --topic lx_test_topic --describe

    Topic:lx_test_topic PartitionCount:1 ReplicationFactor:1 Configs:

    Topic: lx_test_topic Partition: 0 Leader: 0 Replicas: 0 Isr: 0

    列出了lx_test_topic的parition数量、replica因子以及每个partition的leader、replica信息

    3,查看consumer group列表,使用--list参数

    查看consumer group列表有新、旧两种命令,分别查看新版(信息保存在broker中)consumer列表和老版(信息保存在zookeeper中)consumer列表,因而需要区分指定bootstrap--server和zookeeper参数:

    bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server 127.0.0.1:9292 --list

    lx_test

    bin/kafka-consumer-groups.sh --zookeeper 127.0.0.1:2181 --list

    console-consumer-86845

    console-consumer-11967

    2b431cc21e2f4b935a85b6e17ed36e4a.png

    4,查看特定consumer group 详情,使用--group与--describe参数

    同样根据新/旧版本的consumer,分别指定bootstrap-server与zookeeper参数:

    bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server 127.0.0.1:9292 --group lx_test --describe

    GROUP TOPIC PARTITION CURRENT-OFFSET LOG-END-OFFSET LAG OWNER

    lx_test lx_test_topic 0 465 465 0 kafka-python-1.3.1_/127.0.0.1

    bin/kafka-consumer-groups.sh --zookeeper 127.0.0.1:2181 --group console-consumer-11967 --describe

    GROUP TOPIC PARTITION CURRENT-OFFSET LOG-END-OFFSET LAG OWNER

    Could not fetch offset from zookeeper for group console-consumer-11967 partition [lx_test_topic,0] due to missing offset data in zookeeper.

    console-consumer-11967 lx_test_topic 0 unknown 465 unknown console-consumer-11967_aws-lx-1513787888172-d3a91f05-0

    569100dfff0b29ee980607865315e69a.png

    其中依次展示group名称、消费的topic名称、partition id、consumer group最后一次提交的offset、最后提交的生产消息offset、消费offset与生产offset之间的差值、当前消费topic-partition的group成员id(不一定包含hostname)

    上面示例中console-consumer-11967是为了测试临时起的一个console consumer,缺少在zookeeper中保存的current_offset信息。

    双击下方了解更多,更多惊喜等着你

    展开全文
  • 一: MAC安装kafka安装:kafka依赖java环境,因此你可能需要先安装好java环境。// mac 环境使用brew直接安装kafka brew install kafka // 卸载 brew uninstall kafkamac 安装kafka过程中会自动的安装好zookeeper。...

    一: MAC安装kafka

    安装:

    kafka依赖java环境,因此你可能需要先安装好java环境。

    // mac 环境使用brew直接安装kafka
    brew install kafka 
    
    // 卸载
    brew uninstall kafka

    mac 安装kafka过程中会自动的安装好zookeeper。

    启动:

    // 启动
    brew services start kafka
    brew services start zookeeper
    
    // 重启
    brew services restart kafka
    brew services restart zookeeper

    二:Linux安装kafka

    一、进入官网下载安装包

    http://kafka.apache.org/downloads

    下载Binary包如下图,下面以2.1.0版本为例:

    bfdeb08faffbca7375d78be79948f0b5.png
    cd /usr/src
    // 下载包
    wget http://mirror.bit.edu.cn/apache/kafka/2.1.0/kafka_2.11-2.1.0.tgz
    
    // 解压
    tar -xzf kafka_2.11-2.1.0.tgz
    // 重命名为kafka
    mv kafka_2.11-2.1.0 kafka
    
    cd kafka

    前台启动Zookeeper 和kafka

    bin/zookeeper-server-start.sh config/zookeeper.properties
    
    bin/kafka-server-start.sh config/server.properties

    后台启动Zookeeper 和kafka

    bin/zookeeper-server-start.sh config/zookeeper.properties 1>/dev/null  2>&1  &
    
    bin/kafka-server-start.sh config/server.properties 1>/dev/null  2>&1  &

    其中1>/dev/null 2>&1 是将命令产生的输入和错误都输入到空设备,也就是不输出的意思。/dev/null代表空设备。

    kafka配置说明:

    配置文件server.properties

    // mac 电脑配置文件地址
    vim /usr/local/etc/kafka/server.properties
    
    // Linux 配置文件地址
    vim /usr/src/kafka/config/server.properties

    配置参考地址:

    http://www.orchome.com/472

    备注: 尽量配置host.name, 例如本地的配置

    host.name = 127.0.0.1
    port=9092

    常用基本命令:

    创建一个主题(topic)

    // mac
    kafka-topics --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
    
    // linux
    bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

    删除topic

    // mac 
    kafka-topics  --delete --zookeeper localhost:2181 --topic 【topic name】
    
    // linux 
    bin/kafka-topics.sh --delete --zookeeper localhost:2181 --topic 【topic name】

    查看创建的topic list

    // mac
    kafka-topics --list --zookeeper localhost:2181
    
    // linux
    bin/kafka-topics.sh --list --zookeeper localhost:2181

    生产消息

    // mac 
    kafka-console-producer --broker-list localhost:9092 --topic test
    
    // linux 
    bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

    消费消息

    // mac 
    kafka-console-consumer --bootstrap-server localhost:9092 --topic test --from-beginning
    
    // linux 
    bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

    更多使用方式可参考:http://www.orchome.com/454

    展开全文
  • Kafka是流式计算中重要的数据源,我分享一下在本机MacOS上搭建Kafka的经验。使用的是 Homebrew (https://brew.sh/),一条指令就可以进行安装、卸载、更新、查看、搜索等功能。一、直接使用bre...
  • “ Apache Kafka 被誉为时下热门的企业级消息传递系统,其初衷是一个分布式流系统,用于发布和订阅记录流,以其快速,高可扩展性以及较完美的容错效果备受业内人士青睐。放眼当下数据为王的时代,深入了解 Apache ...
  • Fly-AI竞赛服务平台 flyai.com在开始学习之前推荐大家可以多在FlyAI竞赛服务平台多参加训练和竞赛,以此来提升自己的...目录一、Kafka环境搭建和Topic管理1 单机环境搭建1.1 环境准备1.1.1 JDK 安装1.1.2 配置主机名...
  • ​文档编写目的在Kafka集群资源使用已超出系统配置的资源时,或者有大量资源闲置造成资源浪费的时候,需要分别通过扩容Kafka和缩容Kafka来进行调整。本篇文章Fayson主要介绍如何进行Kafka的扩容和缩容,以及变更后的...
  • “ Apache Kafka 被誉为时下热门的企业级消息传递系统,其初衷是一个分布式流系统,用于发布和订阅记录流,以其快速,高可扩展性以及较完美的容错效果备受业内人士青睐。图片来自 Pexels放眼当下数据为王的时代,...
  • 63. kafka 可以脱离 zookeeper 单独使用吗?为什么?kafka 不能脱离 zookeeper 单独使用,因为 kafka 使用 zookeeper 管理和协调 kafka 的节点服务器。64. kafka 有几种数据保留的策略?探究的是kafka的数据生产出来...
  • 1.文档编写目的Fayson在前面的文章介绍了《0374-如何在CDH集群中部署Kafka Manager》,本篇文章Fayson介绍另外一款的监控工具Kafka-eagle,它可以同时监控多个集群,监控集群中Topic的被消费情况(包含Lag产生、...
  • 本文将对Kafka做一个入门简介,并展示如何使用Kafka构建一个文本数据流管道。通过本文,读者可以了解一个流处理数据管道(Pipeline)的大致结构:数据生产者源源不断地生成数据流,数据流通过消息队列投递,数据消费者...
  • 为了提高平时的工作效率,帮助我们快速定位一些线上问题,比如查看部分 Partition 堆积机器 IP 等操作,这篇文章总结了一些平时常用到的一些 Kafka 命令及常用配置,方便日后查阅(该文章中提到的相关配置会持续更新...
  • kafka前言前段时间迁移了新版kafka,但是由于历史原因,老版kafka不能立马就下掉,但是老版kafka配置过高,为了降低成本,需要对kafka集群进行缩容处理。本文就来记录下kafka的缩容过程。缩容思路老kafka集群内有9台...
  • kafka创建topic命令解释

    千次阅读 2019-11-26 21:52:27
    创建topic命令: bin/kafka-toipics.sh --zookeeper localhost:2181 --create --topic heima --partitions 2 --replication-factor 1 解释: --zookeeper: 指定了kafka所连接的zookeeper服务地址 --toipic: 指定...
  • Kafka 安装及简单命令使用Kafka中消息如何被存储到Broker上?Kafka消息发送时,网络“偷偷”帮忙做的那点事儿一文读懂Kafka消费者背后的那点"猫腻"Kafka消息在服务端存储与读取Kafka集群内部工作原理的那些事为了...
  • kafka 创建topic,查看topic

    万次阅读 2018-09-28 16:46:21
    创建kafka topic bin/kafka-topics.sh --create --topic topicname --replication-factor 1 --partitions 1 --zookeeper localhost:2181  方法一: 执行linux命令: bin/kafka-topics.sh --create --topic ...
  • 背景书接上回,想在kafka执行命令,其实是为删除一个无用的topic,但是在不知道正确删除姿势的情况下,只能先创建再删除,验证一下,也是去年的经验了,今年用的时候又翻半天,记录一下创建topic用的命令kafka-topics.sh,...
  • kafka创建topic中输入以下命令 bin/kafka-topics.sh --zookeeper node01:2181 --create --replication-factor 3 --partitions 1 --topic first 报错 ERROR org.apache.kafka.common.errors
  • kafka创建topic失败

    千次阅读 2018-03-08 10:24:56
    本人初次接触kakfa,创建topic后生产消息失败,生产消息的命令为: sh kafka-console-producer.sh --broker-list localhost:9092 --topic test 报错日志为:[2018-03-06 21:58:24,978] ERROR Error when ...
  • kafka如何创建topic

    万次阅读 2017-10-26 14:57:02
    Kafka创建topic命令很简单,一条命令足矣:bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 3 --topic test   这条命令会创建一个名为test的topic,有3个分区,...
  • kafka如何创建topic

    2021-04-02 18:10:31
    Kafka创建topic命令很简单,一条命令足矣: bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 3 --topic test 这条命令会创建一个名为test的topic,有3个分区,每个...
  • 创建名称为test2的同topic kafka-topics --create --bootstrap-server localhost:9092 --topic test3 --partitions 10 --replication-factor 1 查看topic kafka-topics --list --bootstrap-server localhost:9092 ...
  • 1.官网文档地址kafka官网文档地址 2.执行命令 bin\windows\kafka-topics.bat --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic test
  • Kafka创建topic命令很简单,一条命令足矣:bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 3 --topic test这条命令会创建一个名为test的topic,有3个分区,每个分区...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 731
精华内容 292
关键字:

kafka创建topic命令