精华内容
下载资源
问答
  • kafka查看topic中的数据
    千次阅读
    2020-07-15 06:57:30
    • 启动kafka:
    • ./kafka-server-start.sh ../config/server.properties 1>/dev/null 2>&1 &     # kafka-server-start.sh 脚本在 kafka_2.12-2.2.0/bin路径下
    • 查看已创建的topic列表:
    • ./kafka-topics.sh --list --zookeeper localhost:2181
    • 查看对应topic的描述信息: 
    • ./kafka-topics.sh --describe --zookeeper xx.x.xxx.xxx:2181 --topic xxxxx.xx.xxxxx.xxx     # --zookeeper为zookeeperIP, --topic为topic名称 
    • 消费消息:
    • ./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic xxxxx.xx.xxxxx.xxx --from-beginning    # 若没有任何返回或没有响应,则该topic中没有数据内容;否则就是有数据
    更多相关内容
  • kafka查看topic数据消费情况

    千次阅读 2022-08-02 13:58:13
    kafka查看topic数据消费情况
    •  下载kafka 工具,下载地址如下:

           Kafka 中文文档 - ApacheCN

    • 查询消费者group Id:

         进入kafka/bin 目录

    sh kafka-consumer-groups.sh --bootstrap-server 127.0.0.0:9092 --list | grep check

    •  查看消费情况

    ./kafka-consumer-groups.sh --describe --bootstrap-server 127.0.0.1:9092 --group task_check_after_build_group


    参数说明:

    TOPIC

    PARTITION

    CURRENT-OFFSET

    LOG-END-OFFSET

    LAG

    CONSUMER-ID

    HOST

    CLIENT-ID

    topic名字分区id当前已消费的条数总条数未消费的条数消费id主机IP客户端id

    展开全文
  • 前面提到 Kafka 帮我们实现了各个版本的生产者代码,其实他也可以完全不提供这份代码,因为核心的队列的功能已经实现了,这些客户端的代码也可以完全交由用户自己实现。 那么假如没有官方代码,我们又该实现一些什么...

    思考

    前面提到 Kafka 帮我们实现了各个版本的生产者代码,其实他也可以完全不提供这份代码,因为核心的队列的功能已经实现了,这些客户端的代码也可以完全交由用户自己实现。

    那么假如没有官方代码,我们又该实现一些什么功能,有哪些接口,哪些方法,以及如何组织这些代码呢。带着这样的问题我们一起来思考一下!一般对于这种带有数据流转的设计,我会从 由谁产生? 什么数据? 通往哪去? 如何保证通路可靠? 这几个方面来考虑。

    消息自然是通过应用程序构造出来并提供给生产者,生产者首先要知道需要将消息发送到哪个 Broker 的哪个 Topic,以及 Topic 的具体 Partition 。那么必然需要配置客户端的 Broker集群地址 ,需要发送的 Topic 名称 ,以及 消息的分区策略 ,是指定到具体的分区还是通过某个 key hash 到不同的分区。

    知道了消息要通往哪,还需要知道发送的是什么格式的消息,是字符串还是数字或是被序列化的二进制对象。 消息序列化 将需要消息序列化成字节数组才方便在网络上传输,所以要配置生产者的消息序列化策略,最好是可以通过传递枚举或者类名的方式自动构造序列化器,便于后续序列化过程的扩展。

    消息队列常常用于多个系统之间的异步调用,那么这种调用关系就没有强实时依赖。由于发消息到 Kafka 会产生 网络 I/O ,相对来说比较耗时,那么消息发送这一动作除了同步调用, 是否也可以设置为异步,提高生产者的吞吐呢? 。并且大量消息发送场景, 我们可以设置一个窗口,窗口可以是时间维度也可以是消息数量维度,将消息积攒起来批次发送,减少网络 I/O 次数,提高吞吐量。

    最后呢为了保证消息可以最大程度的成功发送到 Broker ,我们还需要一些 失败重试机制 ,例如失败后放到重试队列中,隔一段时间尝试再次发送。

    理清思路

    通过上面的分析,我们会有一个大致的认识,应该会有哪些方法,以及底层的大致的设计会分为哪几个部分。但是不够清楚,不够明晰。

    首先总结一下实现客户端的几个要点在于:

    1. 配置 Broker 基础信息:集群地址、Topic、Partition

    2. 消息序列化,通过可扩展的序列化器实现

    3. 消息异步写入缓冲区,网络 I/O 线程实现消息发送

    4. 消息发送的失败重试机制

    话不多说,用一张图画出各个核心模块以及他们之间的交互顺序:

    image

    用户设定 Kafka 集群信息,生产者从 Kafka Broker 上拉取 可用 Kafka 节点、Topic 以及 Partition 对应关系。缓存到生产者成员变量中,如果 Broker 集群有扩容,或者有机器下线需要重新获取这些服务信息。

    客户端根据用户设置的序列化器,对消息进行序列化,之后异步的将消息写入到客户端缓冲区。缓冲区内的消息到达一定的数量或者到达一个时间窗口后,网络 I/O 线程将消息从缓冲区取走,发送到 Broker 。

    以上就是我对于一个 Kafka 生产者实现的思考,接下来看看官方的代码设计与我们的思路有何差别,他又是为什么这么设计。

    官方设计

    其实经过上面的思考和整理,我们的设计已经非常接近 Kafka 的官方设计了,官方的模块拆分的更加细致,功能更加独立。

    核心组件

    首先看一眼 KafkaProducer 类中有哪些成员变量,这些变量就是 Producer 的核心组件。

    image

    其中核心字段的解释如下:

    clinetId :标识发送者Id

    metric :统计指标

    partitioner :分区器作用是决定消息发到哪个分区。有 key 则按照 key 的 hash ,否则使用 roundrobin

    key/value Serializer :消息 key/value 序列化器

    interceptors :发送之前/后对消息的统一处理

    maxRequestSize :可以发送的最大消息,默认值是1M,即影响一个消息 Record 的大小,此值在服务端也是有限制的。

    maxBlockTimeMs :buffer满了或者等待metadata信息的,超时的补偿机制

    accumulator :累积缓冲器

    networkClient :包装的网络层

    sender :网络 I/O 线程

    发送流程

    发送一条消息的时候,数据又是怎样在这些组件之间进行流转的呢?

    image

    Producer调用 send 方法后,在从 Broker 获取的 Metadata 有效情况下,经过拦截器和序列化后,被分区器放到了一个缓冲区的特定位置,缓冲区由一个 ConcurrentHashMap 构成,key 为主题分区,value 是一个 deque 存放消息缓存块。从客户端角度来看如果无需关心发送结果,发送流程就已经结束了。

    接下来是独立的Sender线程负责从缓冲中获取足量的数据调用 Network Client 封装层去真正发送数据,这里使用了 Java8 的 NIO 网络模型发送数据。

    可以看到整个逻辑的关键点在于 RecordAccumulator 如何进行消息缓存,一般的成熟框架和中间件中都会有一套自己的内存管理机制,比如 Netty 也有一套复杂而又精妙的内存管理抽象层,这里的缓冲区也是一样的道理,主要需要去看看 Kafka 如何去做内存管理。

    另外需要关注 Sender 从缓冲里以什么样的逻辑获取数据,来达到尽量少的网络交互发送尽量多的数据。还有网络失败又是如何保证数据的可靠性的。这个地方也是我们的设计和官方实现的差距,对于网络 I/O 的精心优化。

    目前的篇幅已经比较长了,为了大家方便阅读理解,本篇主要从和大家一起思考如何设计一个 Kafka Producer 以及官方是如何实现的,我们之间的差距是什么,更需要关注的点是什么。通过自己的思考和对比更加能认识到不足学习到新的点!

    总结

    互联网大厂比较喜欢的人才特点:对技术有热情,强硬的技术基础实力;主动,善于团队协作,善于总结思考。无论是哪家公司,都很重视高并发高可用技术,重视基础,所以千万别小看任何知识。面试是一个双向选择的过程,不要抱着畏惧的心态去面试,不利于自己的发挥。同时看中的应该不止薪资,还要看你是不是真的喜欢这家公司,是不是能真的得到锻炼。其实我写了这么多,只是我自己的总结,并不一定适用于所有人,相信经过一些面试,大家都会有这些感触。

    **另外想要面试题及答案的小伙伴请点击这里自行领取,本人还整理收藏了2021年多家公司面试知识点以及各种技术点整理 **

    下面有部分截图希望能对大家有所帮助。

    ttps://gitee.com/vip204888/java-p7),本人还整理收藏了2021年多家公司面试知识点以及各种技术点整理 **

    下面有部分截图希望能对大家有所帮助。

    在这里插入图片描述

    展开全文
  • 因为项目需要,需要查看topic详情 2. 命令 查看详情参考:60-10-020-命令-kafka-topics.sh 这里可以参考:60-10-060-命令-kafka-run-class.sh 命令的使用。 2. 消费者获取 2.1 低级api 低级api也可以获取到相关信息...

    本文为博主九师兄(QQ:541711153 欢迎来探讨技术)原创文章,未经允许博主不允许转载。

    在这里插入图片描述

    1.概述

    因为项目需要,需要查看topic详情

    2. 命令

    查看详情参考:60-10-020-命令-kafka-to

    展开全文
  • kafka查看topic和消息内容命令

    万次阅读 2021-12-28 17:42:48
    1.查看topic指令 (1)cd 进入kafka安装目录 (2)执行下面指令,注意修改linux1为你的zookeeper集群对应的节点和端口(默认2181) bin/kafka-topics.sh --zookeeper linux1:2181 --list (3)实操演示 2.查看...
  • kafka消费之kafka查看topic是否有数据

    千次阅读 2020-06-28 18:26:53
    配置config文件为:server.properties 脚本在 kafka/bin路径下 启动kafka: ./kafka-server-start.sh ...查看已创建的topic列表: ./kafka-topics.sh --list --zookeeper localhost:2181 查看对应topic的描述信息: ./
  • 如何查看KafkaTopic消费情况

    千次阅读 2021-05-12 10:39:19
    温馨提示:如果使用电脑查看图片不清晰,可以使用...文档编写目的在我们的应用程序消费KafkaTopic消息时,我们会关注Topic中消息总量以及消费情况,那接下来Fayson就主要介绍下如何在CDH集群使用命令行的方式...
  • kafka查看Topic列表及消费状态等常用命令 - EdisonYao - 博客园
  • 通过kettle组件消费Kafkatopic中数据

    千次阅读 2022-02-09 16:46:19
    通过kettle消费Kafka消费者数据 环境介绍: Oracle 11g kafka2.8.0 kafka-connect-oracle kettle 9.1===用8.0的版本测试,只有输入,没有输出,可能那个地方配的有问题 1.启动 1.1启动zookeeper 1.2启动Kafka 1.3...
  • Kafka查看kafkatopic数据

    千次阅读 2022-06-30 09:21:59
    启动kafka查看已创建的topic列表:./kafka-topics.sh --list --zookeeper localhost:2181查看对应topic的描述信息: 消费消息:
  • kafka 删除topic清空数据

    千次阅读 2020-04-20 09:13:06
    一般情况下,是不会删除数据的。到达一定时间后,kafka会自动删除。如果一定要删除可以删除topic在重建topic了 No. 1: 如果需要被删除topic 此时正在被程序 produce和consume,则这些生产和消费程序需要停止。 ...
  • Kafka系列之:读取Kafka Topic中数据,根据获取的数据指定Kafka数据的stamp、key、value,再把数据写入到其他Kafka Topic中一、明确需求二、创建Kafka消费者三、消费者订阅Topic,并修改消费的偏移量四、根据想要...
  • [root@node1 bin]# ./kafka-topics.sh --zookeeper node2:2181,node3:2181,node3:2181 --create --topic topic1 --partitions 3 --replication-factor 3 Created topic "topic1". 2、用一台节点控制台来当 kafka ...
  • 数据写到kafkatopic

    千次阅读 2021-03-14 22:36:47
    package test05import java.util.Propertiesimport org.apache.kafka.clients.producer.{KafkaProducer, ProducerRecord}import org.apache.spark.rdd.RDDimport org.apache.spark.{SparkConf, SparkContext}object ...
  • kafka查看topic数据内容

    千次阅读 2021-07-29 17:45:29
    微服务架构 第1章 微服务概述 什么是微服务 常见的微服务组件 常用的微服务框架 微服务架构设计模式 如何实施微服务 从微服务的起源和现实业务的角度探讨...设计原则之 数据一致性 设计原则之设计模式 设计原则之
  • 如何清除Kafka Topic数据

    千次阅读 2022-01-21 06:36:12
    log.retention.{ms,minutes,hours}: Kafka segment log的保存周期, 默认保存7天 1. 把retention.ms 改小, 如1000ms, 即1分钟 ./kafka-configs.sh --zookeeper localhost:2181 --entity-type topics --alter --add-...
  • Java使用kafka的API来监控kafka的某些topic数据量增量,offset,定时查总量之后,然后计算差值,然后就可以算单位间隔的每个topic的增量,kafka监控一般都是监控的吞吐量,即数据量的大小,而不在意这个count,...
  • 一、kafka启动(linux环境)1、单节点启动(非集群)(1)下载kafka安装包http://kafka.apache.org/downloads,我这里下载的是kafka_2.11-2.3.0.tgz(2)解压(不需要安装,直接配置可用) tar -xzvfkafka_2.11-2.3.0.tgz(3)...
  • kafka彻底删除topic清理数据

    千次阅读 2021-12-13 11:01:16
    数据盘占满,kafka处理;删除kafkatopic,进行优化。
  • java使用kafka消费topic数据

    千次阅读 2022-03-08 15:38:00
    java使用kafka消费topic数据
  • Kafka查看topic、consumer group状态命令

    千次阅读 2020-12-24 23:32:26
    最近工作遇到需要使用kafka的场景,测试消费程序启动后,要莫名的过几十秒乃至几分钟才能成功获取到到topic的partition和offset,而后开始消费数据,于是学习了一下查看kafka broker里topic和consumer group状态的...
  • 删除kafka指定topic数据

    千次阅读 2021-12-09 16:50:13
    设置指定topic数据过期时间: ./bin/kafka-configs.sh --zookeeper localhost:2181 --entity-type topics --entity-name MARC_INSTANCE_SYNC --alter --add-config retention.ms=1000 Warning: --zookeeper is ...
  • 一、构造消费者 Properties props = new Properties(); props.put("bootstrap.servers", "10.129.10.1:9092,10.... props.put("sasl.jaas.config","org.apache.kafka.common.security.plain.PlainLoginModule " +
  • Kafka如何彻底删除topic数据

    千次阅读 2021-07-06 08:57:00
    调用kafka delete命令则无法删除该topic。取消自动闯将topic,设置 auto.create.topics.enable = false。 2、server.properties 设置 delete.topic.enable=true,否则调用kafka 的delete命令无.
  • kafka删除topic数据

    万次阅读 2019-01-29 17:34:00
    kafka删除topic数据 一、概述 生产环境,有一个topic的数据量非常大。这些数据不是非常重要,需要定期清理。 要求:默认保持24小时,某些topic 需要保留2小时或者6小时 二、清除方式 主要...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 75,055
精华内容 30,022
关键字:

kafka查看topic中的数据