精华内容
下载资源
问答
  • kafka启动后自动关闭

    2019-07-04 15:57:00
    今天已经安装了zookeeper,我尝试启动kafka,但是启动之后他会立马关闭. 于是我就查看日志,发现了这么一条信息 Opening socket connection to server localhost/127.0.0.1:2182. Will not attempt to authenticate...

    今天已经安装了zookeeper,我尝试启动kafka,但是启动之后他会立马关闭.
    于是我就查看日志,发现了这么一条信息

    Opening socket connection to server localhost/127.0.0.1:2182. Will not attempt to authenticate using SASL (unknown error) (org.apache.zookeeper.ClientCnxn)

    很明显,跟zookeeper建立不了连接,于是我试了一下zkCli.sh,是可以调的通的.
    这就比较尴尬了.在网上查了半天,也没查到有用的结果.
    盯着配置文件看了半天,既然是zookeeper连不上,那我就修改一下zookeeper相关的配置

    zookeeper.connect=localhost:2181,localhost:2182,localhost:2183

    我把这里的localhost都改为了127.0.0.1,奇迹发生了.成功启动了,而且也没有自动关闭.
    我很诧异,就看了一下/etc/hosts,也没看出来什么问题.

    127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
    ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6

    麻烦谁知道原因的提点几句,谢谢.

     

    截止7月15号,还没有解决

    不过我在WSL上搭建了一下kafka伪集群,发现可以用,不会自动kill

    只能认为是我买的阿里云服务器配置太低了,互相挤啊挤啊就挤没了 ┓( ´∀` )┏

    转载于:https://www.cnblogs.com/tyoutetu/p/11132956.html

    展开全文
  • 由于 Kafka 依赖于 ZooKeeper,启动后要去 ZooKeeper 中注册。因此开启服务的时候,是先开 ZooKeeper 后开 Kafka,而关闭服务的时候,是先关 Kafka 后关 ZooKeeper。注意这里 Kafka 关闭服务的时间较长,如果还未...


    前言

    我们在启动 Kafka 集群服务时,通过 jps 命令查不到 kafka 服务进程。或者在 Kafka 集群中创建 topic 时,报错replication factor: 1 larger than available brokers: 0。都是由于 Kafka 服务无法启动或者启动后自动关闭导致的。

    • 可先尝试使用守护进程模式启动 Kafka:kafka-server-start.sh -daemon config/server.properties
    • 首先检查一下所有节点的 ZooKeeper 服务是否可以正常启动,尤其是myid的配置千万不能一样。
    • 然后检查一下 Kafka 的配置文件server.properties。第一个配置参数,每个 Kafka 节点的broker.id不能相同。第二个配置参数,通过 ZooKeeper 连接 Kafka 集群需要在localhost:port后面加上/kafka,并且在创建 topic 时也需要加上:kafka-topics.sh --create --topic sgapp122_log --zookeeper master01:2181/kafka --partitions 3 --replication-factor 2
    [root@master01 ~]# cd /opt/software/spark/kafka241/config
    [root@master01 config]# vi server.properties
    

    在这里插入图片描述
    在这里插入图片描述


    关于Kafka&ZooKeeper

    • 由于 Kafka 依赖于 ZooKeeper,启动后要去 ZooKeeper 中注册。因此开启服务的时候,是先开 ZooKeeper 后开 Kafka,而关闭服务的时候,是先关 Kafka 后关 ZooKeeper。注意这里 Kafka 关闭服务的时间较长,如果还未等到集群中的 Kafka 全部关闭,就去关闭 ZooKeeper,或者是先关了 ZooKeeper再关 Kafka,则有可能引发下次 Kafka 启动后自动关闭的问题。这是因为 Kafka 在退出服务的时候,会把 ZooKeeper 下的/kafka/brokers/ids里的临时节点删掉,但如果是 ZooKeeper 先退出就不会删除。当下次启动时,Kafka 再用 id 去注册,发现已经存在了,所以会导致启动失败。

    关于__consumer_offsets

    • 由于 ZooKeeper 并不适合大批量的频繁写入操作,新版 Kafka 将consumer的位移信息保存在 Kafka 内部的topic中,即__consumer_offsets topic,并且默认提供了kafka_consumer_groups.sh脚本供用户查看consumer的信息。
    • __consumer_offsets作为 Kafka 的内部 topic,用来保存消费组元数据以及对应提交的offset信息。每次消费者消费完一批数据需要标记这批数据被消费掉时,需要将消费的偏移量即offset提交掉,这个提交过程其实就是将offset信息写入__consumer_offsets的过程。
    • 一般情况下,当集群中第一次有消费者拉取数据时会自动创建__consumer_offsets。首先在offsets.topic.replication.factor配置的值(副本因子,默认值为1)和当前可用的 brokers 个数中取最小值作为__consumer_offsets的副本数,offsets.topic.num.partitions作为分区数(默认值为50),然后创建__consumer_offsets
    • 考虑到一个 Kafka 生产环境中可能有很多consumerconsumer group,如果这些consumer同时拉去数据并提交offset,必将加重__consumer_offsets的写入负载,因此 Kafka 默认为该topic创建了50个分区,并且对每个group.id做哈希求模运算Math.abs(groupID.hashCode()) % numPartitions,从而将负载分散到不同的__consumer_offsets分区上。
    • __consumer_offsets的每条消息可以看成是K/V格式的消息,其中 key 就是一个三元组:group.id+topic+partition,而 value 就是offset的值。
      在这里插入图片描述

    解决办法

    • 找到 ZooKeeper 根目录下,用来存放myid文件的文件夹mydata,这个是自己创建的,可能名字会不同。进入mydata之后,删除文件夹version-2。可以把所有节点的都删除,下次启动时会自动创建。
    [root@master01 ~]# cd /opt/software/hadoop/zookeeper357/mydata
    [root@master01 mydata]# ls
    myid  version-2
    [root@master01 mydata]# rm -rf version-2
    
    • 重新建立索引:找到Kafka根目录下,用来存放日志文件的文件夹kfklogs,对应的是配置文件server.properties里的log.dirs=/opt/software/spark/kafka241/kfklogs,这个也是自己创建的,名字可能会不同。将所有节点的日志文件夹kfklogs删除重新创建。
    [root@master01 ~]# cd /opt/software/spark/kafka241/
    [root@master01 kafka241]# ls
    bin  config  kfklogs  libs  LICENSE  logs  NOTICE  site-docs
    [root@master01 kafka241]# rm -rf kfklogs
    [root@master01 kafka241]# mkdir kfklogs
    
    • 删除brokers:进入 ZooKeeper 客户端删除 Kafka。集群所有节点的 ZooKeeper 服务都需要启动,删除操作只需在一个节点上操作即可。
    [root@master01 ~]# zkCli.sh
    [zk: localhost:2181(CONNECTED) 0] ls /
    [kafka,zookeeper]
    [zk: localhost:2181(CONNECTED) 1] deleteall /kafka
    
    • 最后关闭 ZooKeeper 重启,再开启 Kafka。
    展开全文
  • hostname --pretty hostnamectl set-hostname --transient 3、更新/etc/hosts vim /etc/hosts 例:更新的内容如下 127.0.0.1 hadoopStudy ::1 hadoopStudy 二、kafa启动后自动关闭解决 可能造成的原因之一:Kafka与...

     

    一、centos7关于主机名的操作:

    1、查看主机名

    //查看一下当前主机名的情况,查看全部三种主机名
    hostnamectl
     
    //或者,查看全部三种主机名
    hostnamectl status
     
    //只查看静态、瞬态或灵活主机名,分别使用--static,--transient或--pretty选项
    [root@wuhao ~]# hostnamectl --static
     
    xh00
    [root@wuhao ~]# hostnamectl --transient
     
    xh01
    [root@wuhao ~]# hostnamectl --pretty
     
     
    //或者,查看到的是瞬态的(Tansient hostname)
    hostname
     
    //或者查看主机名配置文件,查看到的是静态的(Static hostname)
    cat /etc/hostname

    2、修改主机名(永久生效)

    //永久性的修改主机名称,重启后能保持修改后的。
    hostnamectl set-hostname xxx    
    
    hostnamectl set-hostname --static
    hostnamectl set-hostname --pretty
    hostnamectl set-hostname --transient

    例如:

    hostnamectl set-hostname hadoopStudy  
    
    hostnamectl set-hostname --static
    hostnamectl set-hostname --pretty
    hostnamectl set-hostname --transient

    3、更新/etc/hosts

    vim /etc/hosts

     例:更新的内容如下

    127.0.0.1  hadoopStudy
    ::1  hadoopStudy

    二、kafa启动后自动关闭解决

    可能造成的原因之一:Kafka与zookeeper无法连接上。

    我的解决方法:

    查看三个内容:1)查看主机名中是否有主机与ip地址的映射

     vim  /etc/hosts

    127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
    ::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
    
    
    192.168.133.101 hadoopStudy hadoopStudy.hadoop.com
    192.168.133.102 hadoopStudy2 hadoopStudy2.hadoop.com
    192.168.133.103 hadoopStudy3 hadoopStudy3.hadoop.com
    

    注:使用如下表示

    127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
    ::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

    2)查看zookeeper中文件zoo.cfg是否关联集群中的主机,

    vim zoo.cfg

    如下所示:

    server.1=hadoopStudy:2888:3888
    server.2=hadoopStudy2:2888:3888
    server.3=hadoopStudy3:2888:3888
    

    3)查看Kafka中文件server.properties是否设置zookeeper连接

    vim server.properties

    如下所示:

    zookeeper.connect=hadoopStudy:2181,hadoopStudy2:2181,hadoopStudy3:2181
    

    注:要查看相应的文件,首先要到指定的路径下,然后才能编写文件内容。

    三、kafka消费者启动失败

    启动消费者时错误日志信息如下:

     [2020-07-18 16:27:06,667] WARN Fetching topic metadata with correlation id 1 for topics [Set(four)] from broker [BrokerEndPoint(3,hadoopStudy3,9092)] failed (kafka.client.ClientUtils$)
    java.nio.channels.ClosedChannelException
        at kafka.network.BlockingChannel.send(BlockingChannel.scala:112)
        at kafka.producer.SyncProducer.liftedTree1$1(SyncProducer.scala:80)
        at kafka.producer.SyncProducer.kafka$producer$SyncProducer$$doSend(SyncProducer.scala:79)
        at kafka.producer.SyncProducer.send(SyncProducer.scala:124)
        at kafka.client.ClientUtils$.fetchTopicMetadata(ClientUtils.scala:61)
        at kafka.client.ClientUtils$.fetchTopicMetadata(ClientUtils.scala:96)
        at kafka.consumer.ConsumerFetcherManager$LeaderFinderThread.doWork(ConsumerFetcherManager.scala:68)
        at kafka.utils.ShutdownableThread.run(ShutdownableThread.scala:64)

    解决方法:配置主机名与ip地址的映射

    vim /etc/hosts  进入配置,配置内容根据你当前主机的ip和主机名写入,例如下所示,

    192.168.133.101 hadoopStudy hadoopStudy.hadoop.com
    192.168.133.102 hadoopStudy2 hadoopStudy2.hadoop.com
    192.168.133.103 hadoopStudy3 hadoopStudy3.hadoop.com


     

    展开全文
  • Kafka启动后很快自动关闭进程

    千次阅读 2019-01-05 19:16:36
    今天kafka启动之后,刚开始输入jps还有进程,大概几秒钟不一会儿就关闭了,我这边是-daemon守护进程的方式启动的,到kafka下面的logs文件夹查看server.log日志发现了报错 [2019-01-05 11:02:00,473] INFO Unable ...

    今天kafka启动之后,刚开始输入jps还有进程,大概几秒钟不一会儿就关闭了,我这边是-daemon守护进程的方式启动的,到kafka下面的logs文件夹查看server.log日志发现了报错

    [2019-01-05 11:02:00,473] INFO Unable to read additional data from server sessionid 0x0, likely server has closed socket, closing socket connection and attempting reconnect (org.apache.zookeeper.ClientCnxn)
    [2019-01-05 11:02:01,410] INFO Opening socket connection to server slave2/192.168.116.12:2181. Will not attempt to authenticate using SASL (unknown error) (org.apache.zookeeper.ClientCnxn)
    [2019-01-05 11:02:01,412] INFO Socket connection established to slave2/192.168.116.12:2181, initiating session (org.apache.zookeeper.ClientCnxn)
    [2019-01-05 11:02:01,423] INFO Unable to read additional data from server sessionid 0x0, likely server has closed socket, closing socket connection and attempting reconnect (org.apache.zookeeper.ClientCnxn)
    [2019-01-05 11:02:02,343] INFO Opening socket connection to server master/192.168.116.10:2181. Will not attempt to authenticate using SASL (unknown error) (org.apache.zookeeper.ClientCnxn)
    [2019-01-05 11:02:02,344] INFO Socket connection established to master/192.168.116.10:2181, initiating session (org.apache.zookeeper.ClientCnxn)
    [2019-01-05 11:02:02,345] INFO Unable to read additional data from server sessionid 0x0, likely server has closed socket, closing socket connection and attempting reconnect (org.apache.zookeeper.ClientCnxn)
    [2019-01-05 11:02:04,115] INFO Opening socket connection to server slave1/192.168.116.11:2181. Will not attempt to authenticate using SASL (unknown error) (org.apache.zookeeper.ClientCnxn)
    [2019-01-05 11:02:04,116] INFO Socket connection established to slave1/192.168.116.11:2181, initiating session (org.apache.zookeeper.ClientCnxn)
    [2019-01-05 11:02:04,119] INFO Unable to read additional data from server sessionid 0x0, likely server has closed socket, closing socket connection and attempting reconnect (org.apache.zookeeper.ClientCnxn)
    [2019-01-05 11:02:05,132] INFO Opening socket connection to server slave2/192.168.116.12:2181. Will not attempt to authenticate using SASL (unknown error) (org.apache.zookeeper.ClientCnxn)
    [2019-01-05 11:02:05,134] INFO Socket connection established to slave2/192.168.116.12:2181, initiating session (org.apache.zookeeper.ClientCnxn)
    [2019-01-05 11:02:05,137] INFO Unable to read additional data from server sessionid 0x0, likely server has closed socket, closing socket connection and attempting reconnect (org.apache.zookeeper.ClientCnxn)
    [2019-01-05 11:02:05,854] INFO Opening socket connection to server master/192.168.116.10:2181. Will not attempt to authenticate using SASL (unknown error) (org.apache.zookeeper.ClientCnxn)
    [2019-01-05 11:02:05,855] INFO Socket connection established to master/192.168.116.10:2181, initiating session (org.apache.zookeeper.ClientCnxn)
    [2019-01-05 11:02:05,857] INFO Unable to read additional data from server sessionid 0x0, likely server has closed socket, closing socket connection and attempting reconnect (org.apache.zookeeper.ClientCnxn)
    [2019-01-05 11:02:06,460] INFO Terminate ZkClient event thread. (org.I0Itec.zkclient.ZkEventThread)
    [2019-01-05 11:02:06,918] INFO EventThread shut down for session: 0x0 (org.apache.zookeeper.ClientCnxn)
    [2019-01-05 11:02:06,918] INFO Session: 0x0 closed (org.apache.zookeeper.ZooKeeper)
    [2019-01-05 11:02:06,920] FATAL Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer)
    org.I0Itec.zkclient.exception.ZkTimeoutException: Unable to connect to zookeeper server 'master:2181,slave1:2181,slave2:2181' with timeout of 6000 ms
            at org.I0Itec.zkclient.ZkClient.connect(ZkClient.java:1233)
            at org.I0Itec.zkclient.ZkClient.<init>(ZkClient.java:157)
            at org.I0Itec.zkclient.ZkClient.<init>(ZkClient.java:131)
            at kafka.utils.ZkUtils$.createZkClientAndConnection(ZkUtils.scala:115)
            at kafka.utils.ZkUtils$.withMetrics(ZkUtils.scala:92)
            at kafka.server.KafkaServer.initZk(KafkaServer.scala:346)
            at kafka.server.KafkaServer.startup(KafkaServer.scala:194)
            at kafka.server.KafkaServerStartable.startup(KafkaServerStartable.scala:38)
            at kafka.Kafka$.main(Kafka.scala:92)
            at kafka.Kafka.main(Kafka.scala)
    [2019-01-05 11:02:06,928] INFO shutting down (kafka.server.KafkaServer)

    我是一共有三台机器,输入jps发现每台机器的zookeeper都有进程在啊。在kafka配置摸索半天也没有结果,百度有人说kafka的server.properties和logs下面的meta.properties里面的broker Id要一样,我就把logs目录清空了,还是一样的问题。后来一想,难道是zookeeper的问题?

    我就去看zookeeper的配置,果然发现了问题了。。原来是两台机器的myid配置成一样的数字的,把其中一台机器的myid换个数字(不能是0),结果成功了。

     

     

    展开全文
  • kafak的config/server.properties,查看broker.id是否唯一,不能和其他节点的相同。修改成唯一值即可。 同理,zookeeper的myid在设置时也是唯一
  • kafka启动之后,一段时间后自动关闭

    千次阅读 2020-02-03 20:31:41
    kafka启动之后,一段时间后自动关闭 kafka启动之后,一段时间后自动停止,出现这种情况一般是没有使用守护进程 -daemon 启动kafka。 [cluster@hadoop102 kafka_2.11-0.11.0.2]$ bin/kafka-server-start.sh -daemon ...
  • kafka启动几秒种后自动关闭

    千次阅读 2019-10-22 19:17:11
    查看kafka目录下logs/server.log会发现里面有如下报错信息 人生建议:今天早点休息了 报错原因:zookeeper未启动
  • Kafka自动关闭问题

    万次阅读 2016-08-21 18:26:20
    Kafka启动一段时间,如果出现服务自动关闭情况,可在启动kafka的时使用守护进程模式启动,即在原启动命令中加 -daemon kafka-server-start.sh -daemon config/server.properties & 原因参考: kafka-run-...
  • 情况1:使用官方文档上的命令启动,ctrl+c退出,服务进程关闭。 bin/kafka-server-start.sh config/server.properties 情况2:增加&符后台允许,ctrl+c进程存在,但是退出服务器控制台,服务进程关闭。 ...
  • 如上如可以看到,hadoop103中的kafka没有启动,因为我是使用群起脚本启动的,我不是很确定到底是没有启动还是启动完成后自动关闭了,所以我一个个启动,进行测试,我先启动start-dfs.sh ,在启动zookeeper,然后在启动kafka...
  • 我看网上很多说是 Kafka启动一段时间,如果出现服务自动关闭情况,可在启动kafka的时使用守护进程模式启动,即在原启动命令中加 -daemonnohup /home/kafka_2.11-1.0.0/bin/kafka-server-start.sh -daemon /home/...
  • kafka 总是在启动一段时间后自动关闭,区间大概是 2.3h~3h 之间。kafka server log 没有错误抛出,log 和正常关闭一模一样。kafka-server.log:[2016-01-11 12:15:06,435] INFO Verifying properties (kafka.utils....
  • Kafka大量连接断开重连问题解决

    千次阅读 2018-12-19 16:11:09
    问题名称 Kafka大量连接断开重连 关键词 Kafka,大量连接断开重连 问题场景 ...检查日志分析系统数据流,发现Kafka出现问题,Zookeepeer自动关闭。重新启动zookeeper,数据无法从Kafka至L...
  • 在Java中,我们一般通过集成Thread类和实现Runnnable接口,调用线程的start()方法实现线程的启动。但如果并发的数量很多,而且每个线程都是执行很短的时间便结束了,那样频繁的创建线程和销毁进程会大大的降低系统...
  • FAQ(持续更新)

    2021-01-08 12:27:51
    我们并不自动为用户解码chunked编码,而是返回原始body。解码chunked编码可以用HttpChunkCursor,例如: ~~~cpp <h1>include "workflow/HttpUtil.h" <p>void http_callback(WFHttpTask ...
  • │ ├─代码生成器功能(一键生成前后端代码,生成无需修改直接用,绝对是后端开发福音) │ ├─代码生成器模板(提供4套模板,分别支持单表和一对多模型,不同风格选择) │ ├─代码生成器模板(生成代码,自带...

空空如也

空空如也

1 2
收藏数 24
精华内容 9
关键字:

kafka启动后自动关闭