精华内容
下载资源
问答
  • kafka启动不了

    2021-04-01 09:10:01
    看$KAFKA/logs/kafkaServer.out里面的内容来排查即可

    看$KAFKA/logs/kafkaServer.out里面的内容来排查即可

    展开全文
  • 生产环境使用ambari搭建集群,一台机器突然hdfs和kafka启动不了,查看错误日志如下(部分): stderr: 2019-10-31 14:39:05,949 - ***** WARNING ***** WARNING ***** WARNING ***** WARNING ***** WARNING ***** *...

    生产环境使用ambari搭建集群,一台机器突然hdfs和kafka启动不了,查看错误日志如下(部分):

    stderr:
    2019-10-31 14:39:05,949 -
    ***** WARNING ***** WARNING ***** WARNING ***** WARNING ***** WARNING *****
    ***** WARNING ***** WARNING ***** WARNING ***** WARNING ***** WARNING *****
    ***** WARNING ***** WARNING ***** WARNING ***** WARNING ***** WARNING *****
    Directory /data/hadoop/hdfs/data became unmounted from / . Current mount point: /data . Please ensure that mounts are healthy. If the mount change was intentional, you can update the contents of /var/lib/ambari-agent/data/datanode/dfs_data_dir_mount.hist.
    ***** WARNING ***** WARNING ***** WARNING ***** WARNING ***** WARNING *****
    ***** WARNING ***** WARNING ***** WARNING ***** WARNING ***** WARNING *****
    ***** WARNING ***** WARNING ***** WARNING ***** WARNING ***** WARNING *****

    Traceback (most recent call last):
    File “/var/lib/ambari-agent/cache/common-services/HDFS/2.1.0.2.0/package/scripts/datanode.py”, line 161, in
    DataNode().execute()
    File “/usr/lib/python2.6/site-packages/resource_management/libraries/script/script.py”, line 329, in execute
    method(env)
    File “/var/lib/ambari-agent/cache/common-services/HDFS/2.1.0.2.0/package/scripts/datanode.py”, line 67, in start
    datanode(action=“start”)
    File “/usr/lib/python2.6/site-packages/ambari_commons/os_family_impl.py”, line 89, in thunk
    return fn(*args, **kwargs)
    File “/var/lib/ambari-agent/cache/common-services/HDFS/2.1.0.2.0/package/scripts/hdfs_datanode.py”, line 68, in datanode
    create_log_dir=True
    File “/var/lib/ambari-agent/cache/common-services/HDFS/2.1.0.2.0/package/scripts/utils.py”, line 275, in service
    Execute(daemon_cmd, not_if=process_id_exists_command, environment=hadoop_env_exports)
    File “/usr/lib/python2.6/site-packages/resource_management/core/base.py”, line 166, in init
    self.env.run()
    File “/usr/lib/python2.6/site-packages/resource_management/core/environment.py”, line 160, in run
    self.run_action(resource, action)
    File “/usr/lib/python2.6/site-packages/resource_management/core/environment.py”, line 124, in run_action
    provider_action()
    File “/usr/lib/python2.6/site-packages/resource_management/core/providers/system.py”, line 262, in action_run
    tries=self.resource.tries, try_sleep=self.resource.try_sleep)
    File “/usr/lib/python2.6/site-packages/resource_management/core/shell.py”, line 72, in inner
    result = function(command, **kwargs)
    File “/usr/lib/python2.6/site-packages/resource_management/core/shell.py”, line 102, in checked_call
    tries=tries, try_sleep=try_sleep, timeout_kill_strategy=timeout_kill_strategy)
    File “/usr/lib/python2.6/site-packages/resource_management/core/shell.py”, line 150, in _call_wrapper
    result = _call(command, **kwargs_copy)
    File “/usr/lib/python2.6/site-packages/resource_management/core/shell.py”, line 303, in _call
    raise ExecutionFailed(err_msg, code, out, err)
    resource_management.core.exceptions.ExecutionFailed: Execution of ‘ambari-sudo.sh su hdfs -l -s /bin/bash -c ‘ulimit -c unlimited ; /usr/hdp/current/hadoop-client/sbin/hadoop-daemon.sh --config /usr/hdp/current/hadoop-client/conf start datanode’’ returned 1. starting datanode, logging to /data/log/hadoop/hdfs/hadoop-hdfs-datanode-siger-slave01.shunfeng.com.out

    网上看了各种办法,比如

    /var/lib/ambari-agent/data/datanode/dfs_data_dir_mount.hist
    该文件存储每个hdfs文件夹的最后一个安装点。在您的情况下,您似乎正在尝试将HDFS文件夹挂载在不同的路径上,因此datanode不会启动以防止数据丢失。修复文件以指向新的安装点并启动datanode。

    然而查看后三个文件都一样,没什么问题
    继续回头看日志,一行

    /usr/hdp/current/hadoop-client/sbin/hadoop-daemon.sh: 第 183 行:echo: 写错误: 设备上没有空间

    立马查看磁盘空间
    在这里插入图片描述
    查看以后是zookeeper的out.log占用大量空间
    /var/log/zookeeper/zookeeper-zookeeper-server-xxx.out

    展开全文
  • kafka启动不了,报错 Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer) org.apache.kafka.common.errors.CorruptRecordException: Found record size 0 smaller than ...

    kafka启动不了,报错

    Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer)
    org.apache.kafka.common.errors.CorruptRecordException: Found record size 0 smaller than minimum record overhead (14) in file /tmp/kafka-logs/__consumer_offsets-17/00000000000048810987.log.
    

    解决方案:把对应目录的offsets日志删掉

    展开全文
  • 运行在kubernetes里的kafka集群有一个broker节点频繁的重启,查看日志发现有WARN,Found a corrupted index file due to requirement failed: Corrupt index found由于暂时知道如何去查看对应的挂载卷里的内容,...
    f9f86d2e09dfa1fd066f5765d3aa4094.png

    运行在kubernetes里的kafka集群有一个broker节点频繁的重启,查看日志发现有WARN,Found a corrupted index file due to requirement failed: Corrupt index found

    691871e59005496d68bcd945ee0da004.png

    由于暂时不知道如何去查看对应的挂载卷里的内容,只能删除pod,新的pod启动之后通过kubectl exec -it kafka-xx bin/bash 登陆到容器里,查找对应的kafka data log文件

    删除*.index 和*.timeindex

    find -name "*.index" -exec rm -rf {} ; find -name "*.timeindex"  -exec rm -rf {} ;

    然后再快速重启kafka的pod或者删除pod

    通过kubectl logs -f kafka-xx -n kafka 查看kafka的日志输出,可以看到kafka在rebuilding index

    完成之后,kafka就成功启动并加入集群。

    出现此问题一般情况是Kafka Brokenr非正常关闭停止,导致索引损坏。

    展开全文
  • kafka could not be established. Broker may not be available kafka启动报错 我查到的解决方法: 修改server.properties配置文件 ...解决不了问题啊,最后我试了各种方法,甚至导致我的kafka启动不了了,最后
  • kafka节点启动不了

    2020-10-12 15:54:53
    肯定是复制过去的server.properties没有修改里面的brokerid,这个在每个节点是一样的
  • kafka启动异常

    千次阅读 2019-07-26 22:32:31
    kafka启动异常 一、描述 由于在安装时有重装过,启动kafka时报broker的id对上。 二、图解 三、问题解决思路 由于当时只是报了启动失败。。。。 1.查看启动日志,发现日志中报了一个broker的id对上错误 四、实际...
  • Kafka作为分布式消息系统以其轻量级、可扩展、高通吐等特点而得到广泛应用,最近在项目中用Kafka作为中间件进行数据交互。为了监控Kafka的运行情况,在网上找了个开源的Kafka监控工具Kafka-manager对Kafka集群监控。...
  • 开始:首先在windows下启动kafka启动方法如下:首先下载kafka,zookeeper安装包:修改下为你配置的文件路径修改如图文件zookeeper启动:复制下面那个配置文件,重命名为zoo.cnf,然后启动就可以了在启动kafka知道为什么...
  • 安装zookeeper,启动zookeeper后,kafka无法启动,报以下错误:[2019-08-07 15:24:03,002] ERROR [KafkaServer id=0] Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer)java...
  • 一、kafka启动(linux环境) 1、单节点启动(非集群) (1)下载kafka安装包http://kafka.apache.org/downloads,我这里下载的是kafka_2.11-2.3.0.tgz (2)解压(需要安装,直接配置可用) tar -xzvfkafka_...
  • kafka启动源码记录

    2019-06-21 12:16:07
    kafka启动命令: bin/kafka-server-start.sh -daemon config/server.properties 主要用到kafka-server-start.sh脚本和server.properties配置文件 查看kafka-server-start.sh寻找入口,可看到最后一行,猜测kafka....
  • 为了复制一台虚拟机,把CentOS关闭了,重启后,再启动集群出现了一个问题Kafka启动后,马上又关闭,具体报错如下: 2.思考 大致搂了一眼后,发现应该是客户端连接出了问题,启动kafka需要zookeeper的支持,因为我...
  • kafka_exporter Kafka exporter for Prometheus. For other metrics from Kafka, have a look at the JMX exporter. Table of Contents Compatibility Dependency Download Compile Build Binary Build Docker ...
  • kafka启动不了,查看日志,发现报错: 环境说明:我在server.properties里配置log位置在/home/hadoop/log里,所以下面报错指向的位置都在这里,这个可能和读者的不一致。 ERROR Error while deleting the clean ...
  • 1.1 Kafka的单节点部署在实际的工作中,经常使用Kafka作为消息队列,然而并不是每一种业务场景都需要集群版的Kafka,有时单节点的Kafka就能满足了业务的需求。以下就是单节点kafka的部署流程:1.1.1安装包下载从...
  • kafka启动报错处理

    千次阅读 2018-06-07 19:44:20
    启动zookeeper之后,顺势启动kafka之后,报错如下:问题分析: 原因:zookeeper的配置文件zoo.cfg中配置了三台机器的zookeeper集群。我只启动了一台机器,这时zookeeper就默认集群处于可用状态。zookeeper的选举...
  • 启动后,访问localhost:8048/ke 后,显示登录页面,请问下用户名和密码要在哪里配置么?本地mysql中也有新建ke库。下面是我的配置,还请帮忙看下,...kafka cluster list######################################ka...
  • 报错日志如下,groupId=MyGroupId时可以正常连接,但是groupId=etl时就连接到报错了,麻烦大神看看,如果需要别的相关文件窝在提供,在线等,给跪了 ``` _ _ _ _ _ _ __ _ ___ ____ | | | (_) | | | | (_)/ _|...
  • 文章目录 特性 流程 Topic Broker Replica 搭建kafka 启动配置 start zoo start kafka Server.properties 报错...导致kafka启动不起来. 启动了,也自己停掉 信息解读 在启动 kafka 成功之后,会弹出 KafKaConfig 的数据
  • Kafka启动后很快自动关闭进程

    千次阅读 2019-01-05 19:16:36
    今天kafka启动之后,刚开始输入jps还有进程,大概几秒钟一会儿就关闭了,我这边是-daemon守护进程的方式启动的,到kafka下面的logs文件夹查看server.log日志发现了报错 [2019-01-05 11:02:00,473] INFO Unable ...
  • kafka win启动

    2020-11-28 10:02:07
    命令太长,语法正确:把kafka的目录从桌面移到别处,因为目录层级太深或者是目录名字太长导致的。比如放到D盘根目录下,这样就OK了。 先启动zookeeper zookeeper-server-start.bat ../../config/zookeeper....
  • kafka下载地址 2. 下载完成后,想要运行kafka需先运行ZooKeeper服务器,下载好的Kafka内置了一个ZooKeeper服务器以及一组相关的管理脚本,打开cmd终端,运行zookeeper服务器。 D:\kafka_2.12-2.3.1\bin\windows\...
  • 背景在 2 月10 号下午大概 1 点半左右,收到用户方反馈,发现日志 kafka 集群 A 主题 的 34 分区选举不了 leader,导致某些消息发送到该分区时,会报如下 no leader 的错误信息:In the middle of a leadership ...
  • java 的环境变量都配置好了,自己写个java程序也能运行,就是启动zookeeper启动不了
  • 参照我之前的一篇博文Kafka学习之(二)Centos下安装Kafka安装了kafka启动,状况并像我之前最初的预期,报错了,并且我在当前Linux环境下安装的Java版本、Kafka版本都是和之前博文一样的,第一感觉难道是因为...
  • 我遇到这个问题一天多了,各种找办法解决,百度谷歌...打开kafka-run-class.bat文件,目录啥的就提了。 还是说一下吧,进入kafka目录kafka\bin\windows,打开上面说到的这个文件。 Ctrl+F:查找rem Which java t...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 465
精华内容 186
关键字:

kafka启动不了