精华内容
下载资源
问答
  • centos7下hadoop3.0.3 hdfs状态查看命令

    千次阅读 2018-07-09 16:37:42
    centos7下hadoop3.0.3 hdfs状态查看命令 查看安全模式状态 hdfs dfsadmin -safemode get 通过命令来查看NameNode的状态(是Active还是Standby) hdfs haadmin -getServiceState nn1 hdfs haadmin -...

    centos7下hadoop3.0.3 hdfs状态查看命令

    查看安全模式状态
    hdfs dfsadmin -safemode get

    通过命令来查看NameNode的状态(是Active还是Standby)
    hdfs haadmin -getServiceState nn1
    hdfs haadmin -getServiceState nn2
    hdfs haadmin -getServiceState nn3

    查看zookeeper集群状态
    runRemoteCmd.sh “zkServer.sh status” all

    展开全文
  • 端口查看hadoop hbase和hdfs状态

    千次阅读 2014-03-31 22:10:19
    通过以下端口查看hadoop hbase和hdfs状态 hadoop administration : http://localhost:50030 hdfs namenode: http://localhost:50070 hbase reginserver: http://localhost:60030

    通过以下端口查看hadoop hbase和hdfs状态

    hadoop administration :     http://localhost:50030

    hdfs namenode:              http://localhost:50070

    hbase reginserver:          http://localhost:60030

    展开全文
  • 检查HDFS状态

    2020-04-29 09:29:08
    如何查看当前的hdfs的块的状态 hadoop1.x时候的命令,hadoop2.x也可使用: hadoop fsck / 在hadoop2.0之后,可以使用新命令: hdfs fsck / [root@node01 ~]# su hdfs -c "hadoop fsck /" WARNING: Use of this s.....

    hadoop集群运行过程中,节点的块状态或者上下线节点时集群都会受影响。

    如何查看当前的hdfs的块的状态

    hadoop1.x时候的命令,hadoop2.x也可使用:

    hadoop fsck /
    

    在hadoop2.0之后,可以使用新命令:

    hdfs fsck /
    
    [root@node01 ~]# su hdfs -c "hadoop fsck /"
    WARNING: Use of this script to execute fsck is deprecated.
    WARNING: Attempting to execute replacement "hdfs fsck" instead.
    
    Connecting to namenode via http://node01:9870/fsck?ugi=hdfs&path=%2F
    FSCK started by hdfs (auth:SIMPLE) from /192.168.1.81 for path / at Wed Apr 29 09:19:27 CST 2020
    
    Status: HEALTHY
     Number of data-nodes:	3
     Number of racks:		1
     Total dirs:			1884
     Total symlinks:		0
    
    Replicated Blocks:
     Total size:	387368629 B
     Total files:	85
     Total blocks (validated):	85 (avg. block size 4557277 B)
     Minimally replicated blocks:	85 (100.0 %)
     Over-replicated blocks:	0 (0.0 %)
     Under-replicated blocks:	0 (0.0 %)
     Mis-replicated blocks:		0 (0.0 %)
     Default replication factor:	3
     Average block replication:	3.0
     Missing blocks:		0
     Corrupt blocks:		0
     Missing replicas:		0 (0.0 %)
     Blocks queued for replication:	0
    
    Erasure Coded Block Groups:
     Total size:	0 B
     Total files:	0
     Total block groups (validated):	0
     Minimally erasure-coded block groups:	0
     Over-erasure-coded block groups:	0
     Under-erasure-coded block groups:	0
     Unsatisfactory placement block groups:	0
     Average block group size:	0.0
     Missing block groups:		0
     Corrupt block groups:		0
     Missing internal blocks:	0
     Blocks queued for replication:	0
    FSCK ended at Wed Apr 29 09:19:28 CST 2020 in 542 milliseconds
    
    
    The filesystem under path '/' is HEALTHY
    
    

    参数说明:

    • Total size : hdfs集群存储大小,不包括复本大小。如:75423236058649 B (字节)。(字节->KB->m->G->TB,75423236058649/1024/1024/1024/1024=68.59703358591014TB)

    • Total blocks (validated) : 总共的块数量,不包括复本。(5363690 (avg. block size 14061818 B) (Total open file blocks (not validated): 148),计算: 14061818 *5363690=75423232588420 集群的容量大小,不包括复本的)

    • Number of data-nodes : datanode的节点数量

    • Number of racks : 机架数量

    • Default replication factor : 默认的复制因子

    • Average block replication : 当前块的平均复制数,如果小 default replication factor,则有块丢失

    • Under-replicated blocks : 正在复制块数量,可采用 hadoop fsck -blocks 解决问题

    • Mis-replicated blocks : 正复制的缺少复制块的数量

    • Missing replicas : 缺少复制块的数量,通常情况下Under-replicated blocks\Mis-- replicated blocks\Missing replicas 都为0,则集群健康,如果不为0,则缺失块了

    • Corrupt blocks : 坏块的数量,这个值不为0,则说明当前集群有不可恢复的块,即数据有丢失了

    当下架节点时Under-replicated blocks\Mis-replicated blocks\Missing replicas,这三个参数会显示当前,需要补的块的数量,集群会自动补全,当三个参数都为0时,则集群块的复制块完全了。

    • 检测缺失块
    [root@node01 ~]# su hdfs -c "hdfs fsck -list-corruptfileblocks"
    Connecting to namenode via http://node01:9870/fsck?ugi=hdfs&listcorruptfileblocks=1&path=%2F
    The filesystem under path '/' has 0 CORRUPT files
    
    [root@node01 ~]# su hdfs -c "hdfs fsck / | egrep -v '^\.+$' | grep -v eplica"
    Connecting to namenode via http://node01:9870/fsck?ugi=hdfs&path=%2F
    FSCK started by hdfs (auth:SIMPLE) from /192.168.1.81 for path / at Wed Apr 29 09:27:20 CST 2020
    
    Status: HEALTHY
     Number of data-nodes:	3
     Number of racks:		1
     Total dirs:			1890
     Total symlinks:		0
    
     Total size:	387368629 B
     Total files:	85
     Total blocks (validated):	85 (avg. block size 4557277 B)
     Missing blocks:		0
     Corrupt blocks:		0
    
    Erasure Coded Block Groups:
     Total size:	0 B
     Total files:	0
     Total block groups (validated):	0
     Minimally erasure-coded block groups:	0
     Over-erasure-coded block groups:	0
     Under-erasure-coded block groups:	0
     Unsatisfactory placement block groups:	0
     Average block group size:	0.0
     Missing block groups:		0
     Corrupt block groups:		0
     Missing internal blocks:	0
    FSCK ended at Wed Apr 29 09:27:20 CST 2020 in 96 milliseconds
    
    
    The filesystem under path '/' is HEALTHY
    
    
    展开全文
  • HDFS

    万次阅读 2020-10-09 07:53:19
    HDFS HDFS全称 Hadoop Distribute File System 即 Hadoop分布式文件系统

    HDFS全称 Hadoop Distribute File System 即 Hadoop分布式文件系统

    主要作用

    即存储海量数据
    为什么能存储海量数据??
    因为其空间大,空间大的原因为服务器多、磁盘多。且支持扩展

    组成部分

    管理者-Master NameNode 集群中有1~2个,用于管理集群中的工作者
    工作者-Slave DateNode 集群中有多个,正真存储和计算数据组件
    辅助管理 SecondaryNameNode 辅助管理者工作

    HDFS存储数据方式

    以数据块的方式存储数据。默认一个数据块128M,该数值可以修改
    注意:这里的128仅仅是切分数据的阈值。
    一个大的数据被切分成多个小的128的数据块,分别存储在集群多个节点的不同位置。

    数据副本机制

    数据副本默认是3份。
    一个数据存储到HDFS后,数据自动复制两份,共三份(三分相同的数据-数据冗余)

    数据副本存放机制

    第一个副本在客户端所在的节点(客户端也是集群内的节点),若客户端在集群外,那么根据一定的计算规则选一个节点
    第二份副本,在与第一份相同机柜,且不在同一个服务器的节点上。
    第三份与第一份第二份不在同一个机柜,且逻辑距离(网络拓扑)最近的机柜选择一个节点存储

    Namenode的作用

    1.维护目录树,维护命名空间。
    2.负责确定指定的文件块到具体的Datanode节点的映射关系。(在客户端与Datanode之间共享数据)
    3、管理Datanode结点的状态报告

    DataNode的作用

    1、 负责管理它所在结点上存储的数据的读写,及存储数据。.
    2、 向Namenode结点报告DataNode节点的状态。
    3、 通过流水线复制实现三份数据副本。

    展开全文
  • HDFS查看namenode状态

    千次阅读 2019-10-31 16:05:26
    我使用的是CDH6版本,开源版类似。 /etc/hadoop/conf/hdfs-...通过以下命令查看两个namenode的状态: hdfs haadmin -getServiceState namenode202 hdfs haadmin -getServiceState namenode177 例子:判断nameno...
  • 使用命令查看hdfs状态

    万次阅读 2017-03-21 20:13:19
    使用如下命令 : hdfs dfsadmin -report
  • 检查HDFS的健康状态

    千次阅读 2017-02-18 11:13:29
    首先需要明确的问题是:HDFS健康的标准是什么样的呢? 如果所有的文件满足最小副本的要求,那么就认为文件系统是健康的。 (HDFS is considered healthy if—and only if—all files have a minimum number of ...
  • Hadoop hdfs block 状态

    2012-07-15 13:37:45
    1.In Service
  • HDFS设计思路,HDFS使用,查看集群状态HDFSHDFS上传文件,HDFS下载文件,yarn web管理界面信息查看,运行一个mapreduce程序,mapreduce的demo.pdf
  • HDFS内副本和块的状态分析

    千次阅读 2016-12-14 19:06:34
    前言在HDFS内,我们通常听到的最频繁的2个名词术语:副本(Replica)和块(Block)....尤其是在对块的层面,一个block块在最终完成后,它会经历哪些状态过程呢?这些细节的内容就是本文所准备阐述的。副本/块的状
  • HDFS执行Rebalancing时,会首先检查当前是否处于均衡状态,如果不均衡才会执行Rebalancing。 检测时,首先计算整个集群的DFS Capacity Used比例(cluster_avg),以及每个节点的DFS Capacity Used比例(node_avg)。...
  • 监控hdfs系统的文件状态

    千次阅读 2018-09-25 20:43:17
    package com.zx.dao; import ... import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hdfs.DFSInotifyEventInputStream; import org.apache.hadoop.hdfs.client.H...
  • Impala查询 - HDFS缓存数据

    千次阅读 2019-03-23 10:55:07
    HDFS缓存数据命令 查看缓存池信息 hdfs cacheadmin -listPools -stats 查看已缓存的数据信息 hdfs cacheadmin -listDirectives -stats Impala表卸载缓存数据 alter table dw_crawler.bsl_zhongda_weibo_...
  • HDFS概述

    千次阅读 2021-04-23 18:14:10
    本章节简述HDFS
  • HDFS介绍

    千次阅读 2020-10-12 20:32:44
    HDFS 基本介绍 目标:掌握什么是HDFSHDFS的使用场景,组成部分。 HDFS 是 Hadoop Distribute File System 的简称,意为:Hadoop 分布式文件系统。是 Hadoop 核心组件之一,作为最底层的分布式存储服务而存在。 ...
  • 使用drill查询hdfs配置步骤: 1.首先在hdfs中创建文件夹,用来存放上传到hdfs系统的文件 进入hadoop的bin目录:hdfs dfs -mkdir /usr 查看文件夹是否创建成功:hdfs dfs -ls / 修改文件夹的权限:hadoop fs -...
  • hdfs命令

    千次阅读 2016-08-05 18:04:42
    bin/hdfs dfs命令 appendToFile Usage: hdfs dfs -appendToFile ... 追加一个或者多个文件(linux文件) ... 到hdfs制定文件中.也可以从命令行读取输入. hdfs dfs -appendToFile localfile /user/hadoop/hadoop...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 73,000
精华内容 29,200
关键字:

hdfs状态查询