精华内容
下载资源
问答
  • HDFS用户权限管理

    2019-01-25 14:43:07
    HDFS用户权限管理
                   

    1 hdfs权限

    1.1 超级用户

    启动namenode服务的用户就是超级用户, 该用户的组是supergroup

    具体配置参考之前我的博客

    Ubuntu上使用Hadoop 2.x 一 hdfs超级用户创建和设置

    CentOS6.6安装 HDFS 2.7.1

    1.2 文件权限管理

    1.2.1 创建时的owner和group

    文件或者目录被创建之时,服从BSD规则,owner是客户端进程的用户,group是父目录的group

    1.2.2 访问权限说明

    objectrwxstick bit(restricted deletion flag)
    file读文件写或者追加写文件 无效
    directory列出目录的内容创建或者删除子文件或子目录访问子文件或者子目录阻止移动或者删除该目录内的文件或目录(超级用户,owner和group不会被stick bit阻止)
         

    由于和POSIX类似较多,可以参考以下两篇Linux用户的博客

    Linux用户管理命令

    Linux文件权限

    1.2.3 应用示例

    1. 创建/input目录,用于接收外部写入的数据
      • input目录的group也是input,owner是lisa(超级用户),
      • 创建/input/dean目录,用于接收dean用户写入的数据, owner是dean用户,group用户允许写入数据
    2. 创建目录
      $ hdfs dfs -mkdir -p /input/dean  $ hdfs dfs -ls /Found 3 itemsdrwxr-xr-x   - lisa supergroup          0 2015-11-08 17:26 /inputdrwxr-xr-x   - lisa supergroup          0 2015-09-28 15:21 /testdrwxr-xr-x   - lisa supergroup          0 2015-11-08 17:09 /tmp$ hdfs dfs -ls /inputFound 1 itemsdrwxr-xr-x   - lisa supergroup          0 2015-11-08 17:26 /input/dean
      • 修改input目录的owner为lisa,group从supergroup改为input
      $ hdfs dfs -chown lisa:input /input$ hdfs dfs -ls /Found 3 itemsdrwxr-xr-x   - lisa input               0 2015-11-08 17:26 /inputdrwxr-xr-x   - lisa supergroup          0 2015-09-28 15:21 /testdrwxr-xr-x   - lisa supergroup          0 2015-11-08 17:09 /tmp
      • 修改/input/dean目录的ower和group都为dean
      $ hdfs dfs -ls /inputFound 1 itemdrwxrwxr-x   - dean dean           0 2015-11-21 16:24 /input/dean

      注意,客户机上创建Linux 用户dean,无需在namenode节点上创建该用户

    3. 允许input group用户写入/input/qoros目录
      1. 先要设置目录权限,让input组用户都能读,写,执行该目录
        $ hdfs dfs -chmod -R g+w /input/qoros
      2. 然后在客户机上
        • 创建guoqiang帐号和组input
        useradd guoqianggroupadd input
        • 改guoqiang用户组为input
        usermod -g input guoqiang

        在namenode所在的服务器上添加相同的用户和组,这点很奇怪,如果不这么干写操作会被拒绝,这会造成麻烦,因为两个namenode节点都要这么干

        useradd guoqiangusermod -g input guoqiang
    4. 取消其他用户的所有权限
      $ hdfs dfs -chmod -R o-r /input/dean$ hdfs dfs -ls /inputFound 1 itemsdrwxrwx--x   - lisa supergroup          0 2015-11-08 17:26 /input/dean$ hdfs dfs -chmod -R o-x /input/dean$ hdfs dfs -ls /inputFound 1 itemsdrwxrwx---   - lisa supergroup          0 2015-11-08 17:26 /input/dean

    1.2.4 不支持setuid 和 setgid bits

    1.3 POSIX ACLs(目前尚未使用)

    为特定的用户和组提供细致粒度的权限管理, 而不只是owner,group。该功能默认关闭, 需要如下设置打开

    dfs.namenode.acls.enabled true

    具体配置实在hdfs-site.xml中

    <property> <name>dfs.permissions.enabled</name> <value>true</value> </property><property> <name>dfs.namenode.acls.enabled</name> <value>true</value> </property>

    在core-site.xml设置用户组默认权限.

    <property><name>fs.permissions.umask-mode</name><value>002</value></property>

    1.3.1 hadoop支持两种用户认证模式

    simple or kerberos

    1.4 参考文档

    Author: dean

    Created: 2015-11-21 六 16:44

    Validate


               

    再分享一下我老师大神的人工智能教程吧。零基础!通俗易懂!风趣幽默!还带黄段子!希望你也加入到我们人工智能的队伍中来!https://blog.csdn.net/jiangjunshow

    展开全文
  • HDFS用户权限配置

    2020-12-01 22:36:13
    HDFS用户权限配置 使用linux用户bruce,格式化hadoop的namenode,那么bruce成为hdfs的超级用户 在bruce用户下运行命令: # 创建/user/hadoop目录 hadoop fs -mkdir -p /user/hadoop # 修改/user/hadoop的所有者 ...

    HDFS用户及权限配置

    使用linux用户bruce,格式化hadoop的namenode,那么bruce成为hdfs的超级用户
    在bruce用户下运行命令:
    # 创建/user/hadoop目录
    hadoop fs -mkdir -p /user/hadoop

    # 修改/user/hadoop的所有者
    hadoop fs -chown hadoop:hadoop /user/hadoop
    # 修改hdfs用户hadoop对hfds的/user/hadoop目录的最大磁盘占用量
    hfds dfsadmin -setSpaceQuota 10g /user/hadoop
    测试权限是否设置成功
    bruce下向/user/hadoop上传文件,成功(因为bruce是hdfs超级用户)
    [bruce@node-01 backup]$ hadoop fs -ls /user/hadoop
    分别创建linux用户hadoop、wph,并设置密码,并修改用户主目录下的.bash_profile文件,增加JAVA_HOME及HADOOP_HOME的相关环境变量
    以hadoop为例:
    [bruce@node-01 backup]$ su root
    Password:
    [root@node-01 backup]# useradd hadoop
    [root@node-01 backup]# passwd hadoop
    Changing password for user hadoop.
    New password:
    BAD PASSWORD: The password is shorter than 8 characters
    Retype new password:
    passwd: all authentication tokens updated successfully.
    [hadoop@node-01 ~]$ vim .bash_profile
    增加如下内容:

    export JAVA_HOME=/usr/java/jdk1.8.0_211-amd64/
    export PATH=$JAVA_HOME/bin:$PATH
    
    #export HADOOP_HOME=/home/bruce/hadoop-3.2.0/
    export HADOOP_HOME=/opt/bigdata/hadoop-2.7.3
    export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
    

    [hadoop@node-01 ~]$ source .bash_profile
    [hadoop@node-01 ~]$ hadoop fs -put hadoop.txt /user/hadoop
    # 切换到wph用户
    [hadoop@node-01 ~]$ su - wph
    # wph用户没有向/user/hadoop目录上传文件的权限
    [kkb@node-01 ~]$ hadoop fs -put wph.txt /user/hadoop
    put: Permission denied: user=wph, access=WRITE, inode="/user/hadoop/wph.txt.COPYING":hadoop:hadoop:drwxr-xr-x

    展开全文
  • 修改hdfs路径权限

    2021-05-28 11:54:15
    kinit -kt /etc/security/keytabs/hdfs.headless.keytab hdfs-glztbdp@XXX.COM hadoop fs -chown hive:hadoop /datahouse/weather/ods/maps-lq/ods_xinzhi_grid_hour_weather/publish_date=2021-05-27

    登陆用户
    kinit -kt /etc/security/keytabs/hdfs.headless.keytab hdfs-glztbdp@XXX.COM

    修改路径权限
    hadoop fs -chown hive:hadoop /datahouse/weather/ods/maps-lq/ods_xinzhi_grid_hour_weather/publish_date=2021-05-27

    展开全文
  • 1. 概括适合一次写入多次查询情况,不支持并发写情况通过hadoop shell 上传的文件存放在DataNode的block中,通过linuxshell只能看见block,看不见文件(HDFS将客户端的大文件存放在很多节点的数据块中,Block本质上是...

    1. 概括

    适合一次写入多次查询情况,不支持并发写情况

    通过hadoop shell 上传的文件存放在DataNode的block中,通过linux

    shell只能看见block,看不见文件(HDFS将客户端的大文件存放在很多节点的数据块中,Block本质上是一个逻辑概念,它是hdfs读写数据的基本单位)

    HDFS中,如果一个文件小于一个数据块的大小,并不占用整个数据块存储空间

    2. fs

    可以使用hdfs shell操作hdfs,常用 fs命令如下:

    eg: hadoop fs -cat file1

    69c5a8ac3fa60e0848d784a6dd461da6.png- put localsrc dst //从本地文件移动到hdfs

    -get src localsrc //复制文件到本地

    -text src //显示文件内容

    其他类似于linux shell

    69c5a8ac3fa60e0848d784a6dd461da6.png

    3. 端口

    端口:

    50070:查看NameNode状态50075:查看DataNode状态50090:查看SecondaryNameNode50030:查看JobTracker状态50060:查看TaskTracker状态

    4. hdfs安全模式

    在启动hadoop集群的时候,集群的运行首先进入到安全模式下(safeMode),以检查数据完整性

    69c5a8ac3fa60e0848d784a6dd461da6.png(hdfs-default.xml,302行)dfs.safemode.threshold.pct

    0.999f

    这里定义了一个最小的副本率0.999,如果应该有5个副本存在,却只存在3个副本,3/5=0.6<0.999,则系统会自动地复制副本到其他DataNode,使得副本率不小于0.999,相反,如果此时系统中有8个副本,则会自动删除多余的3个副本

    69c5a8ac3fa60e0848d784a6dd461da6.png

    安全模式相关操作:

    hadoop fs –safemode get:查看安全模式状态

    hadoop fs –safemode enter:进入安全模式状态

    hadoop fs –safemode leave:离开安全模式状态

    5. java api

    注意:1)需注释掉org.apache.hadoop.fs.FileUtil类的checkReturnValue方法(688—692),否则可能出现权限问题)

    2)需要修改远程登录客户端的用户名,以避免权限问题

    我的电脑-管理-本地用户和组;

    注册表“HKEY_LOCAL_MACHINE\SOFEWARE\Microsoft\Windows

    NT\CurrentVersion 修改  RegisteredOwner

    写文件:

    69c5a8ac3fa60e0848d784a6dd461da6.pngString uri="hdfs://hadoop:9000/";

    Configuration configuration=newConfiguration();

    FileSystem fileSystem=FileSystem.get(URI.create(uri),configuration);final String pathString="/input";final FSDataOutputStream fsDataOutputStream=fileSystem.create(newPath(pathString));

    IOUtils.copyBytes(new ByteArrayInputStream("wish\n".getBytes()),fsDataOutputStream,configuration,false);

    IOUtils.copyBytes(new ByteArrayInputStream("wish you happy \n".getBytes()),fsDataOutputStream,configuration,true);

    69c5a8ac3fa60e0848d784a6dd461da6.png

    读文件:

    String uri="hdfs://hadoop:9000/";

    Configuration configuration=newConfiguration();

    FileSystem fileSystem=FileSystem.get(URI.create(uri),configuration);final String pathString="/output";final FSDataInputStream fsDataInputStream=fileSystem.open(newPath(pathString));

    IOUtils.copyBytes(fsDataInputStream, System.out, configuration,true);

    创建目录:

    69c5a8ac3fa60e0848d784a6dd461da6.pngString uri="hdfs://hadoop:9000/";

    Configuration configuration=newConfiguration();

    FileSystem fileSystem=FileSystem.get(URI.create(uri),configuration);final String pathString="/d1";boolean exists=fileSystem.exists(newPath(pathString));if(!exists){boolean result=fileSystem.mkdirs(newPath(pathString));

    System.out.println(result);

    }

    69c5a8ac3fa60e0848d784a6dd461da6.png

    删除文件

    String uri="hdfs://hadoop:9000/";

    Configuration configuration=newConfiguration();

    FileSystem fileSystem=FileSystem.get(URI.create(uri),configuration);final String pathString="/output";

    fileSystem.delete(new Path("/output"),true);

    原文:http://www.cnblogs.com/wishyouhappy/p/3730606.html

    展开全文
  • 更改HDFS权限

    2019-09-27 00:28:38
    hdfs dfs -chmod -R 755 / 之前执行过这条语句,但是总是提示: 15/05/21 08:10:18 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where ...
  • 修改代码中用户hdfs保持一致 System.setProperty("HADOOP_USER_NAME","weishu") 通过设置idea中的vm参数
  • HDFS权限

    2020-09-04 10:34:13
    HDFS权限 一、HDFS权限简介 Hdfs权限管理分为2大部分: 第一部分类似于Linux的基本权限管理,也就是粗粒度将管理对象分为user、group和other三类去进行权限的管理。 第二部分是ACL方式的权限管理,也是更加细粒度...
  • HDFS ACL权限设置

    千次阅读 2019-03-31 10:59:47
    当一个普通用户去访问HDFS文件时,可能会报Permission denied的错误。那么你会怎么做呢? 像修改linux文件似的,可能的做法有: 修改文件所有者 直接将文件赋予全部的权限,即rwx权限。 上面的做法虽然可以达到...
  • 配置HDFS目录权限

    2021-04-02 09:26:17
    HDFS客户端中,使用具有HDFS管理员权限用户,执行如下命令,将“/user”的目录权限进行修改。 此处将权限修改为“1777”,即在权限处增加“1”,表示增加目录的粘性,即只有创建的用户才可以删除此目录。 hdfs ...
  • HDFS权限管理

    2020-06-11 11:04:47
    1 HDFS权限管理介绍 HDFS权限管理分成2大部分: 类似linux的基本权限管理(粗粒度) 针对管理对象分三种:user、group、other方式的权限管理方式 user:即目录或文件的owner group:即上述owner所在的组...
  • Hadoop用户权限管理及hdfs权限管理

    万次阅读 2018-05-08 16:11:53
    1.创建用户student1,所属分组为studentschown -R student1:students /home/hadoop/hadoop-2.7.6 root用户将hadoop的相关操作权限授予student12.修改Hadoop目录的权限 chmod -R 755 /home/hadoop/hadoop-2.7.63....
  • hadoop hdfs 权限修改

    2016-02-27 22:17:00
    hdfs的根目录属于hdfs用户,在supergroup组下; 因此在根目录新增data目录需要切换到hdfs用户下,在hdfs用户下执行新增命令; 然后修改data目录所属用户和所属组,修改权限命令如下 修改hdfs文件的所有者 #hadoop fs...
  • HDFS权限管控

    2021-01-06 11:15:15
    HDFS权限管控 HDFS权限管控时,提供类似POSIX系统的文件和目录权限模型,这里称为普通权限管控。它和在linux系统上的操作类似,每个文件或目录都有owner、group、other三种角色,它们拥有不同的权限权限分为r、w...
  • 09 HDFS访问权限控制

    2020-12-18 10:06:34
    文件或目录对其所有者、同组的其他用户以及所有其他用户(other)分别有着不同的权限。对文件而言,当读取这个文件时需要有r权限,当写入或者追加到文件时需要有w权限。对目录而言,当列出目录内容时需要具有r权限,...
  • HDFS权限管理用户指南

    2017-08-10 16:46:08
    HDFS权限管理用户指南 概述用户身份理解系统的实现文件系统API变更Shell命令变更超级用户Web服务器在线升级配置参数 概述 Hadoop分布式文件系统实现了一个和POSIX系统类似的文件和目录的权限模型。每个文
  • hdfs权限

    2019-01-24 20:07:21
    ​小米的HDFS承载了公司内多个部门几十条业务线的几十PB数据,这些数据有些是安全...本文系统的描述了HDFS权限管理体系中与用户关联最紧密的授权相关内容,希望通过本文让大家对权限管理有一个清晰的了解。 HDFS的...
  • Hadoop_Hdfs ACL 权限控制详解

    千次阅读 2017-05-04 17:55:48
    开启ACL权限控制 Hadoop HDFS 默认没有使用 ...第一次使用需要修改hdfs-site.xml 把以下配置加进hdfs-site.xml 中, 并重启NameNode. dfs.namenode.acls.enabled true  我们主要是通过 setfacl getfacl 这两个指令
  • Hadoop HDFS 权限

    2019-11-07 15:34:59
    HDFS权限问题以及伪造用户 首先停止hdfs集群,在node01机器上执行以下命令 cd /export/servers/hadoop-2.6.0-cdh5.14.0 sbin/stop-dfs.sh 修改node01机器上的hdfs-site.xml当中的配置文件 cd /export/servers/...
  • 聊聊HDFS权限访问控制

    千次阅读 2019-01-01 17:52:21
    文章目录前言典型场景:权限信息不...比如Hive和HDFS的使用,Hive也有它自己独立一套的用户权限体系。本文笔者来简单聊聊HDFS的权限访问控制,我们不聊最简单的情况,只聊那些在生产中实际可能会遇到的场景。 典...
  • HDFS权限问题

    千次阅读 2018-09-30 11:25:12
    之前的工作中使用Hive一直都是用的内表,对于外表一直都没有正经研究过,最近偶尔使用了一次,就整出了不小的麻烦,而且发现是跟HDFS权限有关,然而就发现关于HDFS权限问题理解的还是太少了,所以把问题整理一下。...
  • hdfs权限问题

    千次阅读 2019-06-18 11:19:47
    hdfs 身份执行hdfs命令 sudo -u hdfs hadoop fs -chmod 777 /user
  • 修改HDFS上的文件权限

    万次阅读 2018-12-20 20:52:40
    在IDEA中使用Java API 或者 Scala API 操作HDFS的时候,有时候会报这个错误: Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException): Permission denied: user=...
  • HDFS权限管理

    千次阅读 2014-10-07 15:05:06
    HDFS权限管理用户指南官网网址,
  • HDFS 文件权限

    千次阅读 2018-06-21 00:30:32
    hadoop fs -ls /countout -rw-r--r--  3 root supergroup 1311 2018-06-20 00:11 /coun ...修改文件权限 hadoop fs -chmod 777 /wordcount 文件模式 drwx: 目录 可读 可写 可执行 -r-x: 文件 可读 不可写 可执行
  • HDFS的设计是基于POSIX模型的,支持按用户用户组、其他用户的读写执行控制权限。在linux命令行下,可以使用下面的命令修改文件的权限、文件所有者,文件所属组: sudo addgroup Hadoop#添加一个hadoop组 sudo ...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 28,417
精华内容 11,366
关键字:

修改hdfs用户权限