精华内容
下载资源
问答
  • HDFS用户权限管理

    2019-01-25 14:43:07
    HDFS用户权限管理
                   

    1 hdfs权限

    1.1 超级用户

    启动namenode服务的用户就是超级用户, 该用户的组是supergroup

    具体配置参考之前我的博客

    Ubuntu上使用Hadoop 2.x 一 hdfs超级用户创建和设置

    CentOS6.6安装 HDFS 2.7.1

    1.2 文件权限管理

    1.2.1 创建时的owner和group

    文件或者目录被创建之时,服从BSD规则,owner是客户端进程的用户,group是父目录的group

    1.2.2 访问权限说明

    objectrwxstick bit(restricted deletion flag)
    file读文件写或者追加写文件 无效
    directory列出目录的内容创建或者删除子文件或子目录访问子文件或者子目录阻止移动或者删除该目录内的文件或目录(超级用户,owner和group不会被stick bit阻止)
         

    由于和POSIX类似较多,可以参考以下两篇Linux用户的博客

    Linux用户管理命令

    Linux文件权限

    1.2.3 应用示例

    1. 创建/input目录,用于接收外部写入的数据
      • input目录的group也是input,owner是lisa(超级用户),
      • 创建/input/dean目录,用于接收dean用户写入的数据, owner是dean用户,group用户允许写入数据
    2. 创建目录
      $ hdfs dfs -mkdir -p /input/dean  $ hdfs dfs -ls /Found 3 itemsdrwxr-xr-x   - lisa supergroup          0 2015-11-08 17:26 /inputdrwxr-xr-x   - lisa supergroup          0 2015-09-28 15:21 /testdrwxr-xr-x   - lisa supergroup          0 2015-11-08 17:09 /tmp$ hdfs dfs -ls /inputFound 1 itemsdrwxr-xr-x   - lisa supergroup          0 2015-11-08 17:26 /input/dean
      • 修改input目录的owner为lisa,group从supergroup改为input
      $ hdfs dfs -chown lisa:input /input$ hdfs dfs -ls /Found 3 itemsdrwxr-xr-x   - lisa input               0 2015-11-08 17:26 /inputdrwxr-xr-x   - lisa supergroup          0 2015-09-28 15:21 /testdrwxr-xr-x   - lisa supergroup          0 2015-11-08 17:09 /tmp
      • 修改/input/dean目录的ower和group都为dean
      $ hdfs dfs -ls /inputFound 1 itemdrwxrwxr-x   - dean dean           0 2015-11-21 16:24 /input/dean

      注意,客户机上创建Linux 用户dean,无需在namenode节点上创建该用户

    3. 允许input group用户写入/input/qoros目录
      1. 先要设置目录权限,让input组用户都能读,写,执行该目录
        $ hdfs dfs -chmod -R g+w /input/qoros
      2. 然后在客户机上
        • 创建guoqiang帐号和组input
        useradd guoqianggroupadd input
        • 改guoqiang用户组为input
        usermod -g input guoqiang

        在namenode所在的服务器上添加相同的用户和组,这点很奇怪,如果不这么干写操作会被拒绝,这会造成麻烦,因为两个namenode节点都要这么干

        useradd guoqiangusermod -g input guoqiang
    4. 取消其他用户的所有权限
      $ hdfs dfs -chmod -R o-r /input/dean$ hdfs dfs -ls /inputFound 1 itemsdrwxrwx--x   - lisa supergroup          0 2015-11-08 17:26 /input/dean$ hdfs dfs -chmod -R o-x /input/dean$ hdfs dfs -ls /inputFound 1 itemsdrwxrwx---   - lisa supergroup          0 2015-11-08 17:26 /input/dean

    1.2.4 不支持setuid 和 setgid bits

    1.3 POSIX ACLs(目前尚未使用)

    为特定的用户和组提供细致粒度的权限管理, 而不只是owner,group。该功能默认关闭, 需要如下设置打开

    dfs.namenode.acls.enabled true

    具体配置实在hdfs-site.xml中

    <property> <name>dfs.permissions.enabled</name> <value>true</value> </property><property> <name>dfs.namenode.acls.enabled</name> <value>true</value> </property>

    在core-site.xml设置用户组默认权限.

    <property><name>fs.permissions.umask-mode</name><value>002</value></property>

    1.3.1 hadoop支持两种用户认证模式

    simple or kerberos

    1.4 参考文档

    Author: dean

    Created: 2015-11-21 六 16:44

    Validate


               

    再分享一下我老师大神的人工智能教程吧。零基础!通俗易懂!风趣幽默!还带黄段子!希望你也加入到我们人工智能的队伍中来!https://blog.csdn.net/jiangjunshow

    展开全文
  • HDFS用户权限检测

    千次阅读 2017-07-13 22:00:55
    HDFS用户权限检测

    HDFS用户权限检测

    当我们配置了MapReduce的历史服务器和日志聚合的时候,我们的历史作业会上传到HDFS的 /tmp 目录下


    这里写图片描述


    但是我们并没有权限来进行查看,HDFS有它自己的用户权限检查,如果是在伪分布式学习的过程中,可以将其禁用,去官网查看hdfs-site 的默认配置文件


    这里写图片描述

    默认为true,将其配置为false即可


    进入hdfs webui 的时候,右上角的默认登陆名为 dr.wo,也可以在core-site 配置文件中进行配置


    这里写图片描述

    展开全文
  • 默认HDFS会开启权限认证,所以操作时,需要将root用户切换到hdfs用户,否则会报错。 解决问题 : 1、单独安装的软件没有(root 用户安装 没有hdfs权限) 2、Hive和HBase读写hdfs,也很容易因为权限问题导致出错。 解决...

    CDH环境下Hadoop平台最高权限用户是hdfs,属于supergroup组。默认HDFS会开启权限认证,所以操作时,需要将root用户切换到hdfs用户,否则会报错。

    解决问题 :
    1、单独安装的软件没有(root 用户安装 没有hdfs权限)
    2、Hive和HBase读写hdfs,也很容易因为权限问题导致出错。

    解决方式
    但是关闭权限检查,任何用户都可以操作HDFS数据,数据安全性又没有保障,所以使用将用户添加到supergroup组的方式。

    1、查看hdfs 属于的超级用户组
    在这里插入图片描述

    设置

    通常会把 root 或者需要的用户添加到 supergroup组,但Linux下默认是没有supergroup组。

    Linux下默认是没有supergroup组的
    #hadoop❌994:hdfs,mapred,yarn
    cat /etc/group

    查看hdfs用户的组是hadoop
    #hdfs❌995:992:Hadoop HDFS:/var/lib/hadoop-hdfs:/sbin/nologin
    cat /etc/passwd

    所以,先在Linux添加supergroup组,把root用户添加到supergroup里,再同步权限到HDFS。

    Linux添加supergroup组

    展开全文
  • 修改代码中用户hdfs保持一致 System.setProperty("HADOOP_USER_NAME","weishu") 通过设置idea中的vm参数
    1. 修改代码中用户与hdfs保持一致
    System.setProperty("HADOOP_USER_NAME","weishu")
    1. 通过设置idea中的vm参数

    展开全文
  • HDFS用户权限配置

    2020-12-01 22:36:13
    HDFS用户权限配置 使用linux用户bruce,格式化hadoop的namenode,那么bruce成为hdfs的超级用户 在bruce用户下运行命令: # 创建/user/hadoop目录 hadoop fs -mkdir -p /user/hadoop # 修改/user/hadoop的所有者 ...
  • 配置HDFS目录权限

    2021-04-02 09:26:17
    HDFS客户端中,使用具有HDFS管理员权限用户,执行如下命令,将“/user”的目录权限进行修改。 此处将权限修改为“1777”,即在权限处增加“1”,表示增加目录的粘性,即只有创建的用户才可以删除此目录。 hdfs ...
  • HDFS权限

    2020-09-04 10:34:13
    Hdfs权限管理分为2大部分: 第一部分类似于Linux的基本权限管理,也就是粗粒度将管理对象分为user、group和other三类去进行权限管理。 第二部分是ACL方式的权限管理,也是更加细粒度的权限管理,可以精确控制到...
  • HDFS权限管理

    2020-06-11 11:04:47
    1 HDFS权限管理介绍 HDFS权限管理分成2大部分: 类似linux的基本权限管理(粗粒度) 针对管理对象分三种:user、group、other方式的权限管理方式 user:即目录或文件的owner group:即上述owner所在的组...
  • HDFS用户权限检测

    千次阅读 2018-02-11 13:15:51
    HDFS用户权限检测1.设置HDFS用户权限不检测(在HDFS中,文件目录的权限和Linux是一致的) 在hdfs.site.xml文件中设置 &lt;property&gt; &lt;name&gt;dfs.permissions.enabled&lt;/name&...
  • 如果linux系统用户zhangsan使用Hadoop命令创建一个文件,那么这个文件在HDFS当中的owner就是zhangsan HDFS文件权限的目的,防止好人做错事,而不是阻止坏人做坏事。 HDFS相信你告诉我你是谁,你...
  • HDFS权限管控

    2021-01-06 11:15:15
    HDFS权限管控 HDFS权限管控时,提供类似POSIX系统的文件和目录权限模型,这里称为普通权限管控。它和在linux系统上的操作类似,每个文件或目录都有owner、group、other三种角色,它们拥有不同的权限权限分为r、w...
  • HDFS ACL权限设置

    千次阅读 2019-03-31 10:59:47
    当一个普通用户去访问HDFS文件时,可能会报Permission denied的错误。那么你会怎么做呢? 像修改linux文件似的,可能的做法有: 修改文件所有者 直接将文件赋予全部的权限,即rwx权限。 上面的做法虽然可以达到...
  • Hdfs文件权限及ACL访问控制一、getfacl查看hdfs目录权限二、setfacl设置权限三、设置用户权限四、设置组权限五、为目录设置默认ACL权限六、递归创建目录权限七、实例:赋予zeppelin用户读写目录权限八、补充:hdfs-...
  • HDFS 文件权限验证

    2019-11-05 15:57:43
    如果linux系统用户zhangsan使用Hadoop命令创建一个文件,那么这个文件在HDFS当中的owner就是zhangsan HDFS文件权限的目的,防止好人做错事,而不是阻止坏人做坏事。HDFS相信你告诉我你是谁,你...
  • HDFS权限管理用户指南

    2017-08-10 16:46:08
    HDFS权限管理用户指南 概述用户身份理解系统的实现文件系统API变更Shell命令变更超级用户Web服务器在线升级配置参数 概述 Hadoop分布式文件系统实现了一个和POSIX系统类似的文件和目录的权限模型。每个文
  • HDFS文件权限 POSIX

    2019-04-10 22:55:52
    2、如果Linux系统用户zhangsan使用hadoop命令创建一个文件,那么这个文件在HDFS中owner就是zhangsan。 3、HDFS权限目的:阻止好人错错事,而不是阻止坏人做坏事。HDFS相信,你告诉我你是谁,我就认为你是谁。 总结...
  • Hadoop用户权限管理hdfs权限管理

    千次阅读 2019-04-24 23:57:56
    chown -R student1:students/home/hadoop/hadoop-2.7.6root用户将hadoop的相关操作权限授予student1 2.修改Hadoop目录的权限 chmod -R 755/home/hadoop/hadoop-2.7.6 3.hadoop fs -mkdir /user/stud...
  • 09 HDFS访问权限控制

    2020-12-18 10:06:34
    文件或目录对其所有者、同组的其他用户以及所有其他用户(other)分别有着不同的权限。对文件而言,当读取这个文件时需要有r权限,当写入或者追加到文件时需要有w权限。对目录而言,当列出目录内容时需要具有r权限,...
  • HDFS权限问题

    千次阅读 2018-09-30 11:25:12
    之前的工作中使用Hive一直都是用的内表,对于外表一直都没有正经研究过,最近偶尔使用了一次,就整出了不小的麻烦,而且发现是跟HDFS权限有关,然而就发现关于HDFS权限问题理解的还是太少了,所以把问题整理一下。...
  • Hadoop HDFS 权限

    2019-11-07 15:34:59
    HDFS权限问题以及伪造用户 首先停止hdfs集群,在node01机器上执行以下命令 cd /export/servers/hadoop-2.6.0-cdh5.14.0 sbin/stop-dfs.sh 修改node01机器上的hdfs-site.xml当中的配置文件 cd /export/servers/...
  • HDFS ACL权限控制

    2019-03-29 08:29:46
    hdfs acl权限生效的算法规则 (1)如果是owner,则取owner的权限 (2)如果针对用户设置了ACL,则用户的ACL生效 (3)如果用户在组里,则取各组ACL的并集 (4)其他情况,取other的权限 (5)default权限:设置...
  • hdfs的文件权限验证

    千次阅读 2020-10-12 15:53:22
    如果linux系统用户zhangsan使用Hadoop命令创建一个文件,那么这个文件在HDFS当中的owner就是zhangsan HDFS文件权限的目的,防止好人做错事,而不是阻止坏人做坏事。HDFS相信你告诉我你是谁,你就是谁 ...
  • HDFS权限管理

    千次阅读 2014-10-07 15:05:06
    HDFS权限管理用户指南官网网址,
  • HDFS的文件权限验证

    千次阅读 2020-10-14 20:19:45
    如果linux系统用户zhangsan使用Hadoop命令创建一个文件,那么这个文件在HDFS当中的owner就是zhangsan HDFS文件权限的目的,防止好人做错事,而不是阻止坏人做坏事。HDFS相信你告诉我你是谁,你就是谁 ...
  • HDFS操作权限不足问题

    2020-08-05 08:56:28
    在高版本的CDH中,hadoop已经不是最高权限用户了,最高权限用户hdfs,就像linux系统中的root用户 解决方法: [root@linux4 ~]# hdfs dfs –mkdir /user/hadoop [root@linux4 ~]# hdfs dfs –chown Hadoop:...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 37,493
精华内容 14,997
关键字:

hdfs用户权限