精华内容
下载资源
问答
  • 用mkdir创建usr下的一个目录,出现报错 查阅之后发现两种办法,第一种使用root权限创建 第二种使用 chmod 虽然看懂了但是没操作出来

    用mkdir创建usr下的一个目录,出现报错
    在这里插入图片描述
    查阅之后发现两种办法,第一种使用root权限创建

    第二种使用 chmod 虽然看懂了但是没操作出来

    展开全文
  • Hadoop创建目录

    万次阅读 2018-12-26 11:28:32
    1、hadoop命令 安装路径下:hadoop-2.8.5/share/doc/hadoop/hadoop-project-dist/hadoop...比如,创建目录: mkdir Usage: hadoop fs -mkdir [-p] 2、API创建目录 2.1、测试类 package test.myhadoop; import java...

    1、hadoop命令

    安装在本地的参考文件:hadoop-2.8.5/share/doc/hadoop/hadoop-project-dist/hadoop-common/FileSystemShell.html
    比如,创建目录:
    mkdir
    Usage: hadoop fs -mkdir [-p]

    2、API创建目录

    2.1、测试类

    package test.myhadoop;
    
    import java.io.IOException;
    import java.net.URI;
    
    import org.apache.hadoop.conf.Configuration;
    import org.apache.hadoop.fs.FileSystem;
    import org.apache.hadoop.fs.Path;
    
    public class TestHDFS {
    	FileSystem fs = null;
    
    	public void init() throws Exception {
    		// 参数优先级: 1、客户端代码中设置的值 
    		// 2、classpath下的用户自定义配置文件 3、然后是服务器的默认配置
    		// jar包中的hdfs-default.xml
    		// 加载classpath下的hdfs-site.xml
    		Configuration conf = new Configuration();
    		conf.set("fs.defaultFS", "hdfs://cos6743:9000");
    		fs = FileSystem.get(URI.create("/"), conf, "root");
    	}
    
    	/**
    	 * release resource
    	 */
    	public void close() {
    		try {
    			if (fs != null) {
    				fs.close();
    			}
    		} catch (IOException e) {
    			e.printStackTrace();
    		}
    	}
    
    	/**
    	 * 创建目录
    	 */
    	public void mkdirs() {
    		try {
    			fs.mkdirs(new Path("/user/test"));
    		} catch (IOException e) {
    			System.out.println("-- IOException --");
    			e.printStackTrace();
    		}
    	}
    
    	public static void main(String[] args) {
    		TestHDFS hdfs = new TestHDFS();
    		try {
    			hdfs.init();
    			hdfs.mkdirs();
    		} catch (Exception e) {
    			e.printStackTrace();
    		}
    	}
    
    }
    

    2.2运行前后结果查看

    命令:hadoop fs -ls /
    测试类执行前,列表为空;执行后,可以看到创建的目录
    hadoop

    展开全文
  • 创建用户hadoop adduser hadoop 设置hadoop用户的密码 passwd hadoop 赋予hadoop用户最高权限 vim /etc/passwd 将hadoop用户的两个数字改成都改成0 保存退出即可

    创建用户hadoop

    adduser hadoop
    

    设置hadoop用户的密码

    passwd hadoop
    

    赋予hadoop用户最高权限

    vim /etc/passwd
    

    将hadoop用户的两个数字改成都改成0
    保存退出即可

    展开全文
  • hadoop2.6.5 linux安装

    千次阅读 2017-10-23 22:42:23
    hadoop linux安装流程 今天在自己的阿里云上安装了hadoop,安装过程中遇到了一些问题,特此做下笔记记录下。 1、下载安装包(下载地址) http://mirror.bit.edu.cn/apache/hadoop/common/   在安装hadoop之前先...

    hadoop linux安装流程


    今天在自己的阿里云上安装了hadoop,安装过程中遇到了一些问题,特此做下笔记记录下。


    1、下载安装包(下载地址)

    http://mirror.bit.edu.cn/apache/hadoop/common/

     

    在安装hadoop之前先配置下SSH免密码登录

    查看ssh版本,通过命令ssh -version 进行验证,如果出现与下图相似的信息就代表已经安装了SSH了.


     

    下面开始看看如何配置SSH免密码登录吧。

    首先输入ssh localhost,验证在为配置前是无法通过ssh连接本机的



    下面在用户目录下(笔者使用的是root用户,所以是/root目录,普通用户的文件夹是在/home,目录下与用户名相同的目录)ls -a ,可以看见有一个隐藏的文件夹.ssh,如果没有的话可以自行创建。然后输入一下命令,出现如下图示:

    ssh-keygen -t dsa -P'' -f /root/.ssh/id_dsa

    下一步将id_dsa.pub追加到授权的key中,键入一下命令:

    cat /root/.ssh/id_dsa.pub >> /root/.ssh/authorized_keys

    此时,免密码登录本机就配置完成了,下面再次输入ssh localhost进行验证,出现下图所示信息代表配置成功了

     

    2、开始安装hadoop

    tar -zxvf hadoop-2.6.5.tar.gz

    安装版本 2.6.5

    重命名文件目录为hadoop

    mv hadoop-2.6.5 hadoop

     

    修改配置文件,路径

    /data/soft/hadoop/etc/hadoop

     

    修改环节变量 vi /etv/profile

    export JAVA_HOME=/data/develop/jdk1.7.0_67
    export JRE_HOME=/data/develop/jdk1.7.0_67/jre
    export HADOOP_HOME=/data/soft/hadoop
    export PATH=$PATH:/data/develop/jdk1.7.0_67/bin:$HADOOP_HOME$/bin
    export CLASSPATH=./:/data/develop/jdk1.7.0_67/lib:/data/develop/jdk1.7.0_67/jre/lib

     

    1:core-site.xml修改为


    <configuration>
            <property>
                 <name>hadoop.tmp.dir</name>
                 <value>file:/data/soft/hadoop/tmp</value>
                 <description>Abase for Ardo hadoop.</description>
            </property>
            <property>
                 <name>fs.defaultFS</name>
                 <value>hdfs://localhost:9000</value>
            </property>
    </configuration>

     

    2:修改hdfs-site.xml

    <configuration>
            <property>
                 <name>dfs.replication</name>
                 <value>1</value>
            </property>
            <property>
                 <name>dfs.namenode.name.dir</name>
                 <value>file:/data/soft/hadoop/tmp/dfs/name</value>
            </property>
            <property>
                 <name>dfs.datanode.data.dir</name>
                 <value>file:/data/soft/hadoop/tmp/dfs/data</value>
            </property>
    </configuration>

     

    /data/soft/hadoop/sbin目录下执行

     

     

    启动时报Error: JAVA_HOME is not set and could not be found.
    解决办法:
            修改/etc/hadoop/hadoop-env.sh中设JAVA_HOME。
            应当使用绝对路径。
            export JAVA_HOME=${JAVA_HOME}                  //文档原来的(错误)

            export JAVA_HOME=/usr/java/jdk1.6.0_45        //正确,应该这么改

     

    echo $JAVA_HOME$

    然后改成:/data/develop/jdk1.7.0_67

    改好后再到sbin目录下执行 sh start-all.sh

     

    启动中报了很多Name or service not known的错误,这个并不是 ssh 的问题,可通过设置 Hadoop 环境变量来解决。首先按键盘的 ctrl + c 中断启动,修改配置

    cd /data/soft/hadoop/etc/hadoop

    vi hadoop-env.sh

    然后再次执行sh start-all.sh,启动后通过jps查看多了进程

     

    --修改配置文件mapred-site.xml,以备启动YARN

    /data/soft/hadoop/etc/hadoop目录下执行修改命令:

    mv mapred-site.xml.template mapred-site.xml

     

    修改配置文件vi mapred-site.xml

    <configuration>
            <property>
                 <name>mapreduce.framework.name</name>
                 <value>yarn</value>
            </property>
    </configuration>

     

    接着修改vi yarn-site.xml

    <configuration>

        <property>

           <name>yarn.nodemanager.aux-services</name>

           <value>mapreduce_shuffle</value>

        </property>

    </configuration>

    然后就可以启动YARN了,需要先执行过sh start-dfs.sh

    接着sh start-yarn.sh

     

    开启历史服务器,才能在web中查看任务运行情况,执行如下命令:

    sh mr-jobhistory-daemon.sh start historyserver

    开启后通过 jps 查看,可以看到多了 NodeManager 和 ResourceManager 两个后台进程

     


    在浏览器中输入URL : http://120.76.xxx.xx:8088/cluster


     

    展开全文
  • hadoop创建文件与下载文件

    万次阅读 2018-10-12 10:14:34
    首先要事先搭建好hadoop平台,配置相关的参数与环境变量。 1、打开虚拟机,打开hadoop节点  打开VMware,启动虚拟机。再启动Xshell,使用 hadoop文件夹中的sbin中的start-all.sh来打开hadoop节点。  打开...
  • 遍历 循环遍历根目录,慎重 hdfs dfs -ls -R / ...遍历根目录文件夹和文件 ...上传文件 到HDFS已经存在的目录...hdfs dfs -put /home/vc/dev/hadoop/hadoop-2.7.7/etc/hadoop/hdfs-site.xml / 查看刚才上传文件 ...
  • (8) Hadoop Linux 开发环境准备

    千次阅读 2018-03-11 15:36:45
    (1)准备软件:apache-maven-3.0.5-bin.zip 官网:https://maven.apache.org  也可以到:http://archive.apache.org/dist/ 下载eclipse-jee-kepler-SR1-linux-gtk-x86_64.tar.gz 官网:http://www.eclipse.org ...
  • 文章目录一、HDFS-API-mkdir创建目录文件 一、HDFS-API-mkdir创建目录文件 使用HDFS API的方式来操作HDFS文件系统 创建maven骨架项目工程 在pom.xml文件中添加依赖 # properties节点中添加版本控制 <!--定义...
  • hadoop2.8.3linux环境安装

    2018-06-08 15:48:31
    创建用户(所有机器均要操作)本例中为名为hadooplinux系统用户先创建其组,命令:groupadd hadoop创建用户,命令:useradd – m hadoop,m表示自动创建用户的登录目录为用户hadoop创建密码,命令:passwd ...
  • 可以看到,格式化因为无法创建目录而报错:“Exitting with status 1” 解决: 1.按CTRL+ALT+T进入终端 2.输入命令:sudo su转为root身份 3.输入命令:sudo chmod -R a+w /绝对路径 4.重新进入终端使用普通用户身份...
  • hadoop下载包目录结构

    千次阅读 2014-05-06 10:44:45
    sbin:此目录下包含创建hadoop运行环境中所需系统级功能的脚本文件 share:此目录下包括整个项目各个模块共有的配置文件 src吗目录存放的是hadoop源码。 webapps:发布包中的示例程序 几个jar包的...
  • hadoop如何创建多用户

    千次阅读 2013-03-25 20:27:45
    HDFS本身没有提供用户名、用户组的创建,在客户端调用hadoop 的文件操作命令时,hadoop 识别出执行命令所在进程的linux系统的用户名和用户组,然后使用这个用户名和组来检查文件权限。 用户名=linux命令中的`whoami`...
  • Linux递归创建目录命令

    千次阅读 2015-03-17 18:49:23
    Linux下,在当前目录下创建目录的命令是mkdir。若想在目录中再建目录可以使用mkdir -p XXX/XXX/XXX 注:若是在root下创建需加/。其他不用加。
  • 下载hadoop-eclipse-plugin-2.5.2.jar的jar包放到myeclipse 的plugin文件夹下 ,不同hadoop对应不同版本,这个jar包也可以自己编译解压hadoop-2.5.0 tar.gz压缩包到windows本地,winrar可能解压不开,可以使用好压...
  • hadooplinux命令大全

    千次阅读 2018-09-09 15:28:30
    Linux的命令 source /etc/profile 文件生效命令 -->jsp(java)的检测 bin/hadoop checknative //...echo $HADOOP_HOME //查看hadoop的安装的目录 mysql service start //启动MySQL的服务 truncate table user; /...
  • [Hadoop] Linux用户和Hadoop用户权限

    千次阅读 2018-10-23 15:04:22
    1. 新建Linux用户组和用户 使用root用户登录Linux服务器,新建用户组和用户 [root@vm ~]# groupadd test ...使用HDFS超级用户在HDFS上为新建的Linux用户创建目录文件夹,并赋予权限 [root@vm ~]...
  • VMware中创建linux系统中安装hadoop

    千次阅读 2020-06-30 14:35:29
    一、hadoop的安装 hadoop安装的三种形式: 单机模式 伪分布式 基于yarn的完全分布式模式 安装前的准备: 一个纯净版的centos7 虚拟机,配置好静态ip,主机名,主机映射 配置静态ip:vi /etc/sysconfig/network-...
  • Hadoop Yarn Linux Container Executor配置

    千次阅读 2017-07-04 11:31:09
    Yarn Linux Container Executor配置概述:Yarn支持两种容器实现方式,一种是yarn容器,一种是Linux容器,Linux容器较比Yarn容器具有更好的扩展性和隔离性。本文将讲述Linux容器的配置。需要配置的文件有三: $HADOOP...
  • Linux安装hadoop步骤

    2016-12-26 16:23:06
    1、以root身份登录linux系统,在shell终端中输入如下命令创建用户hadoop useradd -m hadoop -s /bin/bash 2、使用如下命令修改hadoop用户的密码 passwd hadoop 3、为hadoop用户增加管理员权限 visudo 在打开...
  • Linux上安装Hadoop集群(CentOS7+hadoop-2.8.0)

    万次阅读 多人点赞 2017-05-11 23:13:17
    Linux上安装Hadoop集群(CentOS7+hadoop-2.8.0) 版本:CentOS7 Hadoop2.8.0 JDK1.8
  • Linux基础环境搭建(CentOS7)- 安装Hadoop 1 Hadoop下载及安装 Hadoop在大数据技术体系中的地位至关重要,Hadoop是大数据技术的基础,对Hadoop基础知识的掌握的扎实程度,会决定在大数据技术道路上走多远。 Hadoop...
  • 该教程系统环境为 Ubuntu15.04(其他版本的Linux操作系统可以借鉴) ,Hadoop版本为Hadoop2.6.0 #创建一个Hadoop的用户 在安装 Hadoop 之前,尽量创建一个专门的 Hadoop 用户,我的Hadoop用户名:hadoop,密码自己...
  • linux搭建hadoop平台

    2016-04-18 23:16:41
    linux搭建hadoop平台linux搭建hadoop平台 ...创建用户目录 开启deamons 进行具体的操作 关闭deamons软件预下载 hadoop: wget http://apache.fayea.com/hadoop/common/hadoop-2.6.4/hadoop-2.6.4-src.tar.gz wge
  • 如图,hadoop代表当前的用户为hadoop,master代表当前主机名,~代表当前所在的目录。查看当前目录的完成路径命令为pwd 2、 若在linux中执行命令时遇到permission denied,说明当前用户权限不够,可能需要切换至...
  •  出现了slave1:mkdir :无法创建目录"/opt/apps/hadoop/logs":权限不够  slave2:mkdir:无法创建目录"/opt/apps/hadoop/logs":权限不够 顾名思义肯定是slave1,和slave2不能自动创建日志文件,slave1,和slave2都是...
  • HadoopLinux系统中的安装及基本操作

    千次阅读 2016-06-18 08:07:38
    HadoopLinux系统中的安装、单节点设置、ssh免密登录及基本设置。
  • Hadoop之——Linux基本命令回顾

    千次阅读 2015-05-16 17:01:54
    1.通过远程工具登陆到linux... linux文件系统的树根成为根目录,使用符号"/"表示。  linux文件系统中使用符号".."表示上级目录。  linux文件系统中使用符号"."表示当前目录。  linux文件系统中,如果文件使用“.”
  • Linux部署hadoop2.7.7集群

    千次阅读 2019-02-08 15:01:12
    在CentOS7环境下,hadoop2.7.7集群部署的实战
  • 之前装python、jdk、hadoop都是用的root账户,这是一个绝对的失策,linux对用户访问权限很严格,新创的hod账户根本无法启动hadoop,而root在hod模式下使用torque是不被建议的,所以只能用hod账户再重新装一遍. ...
  • Hadoop学习目录导航

    2018-07-12 11:21:38
    Hadoop学习第一课(虚拟机安装) Hadoop第二课(安装JDK) 学习Hadoop第三课(Hadoop安装与配置) Hadoop第四课(Hadoop初始化和测试) Hadoop学习第五课(配置...Hadoop学习第八课(利用Java接口来操作Hadoop...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 52,181
精华内容 20,872
关键字:

hadooplinux创建目录

linux 订阅