精华内容
下载资源
问答
  • HDFS-本地模式的搭建

    2019-01-09 10:48:51
    文章目录本地模式安装步骤(1)安装linux操作系统(2)安装java(如果存在系统自带java,请先卸载)(3)安装hadoop 本地模式安装步骤 (1)安装linux操作系统 1.虚拟机VMware-workstation 模拟一台计算机硬件环境...

    本地模式安装步骤

    (1)安装linux操作系统

    1.虚拟机VMware-workstation

    模拟一台计算机硬件环境,可以在此环境下安装操作系统

    2.虚拟机的安装

    (1)查询计算机是否禁止使用虚拟技术
    去bios里查看
    Inter Virtualization technology
    inter-VT
    如果是禁止,设置为enable。
    之后保存退出。重启电脑

    (2)安装

    (3)破解,去百度搜一下相应版本的破解码即可。

    (4)安装后,网络中心会多出两个虚拟网卡
    vmnet1,vmnet8。
    ps:两个网卡的ip,可能会发生变化

    (5)ctrl+g是进入虚拟机界面;ctrl+alt是退出虚拟机界面,回到主机

    建议: 内存设置为1G
      DeskTop----桌面版
      Basic Server--基础服务版
    

    (2)安装java(如果存在系统自带java,请先卸载)

    查询是否有其他版本java

    rpm -qa | grep java

    卸载其他版本java

    rpm -e --nodeps javaxxxxxxxxxx

    创建软连接(方便用于多版本或后期版本升级)

    ln -s jdk的路径(bin的父目录) /xx/jdk(与Java目录同一父目录下)

    配置环境变量

    vi ~/.bashrc

      		JAVA_HOME=jdk软连接的路径
      		PATH=$PATH:$JAVA_HOME/bin
      		export JAVA_HOME PATH
    

    source ~/.bashrc

    测试

    java -version

    (3)安装hadoop

    解压hadoop文件

    tar -zxvf 文件名

    删除安装包

    rm 文件名

    创建软连接

    ln -s hadoop的路径 /xx/hadoop(与hadoop同一父目录下)

    配置环境变量:

    vim ~/.bashrc

      		HADOOP_HOME=hadoop软连接的路径
      		PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
      		export HADOOP_HOME PATH
    

    source ~/.bashrc

    测试

    hadoop version

    展开全文
  • HDFS安全模式

    2018-09-06 10:51:01
    安全模式下,主要是读取存储在本地的文件 安全模式下,不允许对HDFS进行操纵 当读取完所有数据之后,安全模式会自动关闭 开启HDFS模式 第一步:在/opt/modules/hadoop-2.7.3/etc/hadoop找到core-site.xml和hdfs-...

    Liunx下的HDFS安全模式:

    HDFS启动的时候会先进入安全模式:

    1. 安全模式下,主要是读取存储在本地的文件
    2. 安全模式下,不允许对HDFS进行操纵
    3. 当读取完所有数据之后,安全模式会自动关闭

    开启HDFS模式

    第一步:在/opt/modules/hadoop-2.7.3/etc/hadoop找到core-site.xml和hdfs-site.xml下载下来,下载到hadoop项目的main下resources中

     

    第二步:编写HFDS文件:

    import org.apache.hadoop.conf.Configuration;
    import org.apache.hadoop.fs.FSDataInputStream;
    import org.apache.hadoop.fs.FileSystem;
    import org.apache.hadoop.fs.Path;
    import org.apache.hadoop.io.IOUtils;
    
    import java.io.IOException;
    
    /**
     * 需要操作HDFS,需要找到NameNode
     * NameNode是一个服务
     * 主机名+端口
     */
    public class HFDSDemo {
        public static void main(String[] args) throws IOException {
    //读取配置文件:从右往左写,从下往上写
             Configuration configuration=new Configuration();
            //获取HDFS文件系统
            //
            FileSystem hdfs=FileSystem.get(configuration);
           //需要读取文件的路径
            Path path = new Path("/datas/input/input.data");
            //读取文件
            FSDataInputStream fsDataInputStream=hdfs.open(path);
    
            IOUtils.copyBytes(fsDataInputStream,System.out,4096,false);
    
        }
    }

    第三步:运行成功:

    错误解析:

    问题一:无法访问

    解决问题:你忘记了启动。

    问题二:找不到文件

    解决问题:在50070下找到文件路径

     

    展开全文
  • (1)hdfs的配置 /opt/modules/hadoop-2.5.0-cdh5.3.6/etc/hadoop/core-site.xml 添加:<property> <name>fs.defaultFS</name> <!-- 可以通过命令hostname 查看...

    (1)hdfs的配置  /opt/modules/hadoop-2.5.0-cdh5.3.6/etc/hadoop/core-site.xml

     添加:

    <property>
    <name>fs.defaultFS</name>
    <!-- 可以通过命令hostname 查看主机名字  这里的主机名字是hadoop1-->
    <value>hdfs://hadoop1:8020</value>
    </property>
    <!--覆盖掉core-default.xml中的默认配置-->
    <!--hadoop运行时的数据临时目录-->
    <property>
    <name>hadoop.tmp.dir</name>
    <!--自己创建的目录 mkdir data;cd data; mkdir tmp-->
    <value>/opt/modules/hadoop-2.5.0-cdh5.3.6/data/tmp</value>

    </property>

    (2)修改 hdfs-site.xml

    <!--数据的备份数量  为分布式 备一份就行了 -->
    <property>
            <name>dfs.replication</name>
            <value>1</value>

      </property>

    (3)格式化文件系统  清空之前旧数据  如果不知道命令 可以打bin/hdfs 然后回车 就会显示所有的命令


     执行:  bin/hdfs namenode -format  

    (4)启动 namenode  datanode   启动脚本在sbin目录下

             namenode 主节点  负责管理数据

            datanode  是从节点 负责存储数据 

       启动namenode: sbin/hadoop-daemon.sh  start namenode
      启动datanode:sbin/hadoop-daemon.sh  start datanode 
      jps 查看一下 有2个jvm进程 

          

         日志在/opt/modules/hadoop-2.5.0-cdh5.3.6/logs 中   如果有报错 查看这里的日志文件 自行搜索

     (5)提供了 web访问界面 

     linuxIp:50070


    点击Browse the file system 菜单 可以查看文件系统的一些信息

    (6)hdfs 创建文件夹 到/opt/modules/hadoop-2.5.0-cdh5.3.6 目录下

     bin/hdfs dfs -mkdir -p /user/root

     然后按照(5)中的Browse the file system菜单 查看


    也可以用命令:bin/hdfs dfs -ls -R  /


    (7) 例子

    1)执行: bin/hdfs dfs -mkdir -p /user/root/mapreduce/wordcount/input

    2)把本地的已存在的一个文件(上一篇博客创建的)上传到/user/root/mapreduce/wordcount/input 下边

    bin/hdfs dfs -put wcinput/wc.input  /user/root/mapreduce/wordcount/input/

    3)查看是否上传成功 可以用命令 也可点击(5)中说的菜单查看

    bin/hdfs dfs -ls -R /

    也可以读取内容

    bin/hdfs dfs -cat  /user/root/mapreduce/wordcount/input/wc.input

    4)在运行单词统计程序 此时的输入时从hdfs文件系统中读取的 不再是本地(上一篇博客)

    bin/hadoop jar  share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0-cdh5.3.6.jar wordcount /user/root/mapreduce/wordcount/input /user/root/mapreduce/wordcount/output

    执行成功按照点击步骤(5)中的菜单 进去看是否生成output


    用程序读取一下结果中的内容:

    bin/hdfs dfs -cat /user/root/mapreduce/wordcount/output/part-r-00000




    注: hdfs有很多命令 可以通过 bin/hdfs 回车查看


    比如这里有一个dfsadmin(很重要的一个命令 dfs管理员) 接着查看bin/hdfs dfsadmin 回车


    可以看到有功能 其中 -report -safemode -refresh 等 都很常用

    展开全文
  • spark任务读取hdfs文件在hdfs HA模式时识别不了 UnknownHostExecption ava.lang.IllegalArgumentException: java.net.UnknownHostException:ha at org.apache.hadoop.security.SecurityUtil.buildTokenService...

    spark任务读取hdfs文件在hdfs HA模式时识别不了 UnknownHostExecption

    ava.lang.IllegalArgumentException: java.net.UnknownHostException:ha
       at org.apache.hadoop.security.SecurityUtil.buildTokenService(SecurityUtil.java:418)
       at org.apache.hadoop.hdfs.NameNodeProxies.createNonHAProxy(NameNodeProxies.java:231)
       at org.apache.hadoop.hdfs.NameNodeProxies.createProxy(NameNodeProxies.java:139)
       at org.apache.hadoop.hdfs.DFSClient.<init>(DFSClient.java:510)
       at org.apache.hadoop.hdfs.DFSClient.<init>(DFSClient.java:453)
       at org.apache.hadoop.hdfs.DistributedFileSystem.initialize(DistributedFileSystem.java:136)
       at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2433)
       at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:88)
       at org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:2467)
       at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:2449)
       at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:367)
    

    原因是spark配置文件中没有hdfs的配置文件
    解决:
    1,把/opt/hadoop-2.6.4/etc/hadoop/下 hdfs-site.xml 与core-site.xml两个文件 拷贝到spark所有节点下的spar/conf/目录下
    2,更改spark-defaults.conf文件 mv spark-defaults.conf.template spark-defaults.conf
    3,修改spark-defaults.conf,在后面加入文件路径
    spark.files file:///opt/spark-1.6.1-bin-hadoop2.6/conf/hdfs-site.xml,file:///opt/spark-1.6.1-bin-hadoop2.6/conf/core-site.xml
    在这里插入图片描述
    4,重启spark,重新提交任务。

    展开全文
  • hostname查询用户名 Use the following:etc/hadoop/core-site.xml: <name>fs.defaultFS <value>hdfs://用户名:8020 <property>
  • hadoop2.5.2的本地模式、伪分布式集群、分布式集群和HDFS系统的高可用的环境搭建.docx hadoop2.5.2的本地模式、伪分布式集群、分布式集群和HDFS系统的高可用的环境搭建.docx hadoop2.5.2的本地模式、伪分布式集群、...
  • 实验二:验证NameNode启动时确实会进入安全模式,如果未达到配置文件规定个数的DataNode启动,会一直处于安全模式,直到达到规定个数的DataNode都启动后,才会退出安全模式 实验三:验证在NameNode进程运行过程中,...
  • ubuntu 上搭建hdfs单机模式

    千次阅读 2018-01-25 13:35:46
    1. 为了 方便以后对hadoop的管理,我们 需要增加一个hadoop用户,   addgroup hadoop ...adduser -ingroup hadoop hadoop ...单机模式安装完成,下面会出伪分布式模式和分布式模式
  • hdfs的运行模式

    2020-06-13 11:02:30
    本地模式: fs.defaultFS=file:/// 分布式模式: fs.defaultFS=hdfsL//
  • hdfs配置sasl模式

    千次阅读 2018-04-19 17:01:42
    因为DataNode数据传输协议不使用Hadoop RPC框架,DataNode必须使用由dfs.datanode.address和dfs.datanode....以root用户身份执行hdfs datanode命令时,服务器进程首先绑定特权端口,然后删除特权并以HADO...
  • 搭建hdfs伪分布式模式

    2018-01-25 14:34:25
    1.在上一篇单机模式的基础上配置xml 修改core-site.xml, vi etc/hadoop/core-site.xml    fs.defaultFS  hdfs://localhost:9000   修改hdfs-site.xml, vi etc/hadoop/hdfs-site.xml ...
  • 文章目录HDFS启动过程安全模式安全模式的管理命令常用参数HDFS shell命令HDFS读取数据流程JAVA操作HDFS配置文件的优先级通过API下载HDFS上的文件 HDFS启动过程 第一次启动 第一次启动需要格式化namenode, 创建...
  • HDFS

    千次阅读 2019-10-24 23:05:20
    文章目录HDFS概述介绍应用场景适合的场景不适合的场景架构NameNode和DataNodeHDFS的副本机制和机架感知HDFS命令行使用HDFS的高级命令使用HDFS的文件限额配置数量限额空间大小限额hdfs的安全模式安全模式操作命令HDFS...
  • 本次HDFS-HA模式搭建基于之前的完全分布式,完全分布式搭建可参考之前的内容: hadoop安装环境准备和关联知识解析 hadoop分布式安装及配置初步解析(坑坑不息) 概括性来说,大概分为如下几个部分: JDK安装和JAVA_...
  • fuse_dfs挂载HDFS本地

    2019-06-26 14:03:15
    希望通过挂载方式,能够像使用本地文件系统一样,访问与操作hdfs数据。 同时为容灾,可以考虑进行hdfs的数据备份。 以下操作依赖hadoop3.x源码项目提前编译好: 传送门: 编译apache hadoop3.0.2 一、构建...
  •  * 我们利用通配符和PathFilter 对象,将本地多种格式的文件上传至 HDFS文件系统,并过滤掉 txt文本格式以外的文件。  */ import java.io.IOException; importjava.net.URI; importjava.net....
  • 本地连接hdfs操作

    2020-07-21 11:43:23
    注意:cdh环境hdfs端口是8020,hadoop环境hdfs端口是9000 1.pom.xml文件 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi=...
  • 通过NFSv3挂载HDFS本地目录 -- 2安装配置hdfs-nfs网关 4. 透过NFS访问hdfs 最重要的参考文档是这篇,来自官方 ...
  • idea 本地运行hdfs程序

    2019-08-25 18:51:34
    本地开发IDEA 开发hdfs api 1.先下载window环境编译好的Hadoop安装包,到安装目录下 注意一定得要有(winutils.exe)这个文件 下载地址:https://pan.baidu.com/s/1tcwFOjbQJlFKR-t5S_wxxw 2.跟配置jdk环境变量一样...
  • 表数据的导出、导入(HDFS本地) 文章目录表数据的导出、导入(HDFS本地)数据导入1 向表中装载数据(Load)2 通过查询语句向表中插入数据(Insert)3 查询语句中创建表并加载数据(As Select)4 创建表时通过...
  • idea本地运行hdfs程序

    千次阅读 2017-05-18 18:02:50
    上一篇文章已经搭建好了hadoop单机模式的服务,现在我们要在本地idea上操作hdfs。 首先创建一个maven工程 1.目录结构   2.pom.xml junit junit 3.8.1 test org.apache.hadoop hadoop-core 2.6.0-...
  • 通过官网配置 运行一些提供的示例 PI : [hyxy@master hadoop]$ hadoop jar /home/hyxy/soft/...1)本地创建aaa.txt文件 hello world hello hyxy 2)通过hadoop指令上传到伪分模式下 [hyxy@master hadoop]$ hadoop fs
  • 采用三台虚拟机,分别搭建hadoop的单节点、伪分布式、分布式及HDFS的高可用性的日志管理

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 45,669
精华内容 18,267
关键字:

hdfs本地模式