精华内容
下载资源
问答
  • hadoop单机版

    2013-08-10 17:03:54
    hadoop单机版
  • Hadoop单机版

    2018-09-26 19:18:10
    1.Hadoop是Java开发需要在服务器上安装相对应的JDK1.7 ps:Linux默认自带JDK–openJDK–>Hadoop集群千万不要使用这个 2.将hadoop安装包上传到服务器hadoop版本2.x版本–>2.7.1 ps:实际开发中如需要...

    1.Hadoop是Java开发需要在服务器上安装相对应的JDK1.7
    ps:Linux默认自带JDK–openJDK–>Hadoop集群千万不要使用这个
    2.将hadoop安装包上传到服务器hadoop版本2.x版本–>2.7.1
    ps:实际开发中如需要其他安装包,请去官网下载
    3.进行解压到 /opt/software/下面
    在这里插入图片描述
    4.hadoop对应目录
    bin:hadoop最近的管理脚本和使用脚本的目录
    etc:Hadoop配置文件所在的目录
    包core-site.xml hdfs-site.xml yarn-site.xml mapred-site.xml
    ps:hadoop1.x版本是没有 yarn hadoop2.x之后提供的yarn
    include:对外提供的编程库文件(具体存在着静态和动态链接,这些文件都是C++定义,通常适用于MapReduce)
    lib:包含hadoop对外提供的编程静态和动态库,与include目录中的文件一起使用
    libexec:各种服务对应上的shell配置文件所在的目录
    sbin:hadoop管理脚本的目录,包括HDFS和YARN的各种启动服务。
    share:hadoop各个模块编译后jar包所在目录

    5.注册环境变量
    vi /etc/profile
    在这里插入图片描述

    让环境变量生效:source /etc/profile
    6.若在命令行中写had,使用tab键补齐,就证明 文件配置成功了
    在这里插入图片描述
    7.配置/opt/software/hadoop-2.7.1/etc/hadoop/hadoop-env.sh
    在这里插入图片描述

    案例演示:

    上传文件之后 运行了一个程序,这个程序时wordCount.txt
    hadoop jar /opt/software/hadoop-2.7.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7wordcount /root/input/wordCount.txt /root/output

    hadoop 是命令 执行jar包 路径:是当前jar包做存在的路径 wordcount是当前jar的类(这个类实现了单词统计的方法)
    后面的第一个路径是数据文件所存在的路径 第二个路径是得到结果输出的路径(不需要创建,成功之后自动创建)
    在这里插入图片描述
    输出路径中存在和这个两个文件 -SUCCESS 代表成功了
    数据在part-r-00000文件中
    ps: 不要有输出路径 因为是直接打印的
    hadoop jar /opt/software/hadoop-2.7.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar
    sudoku /root/input2/sodoku.txt
    ps:电脑性能不是特别好的就不要做了,算pi
    hadoop jar /opt/software/hadoop-2.7.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar
    pi 100 10000
    第一个值 100指的是运行100次map任务
    第二个值 每个次map 任务要提交10000个点
    修改最后的点值即可–>用于测试电脑性能

    展开全文
  • hadoop单机版安装教程

    2017-05-07 14:11:30
    hadoop单机版安装教程
  • 2_1 hadoop单机版安装
  • 搭建hadoop单机版+hbase单机版+pinpoint整合springboot
  • Hadoop,分布式的大数据存储和计算, 免费开源,本文介绍Hadoop单机版、集群安装步骤。
  • Hadoop单机版安装

    2021-09-22 19:30:26
    hadoop单机版安装流程如下: 创建一个用于管理hadood的用户(可新建或者使用已有的用户) 安装并配置ssh免密码登陆 安装Java环境 下载hadoop并配置环境变量 配置相关的Hadoop配置 验证hadoop安装并启动 创建先的用...

    hadoop单机版安装流程如下:

    1. 创建一个用于管理hadood的用户(可新建或者使用已有的用户)
    2. 安装并配置ssh免密码登陆
    3. 安装Java环境
    4. 下载hadoop并配置环境变量
    5. 配置相关的Hadoop配置
    6. 验证hadoop安装并启动

    创建先的用的用户
    没有用户则通过useradd username # 用户名 passwd username # 设置密码
    已存在可用的用户则直接切换当前用户:su username

    安装并配置ssh免密码登陆
    使用ssh-keygen -t rsa 或 注:使用ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa命令可避免交互式操作。
    在节点上将公钥拷到一个特定文件authorized_keys中。

    cd ~
    cd .ssh/
    cp id_rsa.pub authorized_keys
    

    在这里插入图片描述
    安装Java环境
    下载指定的jdk版本并上传到服务器并解压:tar zxf 你的jdk.tar.gz
    jdk下载地址为:

    http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads1880260.html

    设置PATH和JAVA_HOME变量,添加以下命令到vim ~/.bash_profile文件。

    export JAVA_HOME=/usr/local/jdk
    export PATH=PATH:$JAVA_HOME/bin 
    

    验证Java是否安装成功:
    在这里插入图片描述
    下载hadoop并配置环境变量
    hadoop下载地址为:https://hadoop.apache.org/releases.html
    将hadoop下载并解压
    在这里插入图片描述
    配置hadoop的环境变量vim ~/.bash_profile在base_profile文件追加一下内容:

    
     1. List item
    
    export HADOOP_HOME=/app/hadoop/hadoop
    export HADOOP_MAPRED_HOME=$HADOOP_HOME
    export HADOOP_COMMON_HOME=$HADOOP_HOME
    export HADOOP_HDFS_HOME=$HADOOP_HOME
    export YARN_HOME=$HADOOP_HOME
    export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
    export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
    export HADOOP_INSTALL=$HADOOP_HOME
    

    然后刷新配置环境:source ~/.bash_profile
    通过hadoop version检查Hadoop是否可以正常工作。
    在这里插入图片描述
    以上图所示表示正常。

    配置相关的Hadoop配置
    hadoop的配置文件所在位置为hadoop所安装的根目录etc/hadoop目录下,简单配置如下:

    1. 配置hadoop-env.sh,重新选择jdk, export JAVA_HOME=/usr/local/jdk1.7.0_71
      在这里插入图片描述
    2. 配置core-site.xml
      core-site.xml主要用于配置读/写缓冲器用于Hadoop的实例的端口号的信息,分配给文件系统存储,用于存储所述数据存储器的限制和大小。
      在 configuration中新增一下配置:
      <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
      </property>
      <property>
        <name>hadoop.native.lib</name>
        <value>false</value>
        <description>Should native hadoop libraries, if present, be used.</description>
      </property>
    
    1. 配置hdfs的配置hdfs-site.xml
      <property>
        <name>dfs.replication</name>
        <value>1</value>
      </property>
      <property>
        <name>dfs.name.dir</name>
        <value>file:/Users/luchengwen/data/hadoop/data/datanode </value>
     </property>
      
     <property>
        <name>dfs.data.dir</name> 
        <value>file:/Users/luchengwen/data/hadoop/data/datanode </value> 
     </property>
     <property>
      <name>dfs.data.dir</name> 
      <value>file:/Users/luchengwen/data/hadoop/data/tmp </value> 
    </property>
    
    
    1. 配置yarn,具体配置文件在yarn-site.xml
       <property>
        <name>yarn.nodemanager.aux-services</name> 
        <value>mapreduce_shuffle</value>
       </property>
    
    1. 配置mapreduce,具体配置文件在mpred-site.xml
     <property> 
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
     </property>
    

    验证hadoop安装并启动
    格式化一个新的分布式文件系统:

    bin/hadoop namenode -format
    

    启动hadoop(启动脚本在sbin目录下):

    ./start-all.sh
    

    在这里插入图片描述
    通过页面检查是否成功:
    浏览NameNode和JobTracker的网络接口,它们的地址默认为:http://127.0.0.1:8088/cluster/apps/RUNNING
    在这里插入图片描述

    通过jps检查是否启动成功:
    在这里插入图片描述
    详细的配置请参考官方文档,官方连接为

    展开全文
  • hadoop单机版配置

    千次阅读 2018-11-29 22:19:49
    hadoop单机版配置必要前置软件安装HADOOP纯单机版和伪分布式 必要前置软件 首先是jdk,因为hadoop是基于java编写的。 然后是ssh,因为需要使用远程启动hadoop的守护进程——是的,即使是单机版,也会在本机使用...

    必要前置软件

    首先是jdk,因为hadoop是基于java编写的。
    然后是ssh,因为需要使用远程启动hadoop的守护进程——是的,即使是单机版,也会在本机使用ssh远程操作。

    安装HADOOP

    我使用的是JDK1.8和HADOOP2.6.5
    首先当然是解压下载的压缩包。然后在hadoop-2.6.5/etc/hadoop/hadoop-env.sh中修改
    export JAVA_HOME=安装的jdk路径
    export HADOOP_PREFIX=安装的hadoop路径
    到了这一步,其实已经完成了安装,但是还有很多可以优化的地方。

    纯单机版和伪分布式

    hadoop有三种模式,一种是纯单机版,一种是伪分布式,最后一种就是完全分布式,前面两种都可以在单机版上实现。第一种纯单机版最简单,不需要做任何操作,直接cd hadoop-2.6.5进入根目录,然后就可以使用bin/hadoop命令
    那么这样,就显示安装成功了。
    可以使用以下命令:

    $bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.5.jar wordcount /usr/local/apps/input.txt output
    

    这一行命令是调用了hadoop自带的一个词频统计的实例程序,最后两个参数就是输入和输出,可以根据自身情况修改。
    这是我的一个测试文件input.txt:

    hello hello hello
    wait wait
    world
    

    而第二种伪分布式,就是将hadoop以多进程的方式启动。
    首先编辑etc/hadoop/core-site.xml

    <configuration>
        <property>
            <name>fs.defaultFS</name>
            <value>hdfs://localhost:9000</value>
        </property>
    </configuration>
    

    编辑etc/hadoop/hdfs-site.xml

    <configuration>
        <property>
            <name>dfs.replication</name>
            <value>1</value>
        </property>
    </configuration>
    

    设置好伪分布式后,需要在初次启动hadoop前进行初始化:

    $bin/hdfs namenode -format
    

    在启动之前,说一下之前安装的ssh,因为是伪分布式,所以启动每一个进程,例如namenode,都需要进行ssh,这里可以进行免密登陆,减少步骤,否则在启动namenode和datanode的时候都要输入密码

      $ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
      $ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
    

    然后启动namenode和datanode:

     $ sbin/start-dfs.sh
    

    启动完成后,可以在浏览器上查看节点运行情况:http://localhost:50070/
    在这里插入图片描述伪分布式同样可以使用hadoop自带的词频统计程序,但是首先要将文件上传到hdfs.需要注意的是,在hdfs上,会自动在/user/user name这个文件夹中寻找目标文件,因此,必须先创建这个文件:

      $ bin/hdfs dfs -mkdir /user
      $ bin/hdfs dfs -mkdir /user/<username>
    

    创建文件夹当然需要一步步来,然后再上传文件。

    $ bin/hdfs dfs -put input.txt /user/<user name>
    

    同理,还需要创建一个output文件。

    这样就能顺利执行以下命令了吗?

     $ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.5.jar wodcount input.txt output
    

    还不够啊,还需要启动yarn,首先需要更改一下设置:
    etc/hadoop/mapred-site.xml:

    <configuration>
        <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
        </property>
    </configuration>
    

    etc/hadoop/yarn-site.xml:

    <configuration>
        <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
        </property>
    </configuration>
    

    之后就可以启动yarn:

      $ sbin/start-yarn.sh
    

    同样的,启动后,可以在浏览器查看http://localhost:8088/:
    在这里插入图片描述好了,现在就可以执行wordcount的命令了:

     $ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.5.jar wordcount input.txt output
    

    在这里插入图片描述这是执行过程,完毕后可使用:

      $ bin/hdfs dfs -get output output
      $ cat output/*
    

    或者

      $ bin/hdfs dfs -cat output/*
    

    进行查看
    在这里插入图片描述最后说一下,java有一个比较实用的功能,就是jps,可以查看伪分布式的启动后的进程,当然,必须把jdk写进环境变量里。

    以上内容来自hadoop的官方文档:https://hadoop.apache.org/docs/r2.6.5/hadoop-project-dist/hadoop-common/SingleCluster.html#Fully-Distributed_Operation

    展开全文
  • 这是本人精心整理和编写的Hadoop单机版配置。详细描述了每一个步骤
  • hadoop 单机版部署

    2019-08-06 23:41:26
    Mac Hadoop 单机版部署 确定以安装 brew 使用brew 安装 hadoop 下载有点慢,可以配置 brew 源,一般 brew 安装的软件默认安装在 /usr/local/Cellar 目录下 brew install hadoop 配置SSH localhost 设置免密...

    Hadoop 学习

    Mac Hadoop 单机版部署

    1. 确定以安装 brew

    2. 使用brew 安装 hadoop

    下载有点慢,可以配置 brew 源,一般 brew 安装的软件默认安装在 /usr/local/Cellar 目录下

    brew install hadoop 
    
    1. 配置SSH localhost

    设置免密登录 localhost

    ssh-keygen -t rsa
    
    cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
    
    ssh localhost // 测试是否成功
    
    1. 修改hadoop配置文件

    配置文件路径:/usr/local/Cellar/hadoop/3.1.1/libexec/etc/hadoop

    core-site.xml

    <configuration>
        <property>
            <name>hadoop.tmp.dir</name>
            <value>/usr/local/Cellar/hadoop/hdfs/tmp</value>
            <description>A base for other temporary directories.</description>
        </property>
        <property>
            <name>fs.default.name</name>
            <value>hdfs://localhost:9000</value>
        </property>
    </configuration>
    

    mapred-site.xml

    <configuration>
        <property>
            <name>mapred.job.tracker</name>
            <value>localhost:9010</value>
        </property>
    </configuration>
    

    hdfs-site.xml

    <configuration>
        <property>
            <name>dfs.replication</name>
            <value>1</value>
        </property>
        <property>
            <name>dfs.http.address</name>
            <value>0.0.0.0:50070</value>
        </property>
    </configuration>
    
    1. 运行前需先格式化

    执行路径:/usr/local/Cellar/hadoop/3.1.1/bin

    ./hdfs namenode -format
    

    启动路径:/usr/local/Cellar/hadoop/3.1.1/sbin

    ./start-dfs.sh  #启动HDFS
    ./stop-dfs.sh  #停止HDFS,当然不是现在停止啦
    
    1. 查看启动情况

    http://localhost:50070

    $ jps
    
    5699 ResourceManager
    6019 Jps
    5508 SecondaryNameNode
    5797 NodeManager
    5270 NameNode
    32380 
    5373 DataNode
    
    展开全文
  • Hadoop单机版环境搭建

    2020-06-25 18:59:42
    Hadoop单机版环境搭建 一、前置条件 Hadoop 的运行依赖 JDK,需要预先安装,安装步骤见: Linux 下 JDK 的安装 二、创建hadoop账号 ####1、使用root账号登录,通过useradd增加用户: useradd -m hadoop -s /bin/...
  • Hadoop单机版详细安装

    2020-04-30 16:02:30
    Hadoop单机版安装1.环境要求:2.Hadoop 安装 1.环境要求: Jdk安装(如果运行出现权限问题,请自行加sudo,或更改文件权限chmod) –解压 tar -zxvf jdk-8u201-linux-x64.tar.gz –C /usr/local –重命名 mv /usr/...
  • APM监控Pinpoint( 以集成springboot项目为例 )-搭建hadoop单机版+hbase单机版+pinpoint整合springboot-附件资源
  • centos7下安装Hadoop单机版安装前提:java环境。一、安装下载二、配置hadoop环境变量①、vim core-site.xml 添加如下配置②、vim hadoop-env.sh 配置成你自己的jdk安装路径③、vim hdfs-site.xml 添加如下内容:④、...
  • 大数据云计算技术系列 hadoop单机版搭建图文详解(共14页).rar
  • hadoop单机版配置文件

    2014-06-21 15:24:34
    我成功的配置了Hadoop单击版和集群版,里面既有单机版,也有完全分布式版本;
  • 本文所使用的Linux发行版本为:CentOS Linux release 7.4.1708 (Core) ...hadoop单机版安装 准备工作 创建用户 useradd -m hadoop passwd hadoop 下载安装包 1.jdk 到官方下载页面http://www.oracle...
  • hadoop单机版安装

    2019-08-02 11:40:47
    NULL 博文链接:https://turnround.iteye.com/blog/1974337
  • 初识Hadoop之Hadoop单机版搭建

    千次阅读 2017-11-19 23:29:10
    Hadoop,集群,单机
  • hadoop单机版搭建 hadoop基础平台单击部署 author:lgm EMAIL:2996244047@qq.com(qq邮箱一上来,瞬间low到起飞) 修改/etc/hosts [root@westgis167~]# hostnamectl set-hostname hadoop [root@westgis167~]# su - ...
  • Hadoop单机版搭建

    2020-05-20 16:24:08
    1. Jar包准备 ...hadoop-2.7.2-src.tar.gz ,apache-maven-3.6.0-bin.tar.gz,apache-ant-1.9.15-bin.tar.gz,protobuf-2.5.0.tar.gz 1.1 安装maven # 1. 解压maven包 tar -zxvf apache-maven-3.6.0-bin.tar.g

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 25,443
精华内容 10,177
关键字:

hadoop单机版