精华内容
下载资源
问答
  • Hadoop单机版安装

    2021-09-22 19:30:26
    hadoop单机版安装流程如下: 创建一个用于管理hadood的用户(可新建或者使用已有的用户) 安装并配置ssh免密码登陆 安装Java环境 下载hadoop并配置环境变量 配置相关的Hadoop配置 验证hadoop安装并启动 创建先的用...

    hadoop单机版安装流程如下:

    1. 创建一个用于管理hadood的用户(可新建或者使用已有的用户)
    2. 安装并配置ssh免密码登陆
    3. 安装Java环境
    4. 下载hadoop并配置环境变量
    5. 配置相关的Hadoop配置
    6. 验证hadoop安装并启动

    创建先的用的用户
    没有用户则通过useradd username # 用户名 passwd username # 设置密码
    已存在可用的用户则直接切换当前用户:su username

    安装并配置ssh免密码登陆
    使用ssh-keygen -t rsa 或 注:使用ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa命令可避免交互式操作。
    在节点上将公钥拷到一个特定文件authorized_keys中。

    cd ~
    cd .ssh/
    cp id_rsa.pub authorized_keys
    

    在这里插入图片描述
    安装Java环境
    下载指定的jdk版本并上传到服务器并解压:tar zxf 你的jdk.tar.gz
    jdk下载地址为:

    http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads1880260.html

    设置PATH和JAVA_HOME变量,添加以下命令到vim ~/.bash_profile文件。

    export JAVA_HOME=/usr/local/jdk
    export PATH=PATH:$JAVA_HOME/bin 
    

    验证Java是否安装成功:
    在这里插入图片描述
    下载hadoop并配置环境变量
    hadoop下载地址为:https://hadoop.apache.org/releases.html
    将hadoop下载并解压
    在这里插入图片描述
    配置hadoop的环境变量vim ~/.bash_profile在base_profile文件追加一下内容:

    
     1. List item
    
    export HADOOP_HOME=/app/hadoop/hadoop
    export HADOOP_MAPRED_HOME=$HADOOP_HOME
    export HADOOP_COMMON_HOME=$HADOOP_HOME
    export HADOOP_HDFS_HOME=$HADOOP_HOME
    export YARN_HOME=$HADOOP_HOME
    export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
    export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
    export HADOOP_INSTALL=$HADOOP_HOME
    

    然后刷新配置环境:source ~/.bash_profile
    通过hadoop version检查Hadoop是否可以正常工作。
    在这里插入图片描述
    以上图所示表示正常。

    配置相关的Hadoop配置
    hadoop的配置文件所在位置为hadoop所安装的根目录etc/hadoop目录下,简单配置如下:

    1. 配置hadoop-env.sh,重新选择jdk, export JAVA_HOME=/usr/local/jdk1.7.0_71
      在这里插入图片描述
    2. 配置core-site.xml
      core-site.xml主要用于配置读/写缓冲器用于Hadoop的实例的端口号的信息,分配给文件系统存储,用于存储所述数据存储器的限制和大小。
      在 configuration中新增一下配置:
      <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
      </property>
      <property>
        <name>hadoop.native.lib</name>
        <value>false</value>
        <description>Should native hadoop libraries, if present, be used.</description>
      </property>
    
    1. 配置hdfs的配置hdfs-site.xml
      <property>
        <name>dfs.replication</name>
        <value>1</value>
      </property>
      <property>
        <name>dfs.name.dir</name>
        <value>file:/Users/luchengwen/data/hadoop/data/datanode </value>
     </property>
      
     <property>
        <name>dfs.data.dir</name> 
        <value>file:/Users/luchengwen/data/hadoop/data/datanode </value> 
     </property>
     <property>
      <name>dfs.data.dir</name> 
      <value>file:/Users/luchengwen/data/hadoop/data/tmp </value> 
    </property>
    
    
    1. 配置yarn,具体配置文件在yarn-site.xml
       <property>
        <name>yarn.nodemanager.aux-services</name> 
        <value>mapreduce_shuffle</value>
       </property>
    
    1. 配置mapreduce,具体配置文件在mpred-site.xml
     <property> 
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
     </property>
    

    验证hadoop安装并启动
    格式化一个新的分布式文件系统:

    bin/hadoop namenode -format
    

    启动hadoop(启动脚本在sbin目录下):

    ./start-all.sh
    

    在这里插入图片描述
    通过页面检查是否成功:
    浏览NameNode和JobTracker的网络接口,它们的地址默认为:http://127.0.0.1:8088/cluster/apps/RUNNING
    在这里插入图片描述

    通过jps检查是否启动成功:
    在这里插入图片描述
    详细的配置请参考官方文档,官方连接为

    展开全文
  • hadoop单机版安装

    2019-08-02 11:40:47
    NULL 博文链接:https://turnround.iteye.com/blog/1974337
  • hadoop单机版安装教程

    2017-05-07 14:11:30
    hadoop单机版安装教程
  • 这是本人精心整理和编写的Hadoop单机版配置。详细描述了每一个步骤
  • 2_1 hadoop单机版安装
  • 完成VMware station的安装以及ubuntu镜像文件的安装,xshell,xftp软件的安装以及jdk的配置 VMware station(ubuntu镜像文件)、xshell、xftp的安装以及连接配置jdk环境 二、安装步骤 1.之前已经上传过hadoop的压缩包...

    一、前提条件

    完成VMware station的安装以及ubuntu镜像文件的安装,xshell,xftp软件的安装以及jdk的配置

    VMware station(ubuntu镜像文件)、xshell、xftp的安装以及连接配置jdk环境

    二、安装步骤

    1.之前已经上传过hadoop的压缩包了,所以这里直接进行解压:

    sudo tar xvf hadoop-2.7.2.tar.gz
    

    在这里插入图片描述

    2.解压之后将其移动到之前的hadoop文件夹里面去

    sudo mv hadoop-2.7.2 /home/java
    

    在这里插入图片描述

    3.配置hadoop的环境变量,进入后:
    sudo vi .profile
    在这里插入图片描述

    4.将环境变量复制到文件的最下面,注意配置的文件夹,我这里是home下面的Java文件夹,前面都配的java,防止出现其他错误暂时就不改了:
    export HADOOP_HOME=/home/java/hadoop-2.7.2
    export CLASSPATH=.: J A V A H O M E / l i b : JAVA_HOME/lib: JAVAHOME/lib:JRE_HOME/lib: C L A S S P A T H : CLASSPATH: CLASSPATH:HADOOP_HOME/share/hadoop/common/hadoop-common-2.7.2.jar: H A D O O P H O M E / s h a r e / h a d o o p / m a p r e d u c e / h a d o o p − m a p r e d u c e − c l i e n t − c o r e − 2.7.2. j a r : HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-client-core-2.7.2.jar: HADOOPHOME/share/hadoop/mapreduce/hadoopmapreduceclientcore2.7.2.jar:HADOOP_HOME/share/hadoop/common/lib/commons-cli-1.2.jar
    export PATH= J A V A H O M E / b i n : JAVA_HOME/bin: JAVAHOME/bin:JRE_HOME/bin: H A D O O P H O M E / s b i n : HADOOP_HOME/sbin: HADOOPHOME/sbin:HADOOP_HOME/bin:$PATH

    上面那个进去了之后将内容复制完了我发现按esc没有用,然后可以用shift+:后输入wq!,强制保存并退出。

    5.配置完了之后输入source /etc/profile,更新配置
    然后输入hadoop version,查看是否配置成功。

    三、配置失败后解决方法

    在这里插入图片描述

    我这里查看是否配置成功的时候出现了这个问题,后面发现是之前配置的jdk环境有问题,因为我的java文件夹下面没有jdk1.8这个文件夹,所以要改一下Java_home的配置

    在这里插入图片描述

    改好之后:shift+:wq! 强制保存后退出,然后source /etc/profile ,输入Java -version,显示jdk环境已经没问题了,然后再重复以上的3、4步骤,完成后hadoop version显示安装成功。

    在这里插入图片描述

    展开全文
  • CentOS安装Hadoop单机版

    万次阅读 多人点赞 2019-01-17 11:17:45
    1、首先安装jdk 下载jdk-7u45-linux-x64.tar.gz 地址https://pan.baidu.com/s/1HlkngnG5H8JAdm0zYezEyg 提取码3z6s 放到/usr/local目录下 解压jdk, tar -zxvfjdk-7u45-linux-x64.tar.gz 配置环境变量 vim...

    1、首先安装jdk

    下载jdk-7u45-linux-x64.tar.gz    地址https://pan.baidu.com/s/1HlkngnG5H8JAdm0zYezEyg    提取码3z6s

    放到/usr/local目录下

    解压jdk,

    tar -zxvf jdk-7u45-linux-x64.tar.gz

    配置环境变量   vim /etc/profile  在文件末尾加上

    JAVA_HOME=/usr/local/jdk1.7.0_45
    export JAVA_HOME
    export PATH=$JAVA_HOME/bin:$PATH

    刷新环境变量配置  source /etc/profile

    测试jdk安装是否成功,显示如下截图代表成功  java -version

    2、安装hadoop2.9.2   下载hadoop2.9.2  地址http://mirrors.hust.edu.cn/apache/hadoop/common/

    放到 /usr/local目录下 

    解压   tar -zxvf hadoop-2.9.2.tar.gz    查看 ll

    配置hadoop环境变量   vim /etc/profile   添加如下配置

    export HADOOP_HOME=/usr/local/hadoop-2.9.2
    export PATH=$HADOOP_HOME/bin:$PATH

    重新刷新配置 source /etc/profile

    查看版本  hadoop version

    配置几个配置文件,路径是  cd /usr/local/hadoop-2.9.2/etc/hadoop/

    vim core-site.xml   添加如下配置

    <property>
        <name>fs.defaultFS</name>
        <!-- 这里填的是你自己的ip,端口默认-->
        <value>hdfs://192.168.124.144:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <!-- 这里填的是你自定义的hadoop工作的目录,端口默认-->
        <value>/usr/local/hadoop-2.9.2/tmp</value>
    </property>

    <property>
        <name>hadoop.native.lib</name>
        <value>false</value>
        <description>Should native hadoop libraries, if present, be used.
        </description>
    </property>

    vim hadoop-env.sh   配置成你自己的jdk安装路径

    vim hdfs-site.xml  添加如下内容

        <property>
            <name>dfs.replication</name>
            <value>1</value>
        </property>

        <property>
            <name>dfs.secondary.http.address</name>

    <!--这里是你自己的ip,端口默认-->
            <value>192.168.124.144:50090</value>
        </property>

    复制默认的cp mapred-site.xml.template ./mapred-site.xml 配置命名为mapred-site.xml

    vim mapred-site.xml  添加如下配置

    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>

    配置yarn-site.xml   

    vim yarn-site.xml 添加如下配置

    <property>
        <name>yarn.resourcemanager.hostname</name>
        <!-- 自己的ip端口默认 -->
        <value>192.168.124.144</value>
    </property>
    <!-- reducer获取数据的方式 -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

    配置好之后切换到sbin目录下

     cd /usr/local/hadoop-2.9.2/sbin/  查看命令 ll

    格式化hadoop文件格式,执行命令  hadoop namenode -format,成功之后启动

    执行启动所有命令 ./start-all.sh 

    没启动一个进程需要输入密码,可以通过配置ssh来解决,就不需要输入了,暂时配置

    使用  jps   查看进程,能看到这些进程证明启动成功了,

    也可以通过网页来查看  localhost:50070

    我用的是虚拟机安装的,在里面访问的地址,没有问题,如果想在外面访问,需要关闭防火墙

    关闭防火墙的方法为:
        1. 永久性生效
            开启:chkconfig iptables on
            关闭:chkconfig iptables off
        2. 即时生效,重启后失效
            开启:service iptables start
            关闭:service iptables stop

    展开全文
  • 确保已安装JAVA如果没有请看安装步骤:Linux安装JAVA确保已安装SSH如果没有请看安装步骤:安装SSH确保已配置SSH免密码登录如果没有请看配置步骤:SSH免密码登录这里单机则是:将A公钥添加到A认证文件中:cat ~/.ssh/...

    环境ubuntu16.04

    1.更新apt

    sudo apt-get update

    2.确保已安装JAVA

    如果没有请看安装步骤:Linux安装JAVA

    确保已安装SSH

    如果没有请看安装步骤:安装SSH

    确保已配置SSH免密码登录

    如果没有请看配置步骤:SSH免密码登录

    这里单机则是:将A公钥添加到A认证文件中:cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

    4.创建路径

    mkdir /app/hadoop

    cd /app/hadoop

    5.下载(直接在/app/hadoop里面下载)

    wget http://mirror.bit.edu.cn/apache/hadoop/common/stable/hadoop-2.9.0.tar.gz

    6.解压

    tar -zxvf hadoop-2.9.0.tar.gz

    7.查看是否安装完成

    cd /app/hadoop/hadoop-2.9.0

    ./bin/hadoop version

    显示出版本号则安装完成

    8.单机版(不用配置,安装完成默认是非分布式模式)

    9.查看hadoop是否启动

    ps -ef | grep Hadoop

    10.用一个配置文件运行一下wordcount

    cd /app/hadoop/hadoop-2.9.0

    创建输入文件夹

    mkdir /app/hadoop/input

    将输入文件放入输入文件夹中

    cp ./etc/hadoop/core-site.xml /app/hadoop/input

    运行

    ./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jarwordcount /app/hadoop/input /app/hadoop/output

    11.查看结果

    cd /app/hadoop/output

    cat part-r-00000

    展开全文
  • Hadoop单机版安装,配置,运行

    千次阅读 2013-09-02 17:05:58
    Hadoop是最近非常流行的东东啦,但是乍一看都觉得是集群的东东,其实在单机版安装Hadoop也是可以的,并且安装好以后可以很方便的进行程序的调试,调试好程序以后再丢到集群中,放心的算吧,呵呵。。 本文说的是在...
  • 搁置挺长时间的HBase API学习终于提上日程,打开原来创建的虚拟机,发现竟然崩掉了,于是就干脆重新创一个加上Hadoop单机版安装一个单机HBase,以下为过程记录。 准备 NAT模式的虚拟机一个(Vmware创建),具体...
  • 搭建hadoop单机版+hbase单机版+pinpoint整合springboot
  • centos7下安装Hadoop单机版安装前提:java环境。一、安装下载二、配置hadoop环境变量①、vim core-site.xml 添加如下配置②、vim hadoop-env.sh 配置成你自己的jdk安装路径③、vim hdfs-site.xml 添加如下内容:④、...
  • hadoop单机方式的安装

    千次阅读 2018-12-20 21:59:17
    hadoop单机模式的安装: 1、安装jdk 配置环境变量: 2、设置免秘钥:  [root@node11 ~]# ssh-keygen -t dsa -P '' -f /root/.ssh/id_dsa Generating public/private dsa key pair. Your identification ...
  • 为深入学习hadoop,需要在个人电脑中安装cloudera_centos虚拟机。本篇文档介绍的就是关于cloudera_centos虚拟机的安装教程。(推荐使用virtualbox,可以查看我的另一篇文档:...
  • vi /etc/hostname,比如这里设置主机名为hadoop vi /etc/hosts 设置主机名和ip的映射关系 reboot 重启,使得主机名修改生效,重启后执行hostname 可以发现已经生效 检查sshd服务是否已经启动,如下,表示已经...
  • Hadoop单机版安装步骤

    2013-10-27 21:46:36
    1.创建组 groupadd -g 301 hadoop ...useradd –g hadoop -d /home/hadoop –m hadoop passwd hadoop 3.修改hosts文件 su - root。在root用户下操作: vi /etc/hosts 在127.0.0.1 localhost的上面一行添加:   10.16
  • 最近上手大数据,入门一下hadoop单机部署撸了几天,终于部署起来了,遇到了不少坑。这篇文章把我整个过程码下来了,包括了各个步骤和报错处理。 环境 CentOS release 6.4 openjdk version "1.8.0_201" 复制代码...
  • Hadoop单机版详细安装

    2020-04-30 16:02:30
    Hadoop单机版安装1.环境要求:2.Hadoop 安装 1.环境要求: Jdk安装(如果运行出现权限问题,请自行加sudo,或更改文件权限chmod) –解压 tar -zxvf jdk-8u201-linux-x64.tar.gz –C /usr/local –重命名 mv /usr/...
  • 记Centos 7安装hadoop单机版

    千次阅读 2019-03-05 16:56:36
    2.安装并配置hadoop 官网直接下载适合的版本,我下了3.1.2版本的,下完之后解压到了/usr/local下,然后还是在/etc/profile下加入环境变量 加完还是source一下吧,接着就是修改一堆xml文件并创建相应的目录...
  • EasyHadoop Hadoop 单机系统 安装配置 本文档是Hadoop部署文档,提供了Hadoop单机安装和Hadoop集群安装的方法和步骤,本文档希望让Hadoop安装部署更简单
  • 搭建hadoop单机版+hbase单机版+pinpoint整合springboot 第一步-hadoop-hadoop-2.7.3在centos7上部署安装(单机版)
  • Hadoop安装详细教程 单机版

    千次阅读 2021-11-16 15:10:32
    Hadoop安装教程 单机版 一、Hadoop是什么? Hadoop是一个由Apache基金会所开发的分布式系统基础架构,主要解决海量数据的存储以及分析计算的问题,并且含有一个更广泛的概念——Hadoop生态圈。 Hadoop是大数据集成...
  • 使用Docker搭建Hadoop单机版

    千次阅读 2019-07-21 01:46:03
    其实,直接安装也很简单,官方说明文档:http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html。使用Docker安装只是为了不想污染我的云服务器... 首先确保你的机器关了...
  • 今天小编就为大家分享一篇关于linux环境不使用hadoop安装单机版spark的方法,小编觉得内容挺不错的,现在分享给大家,具有很好的参考价值,需要的朋友一起跟随小编来看看吧

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 25,640
精华内容 10,256
关键字:

hadoop单机版安装