精华内容
下载资源
问答
  • 安装前提:因本人是在虚拟机安装Hadoop,故在此主要讲解的是虚拟机中的安装,本文默认已安装好VM和Ubuntu。我使用的是VMware-workstation-full-11.0.0-2305329和ubuntukylin-14.04.2-desktop-i386,其中配置如下...

    安装前提:因本人是在虚拟机中安装的Hadoop,故在此主要讲解的是虚拟机中的安装,本文默认已安装好VM和Ubuntu。我使用的是VMware-workstation-full-11.0.0-2305329和ubuntukylin-14.04.2-desktop-i386,其中配置如下图


    一、安装VMwareTools

    安装了VMware Tools后,可以在宿主机和虚拟机之间直接拷贝文件。

    先运行命令   sudo apt-get install build-essential
    然后选择“安装VMware Tools”


    就会弹出VMWareTools所在的文件夹,然后右键VMWare Tools.tar.gz,copy to到Home目录下。

    输入解压命令:tar -xzvf  VMwareTools-9.9.0-2304977.tar.gz


    解压完成之后,进入解压目录,进行安装:

    cd vmware-tools-distrib

    sudo ./vmware-install.pl


    安装过程中根据提示不断回车即可。当出现如下界面时,表示安装成功:


    然后再重启客户机。VMwareTools即安装完成。


    二、安装JDK

    本文使用jdk-6u45-linux-i586.bin(现在用的是>=1.7的版本,这里还没有修改)

    先将jdk拖到Ubuntu桌面,再在/usr/lib目录下建立文件夹java,然后拷贝jdk到java目录下,先赋予可执行权限,再直接解压进行安装:


    等待安装完之后配置环境变量,输入命令:sudo gedit /etc/profile

    把下面代码加入到文件末尾(注意路径里面的JAVA_HOME根据个人安装路径而定):

    export JAVA_HOME=/usr/lib/java/jdk1.6.0_45 
    export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH 
    export CLASSPATH=$CLASSPATH:.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib

    保存退出之后输入:source/etc/profile 使更改生效,需要再将安装的jdk设置为系统默认的jdk,依次输入以下命令:

    sudo update-alternatives --install "/usr/bin/java" "java" "/usr/lib/java/jdk1.6.0_45/bin/java" 300
    sudo update-alternatives --install "/usr/bin/javac" "javac" "/usr/lib/java/jdk1.6.0_45/bin//javac" 300
    sudo update-alternatives --config java
    sudo update-alternatives --config javac

    其中前2条命令的数字300前面的那个路径根据个人jdk安装路径而定。

    最后输入java-version,若出现版本信息则安装成功。



    三、安装Hadoop并配置

     hadoop-2.6.1.tar.gz

    先将Hadoop安装文件拖到Ubuntu桌面,再在/usr目录下建立Hadoop文件夹,将hadoop-2.6.1.tar.gz文件直接解压到/usr/hadoop文件夹下。

    sudo mkdir/usr/hadoop    //新建文件夹

    cd /home/zhong/Desktop

    sudo tar -zxvf hadoop-2.6.1.tar.gz -C /usr/hadoop   //解压


    解压之后需要配置环境变量,运行命令: sudo gedit  /etc/profile

    添加如下内容(注意HADOOPHOME是自己的hadoop-2.6.1.tar.gz文件解压所在路径):

    export  HADOOPHOME=/usr/hadoop/hadoop-2.6.1
    export  PATH=$HADOOPHOME/bin:$PATH
    然后需要更改hadoop文件夹的所属者,将所属者赋予当前用户,输入下面这个条命令(若不操作,集群运行时会提示权限不够)

    sudo chown -hR zhong /usr/hadoop
    其中zhong表示当前的用户名,/usr/hadoop/表示要修改的文件夹

     

    接下来需要配置/usr/hadoop/hadoop-2.6.1/etc/hadoop/hadoop-env.sh文件:

    在该文件中添加内容:

    export JAVA_HOME=/usr/lib/java/jdk1.6.0_45

    再接下来需要修改/usr/hadoop/hadoop-2.6.1/etc/hadoop/目录下四个文件

    • core-site.xml文件

    <configuration>
        <property>
            <name>fs.defaultFS</name>
            <value>hdfs://localhost:9000</value>
        </property>
    </configuration>

    • hdfs-site.xml文件

    <configuration>
        <property>
            <name>dfs.replication</name>
            <value>1</value>
        </property>
    </configuration>

    • 将mapred-site.xml.template复制一份后改为mapred-site.xml,并修改

    <configuration>
        <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
        </property>
    </configuration>

    • yarn-site.xml文件

    <configuration>

        <property>

           <name>yarn.nodemanager.aux-services</name>

           <value>mapreduce_shuffle</value>

        </property>

    </configuration>


    四、开启ssh并配置无密码验证登录(连网配置)

    依次输入命令

    sudo apt-get install ssh

    sudo apt-get install rsync

    为ssh设置免密码登录和设置权限,依次输入下面几条命令:

    ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
    cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
    chmod 700 ~/.ssh
    chmod 644 ~/.ssh/authorized_keys

    完成之后再输入ssh localhost命令,若不需要输入密码的话怎配置ssh免密码登录成功。

    若出现以下问题


    选择“yes”回车即可。再输入ssh localhost验证。

    查看ssh服务是否启动命令:sudo ps -e | grep ssh

    若结果中有sshd则说明已启动,若没有可输入命令 :sudo service ssh start 


    五、Hadoop开启与测试

    现在就可以启动hadoop集群了:

    进入Hadoop安装目录/usr/hadop/hadoop-2.6.1命令下,

    先输入格式化命令:bin/hdfs namenode -format  (中间如有选择,则选“y”并继续)

    启动集群命令:sbin/start-yarn.sh

    出现如下页面即为成功


    可用jps命令查看结果


    可用命令:sbin/stop-yarn.sh   关闭集群


    验证:浏览器中输入地址http://localhost:8088/可得



    展开全文
  • 新建虚拟机Ubuntu安装Hadoop步骤 (初学Hadoop可能会要多次重新安装虚拟机,所有写下来方便自己) 新建虚拟机,自定义安装,双处理机双内核,如果经常使用,尽可能给多的磁盘空间 软件包software update立即同意...

    新建虚拟机Ubuntu并安装Hadoop步骤

    (初学Hadoop可能会要多次重新安装虚拟机,所有写下来方便自己)

    新建虚拟机,自定义安装,双处理机双内核,如果经常使用,尽可能给多的磁盘空间

    软件包software update立即同意更新

    默认为英文版,修改系统时间:

    1.查看当前时间状态
    查看当前时间状态 timedatectl status:
    2.修改时区
    所有的时区名称存储在/usr/share/zoneinfo文件中。
    执行命令timedatectl set-timezone "Asia/Shanghai"就可以将时区设为上海时区。
    修改完成~

    修改系统语言为中文:
    这是修改之前
    点击Manage Install Language

    在这里插入图片描述
    点击Install language 选择Chinese简体
    下载完语言包后重启
    之后系统语言就改为中文了~

    更新apt: sudo apt-get update
    下载vim: sudo apt-get install vim

    安装ssh:
    Ubuntu 默认已安装了 SSH client,此外还需要安装 SSH server:
    sudo apt-get install openssh-server

    安装后,可以使用如下命令登陆本机:ssh localhost
    但每次登录都需要输入密码,所以接下来设置为无密码登录:
    退出刚才登录的ssh

    $ exit
    $ cd ~/.ssh/
    $ ssh-keygen -t rsa
    $ cat ./id_rsa.pub >> ./authorized_keys
    

    完成后便可以输入 ssh localhost 直接无密码登录。

    安装jdk:
    JDK1.8的安装包jdk-8u162-linux-x64.tar.gz放在了百度云盘,JDK安装包百度云盘网址,(提取码:6kmf)。请把压缩格式的文件jdk-8u162-linux-x64.tar.gz下载到虚拟机中,

    1.cd /usr/lib
    2.sudo mkdir jvm   #创建/usr/lib/jvm目录用来存放JDK文件
    3.cd ~   #进入hadoop用户的主目录
    4.cd Downloads    #注意区分大小写字母,刚才已经通过FTP软件把JDK安装包jdk-8u162-linux-x64.tar.gz上传到该目录下
    5.sudo tar -zxvf ./jdk-8u162-linux-x64.tar.gz -C /usr/lib/jvm #把JDK文件解压到/usr/lib/jvm目录下
    

    下面继续执行如下命令,设置环境变量:

    1.cd ~
    2.vim ~/.bashrc
    

    上面命令使用vim编辑器,打开了hadoop这个用户的环境变量配置文件,请在这个文件的开头位置,添加如下几行内容:

    export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_162
    export JRE_HOME=${JAVA_HOME}/jre
    export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
    export PATH=${JAVA_HOME}/bin:$PATH
    

    保存.bashrc文件并退出vim编辑器。然后,继续执行如下命令让.bashrc文件的配置立即生效:
    source ~/.bashrc (Shell 命令)
    这时,可以使用如下命令查看是否安装成功:
    java -version
    安装hadoop:
    Hadoop 3 可以通过 http://mirror.bit.edu.cn/apache/hadoop/common/ 或者 http://mirrors.cnnic.cn/apache/hadoop/common/ 下载,一般选择下载最新的稳定版本,即下载 “stable” 下的 hadoop-3.x.y.tar.gz 这个格式的文件,这是编译好的,另一个包含 src 的则是 Hadoop 源代码,需要进行编译才可使用。

    我们选择将 Hadoop 安装至 /usr/local/ 中:

    1.sudo tar -zxf ~/下载/hadoop-3.2.1.tar.gz -C /usr/local    # 解压到/usr/local中
    2.cd /usr/local/
    3.sudo mv ./hadoop-3.2.1/ ./hadoop            # 将文件夹名改为hadoop
    4.sudo chown -R hadoop ./hadoop       # 修改文件权限
    

    Hadoop 解压后即可使用。输入如下命令来检查 Hadoop 是否可用,成功则会显示 Hadoop 版本信息:

    1.cd /usr/local/hadoop
    2../bin/hadoop version
    

    修改配置文件:
    执行命令: gedit ./etc/hadoop/core-site.xml

    1.<configuration>
    2.<property>
    3.<name>hadoop.tmp.dir</name>
    4.<value>file:/usr/local/hadoop/tmp</value>
    5.<description>Abase for other temporary directories.</description>
    6.</property>
    7.<property>
    8.<name>fs.defaultFS</name>
    9.<value>hdfs://localhost:9000</value>
    10.</property>
    11.</configuration>
    

    执行命令: gedit ./etc/hadoop/hdfs-site.xml

    1.<configuration>
    2.<property>
    3.<name>dfs.replication</name>
    4.<value>1</value>
    5.</property>
    6.<property>
    7.<name>dfs.namenode.name.dir</name>
    8.<value>file:/usr/local/hadoop/tmp/dfs/name</value>
    9.</property>
    10.<property>
    11.<name>dfs.datanode.data.dir</name>
    12.<value>file:/usr/local/hadoop/tmp/dfs/data</value>
    13.</property>
    14.</configuration>
    

    配置完成后,执行 NameNode 的格式化:
    执行命令:./bin/hdfs namenode -format
    这样hadoop就大致完成安装了

    在Hadoop文件下执行启动命令: ./sbin/start-dfs sh
    通过命令jps判断是否启动成功,如果成功则有四个输出:jps、SecondaryNameNode、NameNode、DataNode
    关闭hadoop命令: ./sbin/stop-dfs.sh

    这之中有些命令是在~目录下执行,有些是在/usr/local/hadoop目录下执行,请自行判断!
    (其中很多内容取自林子雨老师的Hadoop安装教程:http://dblab.xmu.edu.cn/blog/install-hadoop/ 侵删)

    展开全文
  • Hadoop 安装 in Ubuntu 64bit on VMware station1. Install VMware pro 15 on Windows 10.2. Download Ubuntu 64 bit from ... 在虚拟机安装Ubuntu4. 安装Hadoop4.1 Install hadoop on Ubuntu system (PDF)4.2...

    1. Install VMware pro 15 on Windows 10.

    可以在VMware官网下载,也可以用胡萝卜周(很良心的软件分享者)的网站下载,有注册码。

    2. Download Ubuntu 64 bit from official website

    直接去官网下载就可以了:https://ubuntu.com/

    3. 在虚拟机上安装Ubuntu

    按照提示一步步操作就可以,要想在宿主机和虚拟机复制粘贴共享文件,可以设置共享文件夹,安装vm tools,这一步问题很多,解决方法是打vmtools 补丁,如果mnt不了,参考这里:Ubuntu论坛

    4. 安装Hadoop

    4.1 Install hadoop on Ubuntu system (PDF)

    Download hadoop stable version:
    http://apache.mirrors.spacedump.net/hadoop/common/stable/

    Note: If VM cannot connect to Wi-Fi network, re-connect your Wi-Fi to make authorization. Change to Bridge connection not working for me.

    4.2 Installation JDK. Choose Oracle JDK, open JDK not working for me.

    http://www.cnblogs.com/a2211009/p/4265225.html

    Use second way, go to official site download the latest version of JDK: http://www.oracle.com/technetwork/java/javase/downloads/index.html

    sudo mkdir /usr/lib/jvm
    sudo tar -zxvf jdk-9.0.1_linux-x64_bin.tar.gz -C /usr/lib/jvm
    sudo vim ~/.bashrc (vim: press i to enter insert mode and press esc to return , :wp for save and exit the vim)

    #set oracle jdk environment
    export JAVA_HOME=/usr/lib/jvm/ jdk-9.0.1
    source ~/.bashrc
    java –version

    4.3 Install Hadoop (PDF)

    4.4 Install eclipse on Ubuntu

    In the Ubuntu software, search Eclipse and install. Default directory is /usr/lib/eclipse

    4.5 Install Hadoop-Eclipse-Plugin (PDF)

    Note: Plugin version 2.6 also works for Hadoop 2.9.0 in this case.

    4.6 Install Apache pig

    https://www.w3cschool.cn/apache_pig/apache_pig_installation.html
    Download a release: http://apache.mirrors.spacedump.net/pig/
    Note: Restore environment variables:
    Export PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin

    4.7 Run Apache Pig Script

    hadoop version
    start-dfs.sh
    cd /$Hadoop_Home/bin/
    hdfs dfs -mkdir hdfs://localhost:9000/Pig_Data
    cd $HADOOP_HOME/bin
    hdfs dfs -put /home/Hadoop/Pig/Pig_Data/student_data.txt dfs://localhost:9000/pig_data/
    pig -x local Sample_script.pig
    pig -x mapreduce Sample_script.pig

    Processing time: 10G ~ 15min (4G ram 2 Cores)

    展开全文
  • 本篇文章是在上一篇的的基础上所写,前文已经详细讲解了在怎样配置单机伪分布式的Hadoop,本文着重于完全分布式的配置。此次Hadoop的配置主要是参考了官网及网络...本教程所使用的集群环境: 两台虚拟机,一台作为 Mast

    本篇文章是在上一篇的的基础上所写,前文已经详细讲解了在怎样配置单机伪分布式的Hadoop,本文着重于完全分布式的配置。此次Hadoop的配置主要是参考了官网及网络上一些教程总结而来,初次搭建,如有错误,多谢指点。

    伪分布式:http://blog.csdn.net/yuzhuzhong/article/details/49922845


    本教程所使用的集群环境: 两台虚拟机,一台作为 Master,局域网 IP 为 192.168.9.131;另一台作为 Slave,局域网 IP 为 192.168.9.133。Java环境安装配置、Hadoop安装、SSH 安装等已在前文中介绍,此次将不再叙述。


    一、先在一台虚拟机上完成伪分布式的安装 

    虚拟机Ubuntu下Hadoop2.6.1的安装和配置(伪分布式)


    二、克隆得到第二台相同配置的

    1.克隆之前需关闭客户机

    2.如下图所示左侧需选中要克隆的虚拟机。

    3.克隆类型选择“创建完整克隆”

    4.其他都选择默认

    三、网络配置

    1.进行集群配置之前需先关闭Hadoop:/usr/hadoop/hadoop-2.6.1/sbin/stop-dfs.sh

    2.现有两台虚拟机,ip地址分别为192.168.9131和192.168.9133。选取其中一台虚拟机作为Master(如我选取的是192.168.9.131这台),然后在/etc/hostname文件中修改机器名为Master,另一台修改为Slave1。

    3.在/etc/hosts文件中把所有集群的主机信息都写进去,若图所示

    其中只能有一个127.0.0.1,对应为localhost,否则会出错。

    4.注意,该网络配置需要在所有主机上进行

    如上面讲的是 Master 主机的配置,而在其他的 Slave 主机上,也要对 /etc/hostname(修改为 Slave1、Slave2等) 和 /etc/hosts(一般跟 Master 上的配置一样) 这两个文件进行相应的修改!

    5.最好重启一下。

    6.别忘了把虚拟机名字改为相对应的(好像不影响使用,只是为了好区分一点)


    四、虚拟机之间ping连通

    我是在同一台物理机上搭建的两台虚拟机,使用NAT联网,ip地址在同一网段,所以可以ping通。如图

    ping的过程一直持续,可以使用“Ctrl”+"C"按键停止。

    五、SSH无密码登录节点

    这个操作是让Master可以无密码直接登录到SSH节点上。

    由于之前伪分布式配置是已能无密码localhost登录,可直接使用命令:ssh Slave1  若出现错误,可直接选择“yes”让其自行安装。两次之后便可成功。


    六、集群配置(分布式环境)

    本次需修改HADOOPHOME/etc/hadoop 中五个文件(注意所有主机中都得相同的更改)

    1.slave文件

    将原来 文件localhost 删除,把所有Slave的主机名写上,每行一个。例如我只有一个 Slave节点,那么该文件中就只有一行内容: Slave1。

    2.core-site.xml文件

    <configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://Master:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/hadoop/hadoop-2.6.1/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    </configuration>

    3.hdfs-site.xml文件,因为只有一个Slave,所以dfs.replication的值设为1。

    <configuration>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>Master:50090</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/hadoop/hadoop-2.6.1/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/hadoop/hadoop-2.6.1/tmp/dfs/data</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    </configuration>

    4.mapred-site.xml  文件

    <configuration>
        <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
        </property>
    </configuration>

    5.yarn-site.xml文件

    <configuration>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>Master</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    </configuration>

    其中红色标注的部分需要根据自己安装目录修改。

    6.切换 Hadoop 模式应删除之前的临时文件(此处为他人借鉴得来)

    切换 Hadoop 的模式,不管是从集群切换到伪分布式,还是从伪分布式切换到集群,如果遇到无法正常启动的情况,可以删除所涉及节点的临时文件夹,这样虽然之前的数据会被删掉,但能保证集群正确启动。或者可以为集群模式和伪分布式模式设置不同的临时文件夹(未验证)。所以如果集群以前能启动,但后来启动不了,特别是 DataNode 无法启动,不妨试着删除所有节点(包括 Slave 节点)上的 tmp 文件夹,重新执行一次bin/hdfs namenode -format,再次启动试试。


    七、启动及验证

    1.在Master节点上启动Hadoop

    首先得进入安装目录:cd /usr/hadoop/hadoop-2.6.1

    首次运行需执行格式化:bin/hdfs namenode-format

    启动:sbin/start-dfs.sh

          sbin/start-yarn.sh

    成功启动后可用jps命令查看各个节点的

    可以看到Master节点启动了NameNodeSecondrryNameNodeResourceManager进程。

    Slave节点则启动了DataNodeNodeManager进程。

    关闭Hadoop集群也是在Master节点上执行(HADOOPHOME目录下):

     sbin/stop-dfs.sh

     sbin/stop-yarn.sh

    2.验证,可在Master或者Salve节点浏览器打开地址:http:// master:50090


    通过查看启动日志分析启动失败原因

    有时Hadoop集群无法正确启动,如 Master 上的 NameNode 进程没有顺利启动,这时可以查看启动日志来排查原因,不过新手可能需要注意几点:

    • 启动时会提示 “Master: starting namenode, logging to /usr/local/hadoop/logs/hadoop-hadoop-namenode-Master.out”,但其实启动日志信息是记录在 /usr/local/hadoop/logs/hadoop-hadoop-namenode-Master.log 中;
    • 每一次的启动日志都是追加在日志文件之后,所以得拉到最后面看,这个看下记录的时间就知道了。
    • 一般出错的提示在最后面,也就是写着 Error 或者 Java 异常的地方。

    也可以通过Web页面看到查看DataNode和NameNode的状态,http://master:50070/



    展开全文
  • 虚拟机安装ubuntu16.04, 配置虚拟机和主机之间可以复制文件,参考如下网址 https://baijiahao.baidu.com/s?id=1606544652694675726&wfr=spider&for=pc 然后 在Hadoop官网上下载最...
  • 链接:...  开发环境:win7(32bit)+Eclipse(eclipse-jee-indigo-SR2-win32) 1、首先安装虚拟机VMWare,然后在虚拟机安装ubuntu系统(/linux镜像文件/ubuntu-12.04-server-i386.ios)  虚
  • 1、hadoop-2.2.0安装完成后接下来我们可以进行伪分布配置(Hadoop可以在伪分布模式下运行单结点)。(可参考网址:http://www.linuxidc.com/Linux/2014-09/106148.htm) 接下来我们要配置的文件有四个,分别是/usr/...
  • 虚拟机系统:Ubuntu 18.04 注:涉及到的内容比较多,可直接点击相应链接查看对应内容 目录 创建新账户 安装ssh 安装vim 在虚拟机安装JDK并配置环境变量 安装Eclipse(可选) 安装Hadoop Hadoop伪分布模式...
  • 安装虚拟机VMware 注意: 1要选自定义高级 2第一次安装虚拟机,要选稍后安装操作系统 3选择Linux操作系统 4存储目录建议不要放在C盘 5处理器根据自己的电脑进行选择,电脑配置好,存储空间还很大的话可以改成...
  • VM下的虚拟机Ubuntu18.04安装Vim 安装需要的软件: 首先,命令cd /opt在这个文件夹下使用命令mkdir module、mkdir software新建文件夹module(存放解压后组件),software(存放压缩包), 压缩包名字为jdk-8u144-linux-...
  • 1、环境准备:Vmvare12、Ubuntu 14.0.4桌面版、hadoop 2.7.3 2、安装SSH 装完第一台虚拟机master之后,首先安装openssh-server 尝试登陆 ssh localhost 进行免密登陆授权 3、安装JDK 安装openjdk7 vim ~/.bashrc ...
  • 要想深入的学习hadoop数据分析技术,首要的任务是必须要将hadoop集群环境搭建起来,可以将hadoop简化地想象成一个小软件,通过在各个物理节点上安装这个小软件,然后将其运行起来,就是一个hadoop分布式集群了。...
  • 虚拟机Ubuntu18.04下安装Hadoop环境以及测试本地以及伪分布式 ps:流程参考厦门大学数据实验室安装流程 本文更多的是为了自己之后好复习以及比较喜欢浏览csdn的小伙伴的文章,是自己电脑实际的操作流程总结。 准备...
  • 如何在虚拟机ubuntu上配置Hadoop配置java环境下载JDK配置配置软链接检查是否配置成功下载ssh-server启动ssh查看ssh服务是否启动设置免密码登陆安装Hadoop伪分布式模式下载hadoop配置.bashc文件Hadoop伪分布式搭建...
  • 虚拟机Ubutnu安装hadoop

    2015-08-29 09:14:00
     下载hadoop安装文件包:  $ wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz  解压hadoop文件:tar -zxvf hadoop-1.2.1.tar.gz  进入/opt/hadoop/hadoop-1.2.1/...
  • 最近,要在eclipse实现一个Hadoop工程,并传给虚拟机hadoop运行,查了好多,记录一下出错的地方。...一:虚拟机里面配置Hadoop(特别提醒不要下最新的Ubuntuhadoop,出错了的坑巨多且网上还不好找到 ...
  • 这里使用的使ubuntu18.04,创建三个虚拟机。 一、创建虚拟机 用户名hadoop 虚拟机名 datanode1 datanode2 datanode3 用户名 hadoop 密码 123 二、安装必要软件 获取root权限 sudo passwd root 设置root密码 sudo -s...
  • 按照上几篇的内容,安装好两台ubuntu虚拟机之后,首先确定好哪台机子做namenode,哪台做datanode,打开终端,输入:$sudo vi /etc/hosts 在打开的文件中输入主机名和IP地址,比如我的是: 127.0.0.0 localhost 202...
  • 1.无法获得锁现象:E: 无法获得锁 /var/lib/dpkg/lock - open (11: 资源临时不可用)E: 无法对管理...解决办法:sudo rm /var/lib/dpkg/lock或sudo rm /var/lib/apt/lists/lock2.Ubuntu16.04安装openjdk-7-jdk和openj...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 8,768
精华内容 3,507
关键字:

虚拟机ubuntu安装hadoop