精华内容
下载资源
问答
  • hadoop开发环境搭建
    千次阅读
    2021-05-19 00:59:38

    《educoder平台hadoop开发环境搭建[技术学习]》由会员分享,可在线阅读,更多相关《educoder平台hadoop开发环境搭建[技术学习](5页珍藏版)》请在人人文库网上搜索。

    1、一配置开发环境 - JavaJDK的配置mkdir /app回车cd /opt回车ll回车tar -zxvf jdk-8u171-linux-x64.tar.gz回车mv jdk1.8.0_171/ /app回车vim /etc/profile在最低下按i复制粘贴下面代码JAVA_HOME=/app/jdk1.8.0_171CLASSPATH=.:$JAVA_HOME/lib/tools.jarPATH=$JAVA_HOME/bin:$PATHexport JAVA_HOME CLASSPATH PATH退出wqsource /etc/profile回车java -version测评*二配置开。

    2、发环境 - Hadoop安装与伪分布式集群搭建cd /opt回车ls回车echo $JAVA_HOME回车ls /app回车ls回车mkdir /app回车cp * /app回车cd /app回车ls回车tar -zxvf hadoop-3.1.0.tar.gz回车lstar -zxvf jdk-8u171-linux-x64.tar.gz回车ls回车mv hadoop-3.1.0 hadoop3.1回车cd jdk1.8.0_171/回车pwd回车vim /etc/profile最底下按i复制export JAVA_HOME=/app/jdk1.8.0_171export HADOOP_HO。

    3、ME=/app/hadoop3.1export PATH=.:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$JAVA_HOME/bin:$PATH退出wqsource /etc/profile回车java -version回车cd /app回车ssh-keygen -t rsa -P 按回车cat /.ssh/id_rsa.pub /.ssh/authorized_keys回车chmod 600 /.ssh/authorized_keys回车vim /etc/ssh/sshd_config找到#AuthorizedKeysFile %h/.ssh/authorized。

    4、_keys把#删除退出wqcd /app/hadoop3.1/etc/hadoop/回车vim hadoop-env.sh找到# JAVA_HOME=/usr/java/testing hdfs dfs -ls这一行按i在最后面回车,添加下面代码:export JAVA_HOME=/app/jdk1.8.0_171退出wqvim yarn-env.sh最底下按i回车export JAVA_HOME=/app/jdk1.8.0_171退出wq1vim core-site.xml找到然后按i在中间回车fs.default.name hdfs:/localhost:9000 HDFS的URI,文件系。

    5、统:/namenode标识:端口号 hadoop.tmp.dir /usr/hadoop/tmp namenode上本地的hadoop临时文件夹 然后:wq2vim hdfs-site.xml找到然后按i在中间回车dfs.name.dir /usr/hadoop/hdfs/name namenode上存储hdfs名字空间元数据 dfs.data.dir /usr/hadoop/hdfs/data datanode上数据块的物理存储位置 dfs.replication 1 然后:wq3vim mapred-site.xml找到然后按i在中间回车mapreduce.framework.nameya。

    6、rn然后:wq4vim yarn-site.xml找到然后按i在中间回车yarn.nodemanager.aux-services mapreduce_shuffle yarn.resourcemanager.webapp.address 192.168.2.10:8099 这个地址是mr管理界面的 然后:wqcd /usr/hadoop回车mkdir /usr回车cd /usr回车ls回车mkdir hadoop回车cd .回车mkdir /usr/hadoop/tmp回车mkdir /usr/hadoop/hdfs回车mkdir /usr/hadoop/hdfs/data回车mkdir /。

    7、usr/hadoop/hdfs/name回车hadoop namenode -format回车start-dfs.sh回车cd /app/hadoop3.1/sbin回车1vim start-dfs.sh在#!/usr/bin/env bash后面按i回城HDFS_DATANODE_USER=rootHADOOP_SECURE_DN_USER=hdfsHDFS_NAMENODE_USER=rootHDFS_SECONDARYNAMENODE_USER=root:wq2vim stop-dfs.sh在#!/usr/bin/env bash后面按i回车HDFS_DATANODE_USER=root。

    8、HADOOP_SECURE_DN_USER=hdfsHDFS_NAMENODE_USER=rootHDFS_SECONDARYNAMENODE_USER=root:wq3vim start-yarn.sh在#!/usr/bin/env bash后面按i回车YARN_RESOURCEMANAGER_USER=rootHADOOP_SECURE_DN_USER=yarnYARN_NODEMANAGER_USER=root:wq4vim stop-yarn.sh在#!/usr/bin/env bash后面按i回车YARN_RESOURCEMANAGER_USER=rootHADOOP_SECURE_DN_USER=yarnYARN_NODEMANAGER_USER=root:wqstart-dfs.sh回车jps测评5互联网络。

    更多相关内容
  • hadoop开发环境搭建

    2018-09-12 08:27:27
    此文档在hadoop集群搭建完毕之后,在集群之外搭建一个hadoop集群的开发环境,用于编写hadoop实际处理程序,还包括了如何提交任务等。整体非常详细,如需要其他hadoop集群搭建资源可以联系我,免费给q:1487954071
  • 第二部分 Hadoop开发环境搭建1-Hadoop大数据概述大数据主要应用技术-Hadoop 据IDC的预测全球大数据市场2015年将达170亿美元规模市场发展前景很大而Hadoop作为新一代的架构和技术因为有利于并行分布处理 大数据而备受...
  • Hadoop开发环境搭建

    2022-04-18 12:53:43
    之前稍微了解了一下大数据方面的知识,在搭建环境的时候我很惆怅的,因为那时候没有弄好,刚好这几天有时间,于是把以前没有弄好的又来配置了一下,没想到居然成功了,这个过程走了很多的弯路,查阅了网上大量资料,...

    之前稍微了解了一下大数据方面的知识,在搭建环境的时候我很惆怅的,因为那时候没有弄好,刚好这几天有时间,于是把以前没有弄好的又来配置了一下,没想到居然成功了,这个过程走了很多的弯路,查阅了网上大量资料,终于直接也来整理一下了。

    hadoop是分为3种安装模式的,单机模式,伪分布模式和完全分布模式。众所周知,完全分布模式是企业真实开发用的,会需要多台电脑,这里没有条件,所以不讲解这个方面。伪分布模式就是可以多夹几台虚拟机就可以了,然后各种配置,这里我主要是想做大数据的分析方面,暂时不考虑运维,所以我只用的是单机模式。这里介绍运行伪分布式配置。

    一、配置hadoop

    首先去github上面下载源码:http://hadoop.apache.org/releases.html#News

    在linux中安装jdk和配置ssh免密码登陆,其实最开始我并没有区配置免密码的,后来发现免密码登陆真方便。免密码登陆就是在控制台上面输入:ssh -keygen 然后一路回车就可以了。

    我是把hadoop解压后放在/home/admin1/下载/hadoop-2.5.2。我们主要是在etc/hadoop 中配置文件。

    1、core-site.xml

    <pre name="code" class="java"><configuration>
    
       <property>
    
          <name>fs.defaultFS</name>
    
          <value>hdfs://ubuntu2:9000</value>
    
       </property>
     
       <property>
    
          <name>hadoop.tmp.dir</name>
          <value>/home/admin1/hadoop/hadoop-2.5.2/tmp/hadoop</value>
    
       </property>
    
    
    </configuration>
    

    2、hdfs-site.xml

     <configuration>
    
      <property>
    
         <name>dfs.replication</name>
    
         <value>1</value>
    
      </property>
    
    </configuration>
    

    3、mapred-site.xml

    <pre name="code" class="java"> <configuration>
    
     	<property>
    		<name>mapreduce.framework.name</name>
    		<value>yarn</value>
        </property>
    
    </configuration>
    

    4、在yarn-site.xml中

    <configuration>
    
    <property>
    			<name>yarn.resourcemanager.hostname</name>
    			<value>ubuntu2</value>
        </property>
    		<!-- reducer获取数据的方式 -->
        <property>
    			<name>yarn.nodemanager.aux-services</name>
    			<value>mapreduce_shuffle</value>
         </property>
    </configuration>
    

    5、在hadoop-env.sh中添加

    export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-amd64
    
    
    # The jsvc implementation to use. Jsvc is required to run secure datanodes.
    #export JSVC_HOME=${JSVC_HOME}
    
    export HADOOP_CONF_DIR=${HADOOP_CONF_DIR:-"/home/admin1/hadoop/hadoop-2.5.2
    "}
    

    6、记得把salver改成你主机的名字,我这里就是把localhost改成了ubuntu2.因为我主机名就是ubuntu2

    还需要配置一下java_home:在hadoop-env.sh中:(就是改成你的绝对路径就可以了,不要用相对路径)。

    export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-amd64   
    

    如果你运行报错的话,那应该就是java_home没有配置了

    用命令行输入:sudo gedit /etc/profile

    在最末尾加上:

    JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-amd64
    
    PATH=$JAVA_HOME/bin:$PATH
    
    CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
    
    export JAVA_HOME
    
    export PATH
    
    export CLASSPATH 
    

    这样基本上应该是可以运行了:

    启动方式: 在/home/admin1/下载/hadoop-2.5.2 中 使用:
    bin/hadoop namenode -format

    sbin/start-all.sh

    访问地址是:
    http://localhost:50070/

    http://localhost:8088/cluster

    如果想要关闭则:sbin/stop-all.sh

    问题:

    若hadoop报错,则配置hadoop命令:
    export HADOOP_HOME=/home/admin1/下载/hadoop-2.5.2
    export PATH= H A D O O P _ H O M E / b i n : HADOOP\_HOME/bin: HADOOP_HOME/bin:HADOOP_HOME/sbin:$PATH

    若datanode未启动
    rm -rf /usr/hadoop/tmp/*
    rm -rf /tmp/hadoop*
    在1之前进行以上两步操作。

    二、配置eclipse

    因为我是是直接把eclipse安装在linux中的,同时我用的还是4.5版本的,然后出现了各种各样奇奇怪怪的问题。我最开始以为是hadoop-eclipse-plugin-2.5.2.jar有问题,然后我就去下了应该ant和hadoop2x-eclipse-plugin-master来重新编译,编译的方法大致是这样:

    1、先去下载hadoop2x-eclipse-plugin-master,https://github.com/winghc/hadoop2x-eclipse-plugin

    2、下载ant:http://ant.apache.org/bindownload.cgi

    3、分别解压出来,如果你的是在win下面就需要配置一下环境变量,在linux下面不要配置其实也是可以运行的。进入你刚才解压下来的/hadoop2x-eclipse-plugin-master/src/contrib/eclipse-plugin中。

    4、在上面哪个目录下,对以下文件进行修改:

    在vxy中:libraries.properties

    里面的 版本记得要和你直接版本相对应,如果你不找到你的版本的话可以去你哪个hadoop文件的share/hadoop中找,其实有个很简单的办法,你可以直接把我这段代码复制过去,等下编译的时候汇报哪个jar包的版本不对,然后你可以根据报错提示来改就可以了。

    #   Licensed under the Apache License, Version 2.0 (the "License");
    #   you may not use this file except in compliance with the License.
    #   You may obtain a copy of the License at
    #
    #       http://www.apache.org/licenses/LICENSE-2.0
    #
    #   Unless required by applicable law or agreed to in writing, software
    #   distributed under the License is distributed on an "AS IS" BASIS,
    #   WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
    #   See the License for the specific language governing permissions and
    #   limitations under the License.
     
    #This properties file lists the versions of the various artifacts used by hadoop and components.
    #It drives ivy and the generation of a maven POM
    # This is the version of hadoop we are generating
    hadoop.version=2.5.2
    hadoop-gpl-compression.version=0.1.0
     
    #These are the versions of our dependencies (in alphabetical order)
    apacheant.version=1.7.0
    ant-task.version=2.0.10
     
    asm.version=3.2
    aspectj.version=1.6.5
    aspectj.version=1.6.11
     
    checkstyle.version=4.2
     
    commons-cli.version=1.2
    commons-codec.version=1.4
    commons-collections.version=3.2.1
    commons-configuration.version=1.6
    commons-daemon.version=1.0.13
    commons-httpclient.version=3.1
    commons-lang.version=2.6
    commons-logging.version=1.1.3
    commons-logging-api.version=1.0.4
    commons-math.version=3.1.1
    commons-el.version=1.0
    commons-fileupload.version=1.2
    commons-io.version=2.4
    commons-net.version=3.1
    core.version=3.1.1
    coreplugin.version=1.3.2
     
    hsqldb.version=1.8.0.10
     
    ivy.version=2.1.0
     
    jasper.version=5.5.12
    jackson.version=1.9.13
    #not able to figureout the version of jsp & jsp-api version to get it resolved throught ivy
    # but still declared here as we are going to have a local copy from the lib folder
    jsp.version=2.1
    jsp-api.version=5.5.12
    jsp-api-2.1.version=6.1.14
    jsp-2.1.version=6.1.14
    jets3t.version=0.6.1
    jetty.version=6.1.26
    jetty-util.version=6.1.26
    jersey-core.version=1.9
    jersey-json.version=1.9
    jersey-server.version=1.9
    junit.version=4.11
    jdeb.version=0.8
    jdiff.version=1.0.9
    json.version=1.0
     
    kfs.version=0.1
     
    log4j.version=1.2.17
    lucene-core.version=2.3.1
     
    mockito-all.version=1.8.5
    jsch.version=0.1.42
     
    oro.version=2.0.8
     
    rats-lib.version=0.5.1
     
    servlet.version=4.0.6
    servlet-api.version=2.5
    slf4j-api.version=1.7.5
    slf4j-log4j12.version=1.7.5
     
    wagon-http.version=1.0-beta-2
    xmlenc.version=0.52
    xerces.version=1.4.4
    
    protobuf.version=2.5.0
    guava.version=11.0.2
    netty.version=3.6.2.Final
    

    build.xml

    这个也是同理的,如果你版本不对可以按上面的道理来的。 xml的文件头记得要顶格写。

    <?xml version="1.0" encoding="UTF-8" standalone="no"?>  
          
        <!--  
           Licensed to the Apache Software Foundation (ASF) under one or more  
           contributor license agreements.  See the NOTICE file distributed with  
           this work for additional information regarding copyright ownership.  
           The ASF licenses this file to You under the Apache License, Version 2.0  
           (the "License"); you may not use this file except in compliance with  
           the License.  You may obtain a copy of the License at  
          
               http://www.apache.org/licenses/LICENSE-2.0  
          
           Unless required by applicable law or agreed to in writing, software  
           distributed under the License is distributed on an "AS IS" BASIS,  
           WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.  
           See the License for the specific language governing permissions and  
           limitations under the License.  
        -->  
          
        <project default="jar" name="eclipse-plugin">  
          
          <import file="../build-contrib.xml"/>  
          
          <path id="eclipse-sdk-jars">  
            <fileset dir="${eclipse.home}/plugins/">  
              <include name="org.eclipse.ui*.jar"/>  
              <include name="org.eclipse.jdt*.jar"/>  
              <include name="org.eclipse.core*.jar"/>  
              <include name="org.eclipse.equinox*.jar"/>  
              <include name="org.eclipse.debug*.jar"/>  
              <include name="org.eclipse.osgi*.jar"/>  
              <include name="org.eclipse.swt*.jar"/>  
              <include name="org.eclipse.jface*.jar"/>  
          
              <include name="org.eclipse.team.cvs.ssh2*.jar"/>  
              <include name="com.jcraft.jsch*.jar"/>  
            </fileset>   
          </path>  
          
          <path id="hadoop-sdk-jars">  
            <fileset dir="${hadoop.home}/share/hadoop/mapreduce">  
              <include name="hadoop*.jar"/>  
            </fileset>   
            <fileset dir="${hadoop.home}/share/hadoop/hdfs">  
              <include name="hadoop*.jar"/>  
            </fileset>   
            <fileset dir="${hadoop.home}/share/hadoop/common">  
              <include name="hadoop*.jar"/>  
            </fileset>   
          </path>  
          
          
          
          <!-- Override classpath to include Eclipse SDK jars -->  
          <path id="classpath">  
            <pathelement location="${build.classes}"/>  
            <!--pathelement location="${hadoop.root}/build/classes"/-->  
            <path refid="eclipse-sdk-jars"/>  
            <path refid="hadoop-sdk-jars"/>  
          </path>  
          
          <!-- Skip building if eclipse.home is unset. -->  
          <target name="check-contrib" unless="eclipse.home">  
            <property name="skip.contrib" value="yes"/>  
            <echo message="eclipse.home unset: skipping eclipse plugin"/>  
          </target>  
          
         <!--<target name="compile" depends="init, ivy-retrieve-common" unless="skip.contrib">-->  
         <!-- 此处去掉 depends="init, ivy-retrieve-common" -->  
         <target name="compile"  unless="skip.contrib">  
            <echo message="contrib: ${name}"/>  
            <javac  
             encoding="${build.encoding}"  
             srcdir="${src.dir}"  
             includes="**/*.java"  
             destdir="${build.classes}"  
             debug="${javac.debug}"  
             deprecation="${javac.deprecation}">  
             <classpath refid="classpath"/>  
            </javac>  
          </target>  
          
          <!-- Override jar target to specify manifest -->  
          <target name="jar" depends="compile" unless="skip.contrib">  
            <mkdir dir="${build.dir}/lib"/>  
            <copy  todir="${build.dir}/lib/" verbose="true">  
                  <fileset dir="${hadoop.home}/share/hadoop/mapreduce">  
                   <include name="hadoop*.jar"/>  
                  </fileset>  
            </copy>  
            <copy  todir="${build.dir}/lib/" verbose="true">  
                  <fileset dir="${hadoop.home}/share/hadoop/common">  
                   <include name="hadoop*.jar"/>  
                  </fileset>  
            </copy>  
            <copy  todir="${build.dir}/lib/" verbose="true">  
                  <fileset dir="${hadoop.home}/share/hadoop/hdfs">  
                   <include name="hadoop*.jar"/>  
                  </fileset>  
            </copy>  
            <copy  todir="${build.dir}/lib/" verbose="true">  
                  <fileset dir="${hadoop.home}/share/hadoop/yarn">  
                   <include name="hadoop*.jar"/>  
                  </fileset>  
            </copy>  
          
            <copy  todir="${build.dir}/classes" verbose="true">  
                  <fileset dir="${root}/src/java">  
                   <include name="*.xml"/>  
                  </fileset>  
            </copy>  
          
          
          
            <copy file="${hadoop.home}/share/hadoop/common/lib/protobuf-java-${protobuf.version}.jar"  todir="${build.dir}/lib" verbose="true"/>  
            <copy file="${hadoop.home}/share/hadoop/common/lib/log4j-${log4j.version}.jar"  todir="${build.dir}/lib" verbose="true"/>  
            <copy file="${hadoop.home}/share/hadoop/common/lib/commons-cli-${commons-cli.version}.jar"  todir="${build.dir}/lib" verbose="true"/>  
            <copy file="${hadoop.home}/share/hadoop/common/lib/commons-configuration-${commons-configuration.version}.jar"  todir="${build.dir}/lib" verbose="true"/>  
            <copy file="${hadoop.home}/share/hadoop/common/lib/commons-lang-${commons-lang.version}.jar"  todir="${build.dir}/lib" verbose="true"/>  
            <!-- 此处增加 commons-collections 依赖-->  
            <copy file="${hadoop.home}/share/hadoop/common/lib/commons-collections-${commons-collections.version}.jar"  todir="${build.dir}/lib" verbose="true"/>  
            <copy file="${hadoop.home}/share/hadoop/common/lib/jackson-core-asl-${jackson.version}.jar"  todir="${build.dir}/lib" verbose="true"/>  
            <copy file="${hadoop.home}/share/hadoop/common/lib/jackson-mapper-asl-${jackson.version}.jar"  todir="${build.dir}/lib" verbose="true"/>  
            <copy file="${hadoop.home}/share/hadoop/common/lib/slf4j-log4j12-${slf4j-log4j12.version}.jar"  todir="${build.dir}/lib" verbose="true"/>  
            <copy file="${hadoop.home}/share/hadoop/common/lib/slf4j-api-${slf4j-api.version}.jar"  todir="${build.dir}/lib" verbose="true"/>  
            <copy file="${hadoop.home}/share/hadoop/common/lib/guava-${guava.version}.jar"  todir="${build.dir}/lib" verbose="true"/>  
            <copy file="${hadoop.home}/share/hadoop/common/lib/hadoop-auth-${hadoop.version}.jar"  todir="${build.dir}/lib" verbose="true"/>  
            <copy file="${hadoop.home}/share/hadoop/common/lib/commons-cli-${commons-cli.version}.jar"  todir="${build.dir}/lib" verbose="true"/>  
            <copy file="${hadoop.home}/share/hadoop/common/lib/netty-${netty.version}.jar"  todir="${build.dir}/lib" verbose="true"/>  
          
            <jar  
              jarfile="${build.dir}/hadoop-${name}-${version}.jar"  
              manifest="${root}/META-INF/MANIFEST.MF">  
              <manifest>  
             <attribute name="Bundle-ClassPath"   
                value="classes/,   
         lib/hadoop-mapreduce-client-core-${hadoop.version}.jar,  
         lib/hadoop-mapreduce-client-common-${hadoop.version}.jar,  
         lib/hadoop-mapreduce-client-jobclient-${hadoop.version}.jar,  
         lib/hadoop-auth-${hadoop.version}.jar,  
         lib/hadoop-common-${hadoop.version}.jar,  
         lib/hadoop-hdfs-${hadoop.version}.jar,  
         lib/protobuf-java-${protobuf.version}.jar,  
         lib/log4j-${log4j.version}.jar,  
         lib/commons-cli-${commons-cli.version}.jar,
    lib/commons-configuration-${commons-configuration.version}.jar,
    lib/commons-httpclient-${commons-httpclient.version}.jar,
    lib/commons-lang-${commons-lang.version}.jar,
    lib/jackson-core-asl-${jackson.version},
    lib/jackson-mapper-asl-${jackson.version}.jar,
    lib/slf4j-log4j12-${slf4j-log4j12.version}.jar,
    lib/slf4j-api-${slf4j-api.version}.jar,
         lib/guava-${guava.version}.jar,  
         lib/netty-${netty.version}.jar"/>  
             </manifest>  
              <fileset dir="${build.dir}" includes="classes/ lib/"/>  
              <!--fileset dir="${build.dir}" includes="*.xml"/-->  
              <fileset dir="${root}" includes="resources/ plugin.xml"/>  
            </jar>  
          </target>  
          
        </project>  
    

    makePlus.sh

    ant jar -Dversion=2.5.2 -Declipse.home=/home/admin1/Public/eclipse     
    -Dhadoop.home=/home/admin1/下载/hadoop-2.5.2
    

    说明:Declipse就是你eclipse的安装目录,Dhadoop就是你hadoop的安装目录。

    接着运行 ./makePlus.sh就可以编译了。编译好之后放到eclipse的plugins中,然后重启eclipse就可以了。

    好吧,说到这里我的内心崩溃的,这里过程台复杂了有木有,而且最后我重启eclipse居然没有成功[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-FlyISVPy-1650257605514)(http://static.blog.csdn.net/xheditor/xheditor_emot/default/sad.gif)],后来我发现弄了这么久居然是eclipse的原因,我的内心简直一万头×××,后来我把4.5版的删了,换成4.4的就可以了。当然中间还有一个小插曲,就是配置后不能右键New Hadoop了,所以我就在命令行输入了:

    ./eclipse -clean -consolelog -debug
    

    然后重启就没有问题了。

    现在来看运行配置:

    可以在浏览器上面看到我刚才新建的几个文件夹:

    这样就算是完全弄好了,接下来就可以愉快的开始hadoop的开发了。

    总结:在学习一个新东西的时候,最开始那一步是很难踏出的很难,甚至让我们很痛苦和烦躁,但是相信吧,累了可以休息下,然后继续完成,我在搭这个环境的时候也搭了近2天,中间走了很多弯路,试了很多的方法,我也尝试了搭建多台虚拟机来做一个伪分布式环境,但是我最后发现我做伪分布式环境并不是我所要的。网上资料非常丰富,要善于找到对自己有用的东西,不要盲目的跟着网上代码跑,要有自己的思路,相信吧,最后会成功的!没有做不到,只有想不到!

    展开全文
  • 第1关:配置开发环境 - JavaJDK的配置 mkdir /app cd /opt tar -zxvf jdk-8u171-linux-x64.tar.gz mv jdk1.8.0_171/ /app vim /etc/profile 光标移动到文件末尾 i JAVA_HOME=/app/jdk1.8.0_171 CLASSPATH=.:$...

    第1关:配置开发环境 - JavaJDK的配置

    mkdir /app
    
    cd /opt
    
    tar -zxvf jdk-8u171-linux-x64.tar.gz
    
    mv jdk1.8.0_171/ /app
    
    vim /etc/profile
    
    光标移动到文件末尾
    i
    
    JAVA_HOME=/app/jdk1.8.0_171
    CLASSPATH=.:$JAVA_HOME/lib/tools.jar
    PATH=$JAVA_HOME/bin:$PATH
    export JAVA_HOME CLASSPATH PATH
    
    按esc键
    
    冒号shift+:
    
    wq
    
    source /etc/profile
    

    第2关:配置开发环境 - Hadoop安装与伪分布式集群搭建

    cd /opt
    tar -zxvf hadoop-3.1.0.tar.gz -C /app
    cd /app
    mv hadoop-3.1.0/ hadoop3.1
    

    提示:如果出现文件解压大小限制的情况,可以使用 ulimit -f 1000000 命令来解除限制。

    ssh-keygen -t rsa -P ''
    

    回车

    cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
    chmod 600 ~/.ssh/authorized_keys
    vim /etc/ssh/sshd_config
    
    在文件中找到这三个
    
    
    
    找到之后,移动光标
    
    i
    1
    删掉开头的 # 和下图内容相同
    
    
    
    cd /app/hadoop3.1/etc/hadoop/
    
    vim hadoop-env.sh
    
    i
    
    # The java implementation to use.  
    #export JAVA_HOME=${JAVA_HOME}  
    export JAVA_HOME=/app/jdk1.8.0_171
    

    按esc键

    冒号,shift+:

    wq

    vim yarn-env.sh
    
    i
    
    export JAVA_HOME=/app/jdk1.8.0_171
    

    按esc键

    冒号,shift+:

    wq

    vim core-site.xml
    
    在文件末尾的configuration标签中添加代码如下:
     <property>  
        <name>fs.default.name</name>  
        <value>hdfs://localhost:9000</value>  
        <description>HDFS的URI,文件系统://namenode标识:端口号</description>  
    </property>  
    <property>  
        <name>hadoop.tmp.dir</name>  
        <value>/usr/hadoop/tmp</value>  
        <description>namenode上本地的hadoop临时文件夹</description>  
    </property>  
    

    按esc键

    冒号,shift+:

    wq

    vim hdfs-site.xml
    
    在文件末尾的configuration标签中添加代码如下:
    <property>  
        <name>dfs.name.dir</name>  
        <value>/usr/hadoop/hdfs/name</value>  
        <description>namenode上存储hdfs名字空间元数据 </description>   
    </property>  
    <property>  
        <name>dfs.data.dir</name>  
        <value>/usr/hadoop/hdfs/data</value>  
        <description>datanode上数据块的物理存储位置</description>  
    </property>  
    <property>  
        <name>dfs.replication</name>  
        <value>1</value>  
    </property>  
    

    按esc键

    冒号,shift+:

    wq

    vim mapred-site.xml
    
    在文件末尾的configuration标签中添加代码如下:
    <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
    </property>
    

    按esc键

    冒号,shift+:

    wq

    vim yarn-site.xml
    
    在文件末尾的configuration标签中添加代码如下:
    <property>  
            <name>yarn.nodemanager.aux-services</name>  
            <value>mapreduce_shuffle</value>  
    </property>  
    <property>  
            <name>yarn.resourcemanager.webapp.address</name>  
            <value>192.168.2.10:8099</value>  
            <description>这个地址是mr管理界面的</description>  
    </property>  
    

    按esc键

    冒号,shift+:

    wq

    mkdir -p /usr/hadoop/tmp 
    
    mkdir /usr/hadoop/hdfs 
    
    mkdir /usr/hadoop/hdfs/data 
    
    mkdir /usr/hadoop/hdfs/name
    
    vim /etc/profile
    
    文件末尾插入以下代码:
    #set Hadoop Enviroment
    export HADOOP_HOME=/app/hadoop3.1
    export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
    

    按esc键

    冒号,shift+:

    wq
    
    source /etc/profile
    
    hadoop namenode -format
    
    cd /app/hadoop3.1/sbin
    
    vim start-dfs.sh
    
    i
    
    回车键换行
    
    在文件顶部添加以下参数:
    #!/usr/bin/env bash
    HDFS_DATANODE_USER=root
    HADOOP_SECURE_DN_USER=hdfs
    HDFS_NAMENODE_USER=root
    HDFS_SECONDARYNAMENODE_USER=root
    

    按esc键

    冒号,shift+:

    wq

    vim stop-dfs.sh
    
    i
    
    回车键换行
    
    在文件顶部添加以下参数:
    #!/usr/bin/env bash
    HDFS_DATANODE_USER=root
    HADOOP_SECURE_DN_USER=hdfs
    HDFS_NAMENODE_USER=root
    HDFS_SECONDARYNAMENODE_USER=root
    

    按esc键

    冒号,shift+:

    wq

    vim start-yarn.sh
    
    i
    
    回车键换行
    
    在文件顶部添加以下参数:
    #!/usr/bin/env bash
    YARN_RESOURCEMANAGER_USER=root
    HADOOP_SECURE_DN_USER=yarn
    YARN_NODEMANAGER_USER=root
    

    按esc键

    冒号,shift+:

    wq

    vim stop-yarn.sh
    i
    
    回车键换行
    
    在文件顶部添加以下参数:
    #!/usr/bin/env bash
    YARN_RESOURCEMANAGER_USER=root
    HADOOP_SECURE_DN_USER=yarn
    YARN_NODEMANAGER_USER=root
    

    按esc键

    冒号,shift+:

    wq

    start-dfs.sh
    
    jps
    
    展开全文
  • 头歌Educoder——大数据Hadoop开发环境搭建

    万次阅读 多人点赞 2021-03-11 18:51:43
    文章目录第1关:配置开发环境 - JavaJDK的配置任务描述相关知识下载JDK解压配置环境变量测试编程要求实现代码第2关:配置开发环境 - Hadoop安装与伪分布式集群搭建任务描述相关知识下载Hadoop配置Hadoop环境设置SSH...

    第1关:配置开发环境 - JavaJDK的配置

    任务描述

    本关任务:配置JavaJDK

    相关知识

    配置开发环境是我们学习一门IT技术的第一步,Hadoop是基于Java开发的,所以我们学习Hadoop之前需要在Linux系统中配置Java的开发环境。

    下载JDK

    前往Oracle的官网下载JDK: https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html

    预览大图

    我们可以先下载到本地,然后从Windows中将文件传入到虚拟机中。 也可以复制链接地址,在Linux系统中下载,不过复制链接地址不能直接下载,因为Oracle做了限制,地址后缀需要加上它随机生成的随机码,才能下载到资源。

    img

    所以我们可以点击下载,然后暂停,最后在下载管理中复制链接地址就可以在Linux系统中下载啦。

    img

    因为JDK的压缩包有大概200M,所以我们已经在平台中为你下载好了JDK,不用你再去Oracle的官网去下载了,如果你要在自己的Linux系统中安装,那么还是需要下载的。

    我们已经将JDK的压缩包放在系统的/opt目录下了,在命令行中切换至该目录下即可。

    解压

    首先在右侧命令行中创建一个/app文件夹,我们之后的软件都将安装在该目录下。 命令:mkdir /app

    然后,切换到/opt目录下,来查看一下提供的压缩包。

    img

    可以看到我们已经帮你下载好了JDKHadoop的安装文件。

    现在我们解压JDK并将其移动到/app目录下。

    tar -zxvf jdk-8u171-linux-x64.tar.gzmv jdk1.8.0_171/ /app
    

    可以切换到/app目录下查看解压好的文件夹。

    img

    配置环境变量

    解压好JDK之后还需要在环境变量中配置JDK,才可以使用,接下来就来配置JDK。 输入命令:vim /etc/profile 编辑配置文件;

    在文件末尾输入如下代码(不可以有空格):

    img

    然后,保存并退出。

    最后:source /etc/profile使刚刚的配置生效。

    测试

    最后我们可以测试一下环境变量是否配置成功。 输入:java -version 出现如下界面代表配置成功。

    img

    编程要求

    根据上述步骤完成Java开发环境的配置即可。

    注意:因为下次再开启实训,环境会重置,所以最好的方式是一次性通过所有关卡。


    开始配置JDK吧,go on

    实现代码

    mkdir /app
    
    cd /opt
    
    tar -zxvf jdk-8u171-linux-x64.tar.gz
    
    mv jdk1.8.0_171/ /app
    
    vim /etc/profile
    
    光标移动到文件末尾
    i
    
    JAVA_HOME=/app/jdk1.8.0_171
    CLASSPATH=.:$JAVA_HOME/lib/tools.jar
    PATH=$JAVA_HOME/bin:$PATH
    export JAVA_HOME CLASSPATH PATH
    
    按esc键
    
    冒号shift+:
    
    wq
    
    source /etc/profile
    
    

    输入:java -version 出现如下界面代表配置成功。

    image-20210311180356512

    第2关:配置开发环境 - Hadoop安装与伪分布式集群搭建


    任务描述

    本关任务:安装配置Hadoop开发环境。

    相关知识

    下载Hadoop

    我们去官网下载:http://hadoop.apache.org/ 在平台上已经帮你下载好了(在/opt目录下),这里只是展示一下下载步骤。

    img img img

    输入wget下载Hadoop

    wget http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz
    

    如果是生产环境就需要验证文件的完整性,在这里就偷个懒了。

    由于解压包有大概300M,所以我们已经预先帮你下载好了,切换到/opt目录下即可看到。

    接下来解压Hadoop的压缩包,然后将解压好的文件移动到/app目录下。

    img

    我们来切换到app目录下修改一下hadoop文件夹的名字。

    img

    提示:如果出现文件解压大小限制的情况,可以使用 ulimit -f 1000000 命令来解除限制。

    配置Hadoop环境

    接下来我们开始配置Hadoop开发环境。 咱们来搭建一个单节点的集群,配置一个伪分布式,为什么不做分布式呢? 其实分布式的配置和伪分布式差不多,只是分布式机器增加了而已,其他没什么两样,所以作为Hadoop学习我们搭建伪分布式要更好一点,不过后期我们会搭建真正的分布式环境。 好了,开始吧。你可以和我一起来,也可以看官方文档:http://hadoop.apache.org/docs/r3.1.0/hadoop-project-dist/hadoop-common/SingleCluster.html

    设置SSH免密登录

    在之后操作集群的时候我们需要经常登录主机和从机,所以设置SSH免密登录时有必要的。

    输入如下代码:

     ssh-keygen -t rsa -P ''
    

    生成无密码密钥对,询问保存路径直接输入回车,生成密钥对:id_rsa和id_rsa.pub,默认存储在~/.ssh目录下。 接下来:把id_rsa.pub追加到授权的key里面去。

    cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
    

    然后修改权限:

    chmod 600 ~/.ssh/authorized_keys
    

    接着需要启用RSA认证,启动公钥私钥配对认证方式:
    vim /etc/ssh/sshd_config 如果提示权限不足在命令前加上sudo; 修改ssh配置:

    RSAAuthentication yes # 启用 RSA 认证PubkeyAuthentication yes # 启用公钥私钥配对认证方式AuthorizedKeysFile %h/.ssh/authorized_keys # 公钥文件路径
    

    img

    重启SSH(在本地自己的虚拟机中可以重启,在平台不可以重启哦,也不需要,重启了你就连接不上命令行了!)

    service ssh restart
    

    好了准备工作已经做完了,我们要开始修改Hadoop的配置文件了,总共需要修改6个文件。分别是:

    • hadoop-env.sh;
    • yarn-env.sh ;
    • core-site.xml;
    • hdfs-site.xml;
    • mapred-site.xml;
    • yarn-site.xml。

    我们一个一个接着来配置吧!

    hadoop-env.sh 配置

    两个env.sh文件主要是配置JDK的位置

    提示:如果忘记了JDK的位置了,输入 echo $JAVA_HOME就可以看到哦。

    首先我们切换到hadoop目录下

    cd /app/hadoop3.1/etc/hadoop/
    

    编辑 hadoop-env.sh在文件中插入如下代码:

    # The java implementation to use.  #export JAVA_HOME=${JAVA_HOME}  export JAVA_HOME=/app/jdk1.8.0_171
    

    yarn-env.sh 配置

    编辑yarn-env.sh 插入如下代码:

    export JAVA_HOME=/app/jdk1.8.0_171
    

    img

    core-site.xml配置

    这个是核心配置文件我们需要在该文件中加入HDFSURINameNode的临时文件夹位置,这个临时文件夹在下文中会创建。 在文件末尾的configuration标签中添加代码如下:

    <configuration>   <property>      <name>fs.default.name</name>      <value>hdfs://localhost:9000</value>      <description>HDFS的URI,文件系统://namenode标识:端口号</description>  </property>  <property>      <name>hadoop.tmp.dir</name>      <value>/usr/hadoop/tmp</value>      <description>namenode上本地的hadoop临时文件夹</description>  </property>  </configuration>  
    

    hdfs-site.xml文件配置

    replication指的是副本数量,我们现在是单节点,所以是1

    <configuration>  <property>      <name>dfs.name.dir</name>      <value>/usr/hadoop/hdfs/name</value>      <description>namenode上存储hdfs名字空间元数据 </description>   </property>  <property>      <name>dfs.data.dir</name>      <value>/usr/hadoop/hdfs/data</value>      <description>datanode上数据块的物理存储位置</description>  </property>  <property>      <name>dfs.replication</name>      <value>1</value>  </property>  </configuration>  
    

    mapred-site.xml文件配置

    <configuration>    <property>        <name>mapreduce.framework.name</name>        <value>yarn</value>    </property></configuration>
    

    yarn-site.xml配置

    <configuration>  <property>          <name>yarn.nodemanager.aux-services</name>          <value>mapreduce_shuffle</value>  </property>  <property>          <name>yarn.resourcemanager.webapp.address</name>          <value>192.168.2.10:8099</value>          <description>这个地址是mr管理界面的</description>  </property>  </configuration>  
    

    创建文件夹

    我们在配置文件中配置了一些文件夹路径,现在我们来创建他们,在/usr/hadoop/目录下使用hadoop用户操作,建立tmphdfs/namehdfs/data目录,执行如下命令:

    mkdir -p /usr/hadoop/tmp mkdir /usr/hadoop/hdfs mkdir /usr/hadoop/hdfs/data mkdir /usr/hadoop/hdfs/name
    

    将Hadoop添加到环境变量中

    vim /etc/profile
    

    在文件末尾插入如下代码:

    img

    最后使修改生效:source /etc/profile

    验证

    现在配置工作已经基本搞定,接下来只需要完成:1.格式化HDFS文件、2.启动hadoop、3.验证Hadoop 即可。

    格式化

    在使用Hadoop之前我们需要格式化一些hadoop的基本信息。 使用如下命令:

    hadoop namenode -format
    

    出现如下界面代表成功:

    img

    启动Hadoop

    接下来我们启动Hadoop

    start-dfs.sh
    

    输入命令应该会出现如下图界面:

    img

    这个是表示启动没成功,是因为root用户现在还不能启动hadoop,我们来设置一下就可以了。

    /hadoop3.1/sbin路径下: cd /app/hadoop3.1/sbin。 将start-dfs.shstop-dfs.sh两个文件顶部添加以下参数

    #!/usr/bin/env bashHDFS_DATANODE_USER=rootHADOOP_SECURE_DN_USER=hdfsHDFS_NAMENODE_USER=rootHDFS_SECONDARYNAMENODE_USER=root
    

    还有,start-yarn.shstop-yarn.sh顶部也需添加以下:

    #!/usr/bin/env bashYARN_RESOURCEMANAGER_USER=rootHADOOP_SECURE_DN_USER=yarnYARN_NODEMANAGER_USER=root
    

    再次启动start-dfs.sh,最后输入命令 jps 验证,出现如下界面代表启动成功:

    img

    之后如果你是图形化界面,可以在你虚拟机的图形化界面中打开火狐浏览器输入:http://localhost:9870/ 或者在windows机器上输入http://虚拟机ip地址:9870/ 也可以访问hadoop的管理页面。

    img

    好了到了这一步Hadoop就安装完成了。

    编程要求

    根据上述步骤,配置好Hadoop开发环境,点击评测即可。

    提示:如果出现文件解压大小限制的情况,可以使用 ulimit -f 1000000 命令来解除限制。


    开始你的任务吧,祝你成功!

    实现代码

    判断JDK有没有安装:输入 echo $JAVA_HOME就可以看到哦

    image-20210311174301404

    窗口出现则表示JDK已经安装,可以进行下面的步骤。

    如果没有安装,则先进行第一关的代码安装JDK

    代码:

    cd /opt
    tar -zxvf hadoop-3.1.0.tar.gz -C /app
    cd /app
    mv hadoop-3.1.0/ hadoop3.1
    

    提示:如果出现文件解压大小限制的情况,可以使用 ulimit -f 1000000 命令来解除限制。

    ssh-keygen -t rsa -P ''
    回车
    cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
    chmod 600 ~/.ssh/authorized_keys
    vim /etc/ssh/sshd_config
    

    在文件中找到这三个

    image-20210311181748162

    找到之后,移动光标

    i
    

    删掉开头的 # 和下图内容相同

    image-20210311181920700

    cd /app/hadoop3.1/etc/hadoop/
    
    vim hadoop-env.sh
    
    i
    
    
    # The java implementation to use.  
    #export JAVA_HOME=${JAVA_HOME}  
    export JAVA_HOME=/app/jdk1.8.0_171
    
    按esc键
    
    冒号,shift+:
    
    wq
    

    image-20210311182228892

    vim yarn-env.sh
    
    i
    
    export JAVA_HOME=/app/jdk1.8.0_171
    
    按esc键
    
    冒号,shift+:
    
    wq
    

    image-20210311182749110

    vim core-site.xml
    
    在文件末尾的configuration标签中添加代码如下:
     <property>  
        <name>fs.default.name</name>  
        <value>hdfs://localhost:9000</value>  
        <description>HDFS的URI,文件系统://namenode标识:端口号</description>  
    </property>  
    <property>  
        <name>hadoop.tmp.dir</name>  
        <value>/usr/hadoop/tmp</value>  
        <description>namenode上本地的hadoop临时文件夹</description>  
    </property>  
    
    按esc键
    
    冒号,shift+:
    
    wq
    

    image-20210311183029273

    vim hdfs-site.xml
    
    在文件末尾的configuration标签中添加代码如下:
    <property>  
        <name>dfs.name.dir</name>  
        <value>/usr/hadoop/hdfs/name</value>  
        <description>namenode上存储hdfs名字空间元数据 </description>   
    </property>  
    <property>  
        <name>dfs.data.dir</name>  
        <value>/usr/hadoop/hdfs/data</value>  
        <description>datanode上数据块的物理存储位置</description>  
    </property>  
    <property>  
        <name>dfs.replication</name>  
        <value>1</value>  
    </property>  
    
    按esc键
    
    冒号,shift+:
    
    wq
    

    image-20210311183234608

    vim mapred-site.xml
    
    在文件末尾的configuration标签中添加代码如下:
    <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
    </property>
    
    按esc键
    
    冒号,shift+:
    
    wq
    

    image-20210311183353326

    vim yarn-site.xml
    
    在文件末尾的configuration标签中添加代码如下:
    <property>  
            <name>yarn.nodemanager.aux-services</name>  
            <value>mapreduce_shuffle</value>  
    </property>  
    <property>  
            <name>yarn.resourcemanager.webapp.address</name>  
            <value>192.168.2.10:8099</value>  
            <description>这个地址是mr管理界面的</description>  
    </property>  
    
    按esc键
    
    冒号,shift+:
    
    wq
    

    image-20210311183520033

    mkdir -p /usr/hadoop/tmp 
    
    mkdir /usr/hadoop/hdfs 
    
    mkdir /usr/hadoop/hdfs/data 
    
    mkdir /usr/hadoop/hdfs/name
    
    vim /etc/profile
    
    文件末尾插入以下代码:
    #set Hadoop Enviroment
    export HADOOP_HOME=/app/hadoop3.1
    export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
    
    按esc键
    
    冒号,shift+:
    
    wq
    
    source /etc/profile
    

    image-20210311183918092

    hadoop namenode -format
    
    cd /app/hadoop3.1/sbin
    
    vim start-dfs.sh
    
    i
    
    回车键换行
    
    在文件顶部添加以下参数:
    #!/usr/bin/env bash
    HDFS_DATANODE_USER=root
    HADOOP_SECURE_DN_USER=hdfs
    HDFS_NAMENODE_USER=root
    HDFS_SECONDARYNAMENODE_USER=root
    
    按esc键
    
    冒号,shift+:
    
    wq
    

    image-20210311184210673

    vim stop-dfs.sh
    
    i
    
    回车键换行
    
    在文件顶部添加以下参数:
    #!/usr/bin/env bash
    HDFS_DATANODE_USER=root
    HADOOP_SECURE_DN_USER=hdfs
    HDFS_NAMENODE_USER=root
    HDFS_SECONDARYNAMENODE_USER=root
    
    按esc键
    
    冒号,shift+:
    
    wq
    

    image-20210311184210673

    vim start-yarn.sh
    
    i
    
    回车键换行
    
    在文件顶部添加以下参数:
    #!/usr/bin/env bash
    YARN_RESOURCEMANAGER_USER=root
    HADOOP_SECURE_DN_USER=yarn
    YARN_NODEMANAGER_USER=root
    
    按esc键
    
    冒号,shift+:
    
    wq
    

    image-20210311184604962

    vim stop-yarn.sh
    
    i
    
    回车键换行
    
    在文件顶部添加以下参数:
    #!/usr/bin/env bash
    YARN_RESOURCEMANAGER_USER=root
    HADOOP_SECURE_DN_USER=yarn
    YARN_NODEMANAGER_USER=root
    
    按esc键
    
    冒号,shift+:
    
    wq
    

    image-20210311184604962

    start-dfs.sh
    
    jps
    

    出现以下内容则成功,快测评吧

    image-20210311184753319

    展开全文
  • Hadoop开发环境搭建bin

    2020-10-06 21:49:21
    windows中Hadoop开发环境中用到的bin,因为镜像下载中缺少winutils.exe和hadoop.dll ,所以上传此资源以备使用 windows搭建Hadoop开发环境请参考https://blog.csdn.net/qq_38774450/article/details/108942115
  • 主要介绍了windows 32位eclipse远程hadoop开发环境搭建的相关资料,需要的朋友可以参考下
  • Hadoop开发环境搭建Win8+Eclipse+Linux.pdf
  • win7+eclipse+hadoop开发环境搭建[收集].pdf
  • Hadoop大数据实战 第二部分 Hadoop开发环境搭建7-安装Hadoop;Hadoop部署方式;安装前准备软件;伪分布模式安装步骤; ; ; ; ;启动hadoop;浏览hadoop; ; 现场演示
  • 第二部分 Hadoop开发环境搭建 1-Hadoop大数据概述 密不可分的大数据与云计算 商业模式驱动 应用需求驱动 云计算本身也是大数据的一种业务模式 大数据是落地的云 云计算的模式是业务模式本质是数据处理技术 数据是...
  • 第二部分 Hadoop开发环境搭建;1. 系统管理命令ps 和 kill;1作用 ps显示当前系统中由该用户运行的进程列表 kill输出特定的信号给指定 PID进程号的进程并根据该信号而完成指定的行为其中可能的信号有进程挂起进程等待...
  • 安装JDK 我们先把创建一个jdk文件夹,然后把下载好的JDK压缩包复制到jdk文件夹里{... 接着 解压jdk安装包 tar -zxvf jdk-7u45-linux-x64.tar.gz 新建一个hadoop文件夹,将解压后的jdk文件夹移动到hadoop文件夹 m...
  • 第二部分 Hadoop开发环境搭建 ;想驾驭这庞大的数据我们必须了解大数据的特征;大量化(Volume)多样化(Variety)快速化(Velocity)价值密度低Value就是大数据的显著特征或者说只有具备这些特点的数据才是大数据
  • 第二部分 Hadoop开发环境搭建7-伪分布模式安装HadoopHadoop部署方式本地模式伪分布模式集群模式安装前准备软件jdk-7u7-linux-i586.tar.gzhadoop-2.7.2.tar.gz伪分布模式安装步骤关闭防火墙设置ssh自动登录安装jdk...
  • 第二部分 Hadoop开发环境搭建 2-VMware及Linux安装 现场演示
  • 第二部分 Hadoop开发环境搭建5-Linux下安装JDK配置JDK 现场演示
  • 第二部分 Hadoop开发环境搭建; 现场演示
  • 第二部分 Hadoop开发环境搭建 6-设置SSH 免密码登录 参见网址 /Linux/2013-03/80488.htm 现场演示
  • 第二部分 Hadoop开发环境搭建 5-Linux下安装JDK
  • Hadoop 开发环境搭建第一篇: 1、是用Virtual Box 系统使用的是Redhat ,linux不熟的朋友们可以顺便学习一下linux, 2、环境配置包括防火墙关闭,IP分配,更改域名等 3、服务软件:远程服务SSH等安装
  • hadoop开发环境搭建详细文档,包括CentOS安装及配置,jdk安装及配置,hadoop安装及配置,文档内附环境所需软件分享网址。 CentOS6.5 + jdk1.6 + hadoop
  • 搭建Hadoop开发环境(全过程)

    千次阅读 2021-04-23 10:14:49
    Hadoop环境搭建 一、VMware环境准备 1、安装VMware 在官网下载安装包安装好VMware,输入密钥激活软件(密钥可以在网上可以在网上搜索) 新建虚拟机 选择Linux操作系统和centos7版本 给虚拟机命名 配置虚拟机磁盘 ...
  • hadoop开发环境搭建教程:利用Cloudera实现Hadoop

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 32,159
精华内容 12,863
关键字:

hadoop开发环境搭建