精华内容
下载资源
问答
  • hadoop-env.sh
    2021-10-11 08:18:40
    # 配置Java的环境变量
    export JAVA_HOME=/export/server/jdk1.8.0_65
    # 配置Hadoop的环境变量
    export HADOOP_MAPRED_HOME=/export/server/hadoop-3.3.0
    
    # 告诉Hadoop各组件分别用哪个用户运行
    export HDFS_NAMENODE_USER=root
    export HDFS_DATANODE_USER=root
    export HDFS_SECONDARYNAMENODE_USER=root
    export YARN_RESOURCEMANAGER_USER=root
    export YARN_NODEMANAGER_USER=root 
    
    更多相关内容
  • hadoop-env.sh

    2020-04-03 10:49:51
    博客配套资源
  • ambari-2.7.5 编译过程中四个大包下载很慢,所以需要提前下载,包含:hbase-2.0.2.3.1.4.0-315-bin.tar.gz ,hadoop-3.1.1.3.1.4.0-315.tar.gz , grafana-6.4.2.linux-amd64.tar.gz ,phoenix-5.0.0.3.1.4.0-315....
  • mapred-env.sh

    2020-04-03 11:37:55
    Hadoop集群搭建配套配置文件
  • hadoop-3.1.3.tar.gz编译后的源码包
  • yarn-env.sh

    2020-04-03 11:40:00
    Hadoop集群搭建配套文件
  • hadoop-3.2.0.tar.gz

    2021-07-26 19:43:39
    hadoop3.2.0
  • hadoop-3.1.1.tar.gz

    2021-06-16 12:40:11
    hadoop压缩包
  • hadoop-3.3.1.tar.gz

    2021-06-26 01:20:11
    hadoop-3.3.1.tar.gz安装包
  • 已经配置好拿来即用
  • hadoop-env.sh 配置hadoop中的 hadoop-env.sh(后边很多框架配置环境都是xxx.env.sh) 配置hadoop的环境变量的,一般有Java home,hadoopconfdir等这些软件、配置目录,有运行过程中使用的变量,如hadoop栈大小...

     hadoop-env.sh

    配置hadoop中的 hadoop-env.sh(后边很多框架配置环境都是xxx.env.sh)

    配置hadoop的环境变量的,一般有Java home,hadoopconfdir等这些软件、配置目录,有运行过程中使用的变量,如hadoop栈大小配置,java 运行内存大小配置等等。

    用工具直接打开进行配置即可;

    默认是已经开启的,如果前面有#,只需要去掉即可;

    core-site.xml

    配置hadoop的访问目录(配置ip主机和端口号;提供出来进行访问);修改配置文件 etc/hadoop/core-site.xml

    用于定义系统级别的参数,如HDFS URL、Hadoop的临时目录等;

    Parameter

    Value

    Notes

    fs.defaultFS

    NameNode URI

    hdfs://host:port/

    io.file.buffer.size

    131072

    Size of read/write buffer used in SequenceFiles.

    其中,fs.defaultFS表示要配置的默认文件系统,io.file.buffer.size表示设置buffer的大小。

    最简单的方法,使用工具直接找到文件打开进行配置;

    在这个里边还有很多的配置信息,需要我们去官方找过来配置;

    .配置元数据和block块;其实就是去配置我们的hdfs中数据存储的block块;

    hdfs-site.xml

    HDFS也是采用块管理的,但是比较大,在Hadoop1.x中默认大小是64M,Hadoop2.x中大小默认为128M;他就是把一个大的文件分割成多个128M的block块来分布式存储数据;

    HDFS的元数据包含三部分:

    抽象目录树
    数据和块映射关系
    数据块的存储节点
    元数据有两个存储位置:

    内存:1、2、3
    3在集群启动时,Datanode 通过心跳机制向Namenode发送。
    磁盘:1、2
    集群启动时需要将磁盘中的元数据加载到内存中,所以磁盘中的元数据不适宜过多。
    元数据的存储格式:data/hadoopdata/目录下有三个文件夹

    data
    数据的真实存储目录,即datanode存储数据的存储目录
    name:元数据存储目录
    namenode存储元数据的存储目录

    需要对/usr/local/hadoop-2.7.3/etc/hadoop/hdfs-site.xml 其实就是hadoop的文件系统进行配置;

    mapred-site.xml

    配置计算框架:mapreduce框架; 需要对这个文件进行修改: mapred-site.xml

    • hadoop2.x中没有这个文件;只有 vi mapred-site.xml.template 这个临时文件;需要对他的后缀进行修改;
    1. mapred-site.xml.template mapred-site.xml 修改文件的后缀名字;

     

      yarn-site.xml

    对yarn的资源调度的配置: resourcemanager(资源调度管理者--针对的是nameNode) 和nodemanager (节点管理者--针对的是我们具体的节点) 主要是在 yarn-site.xml中进行配置:

     slaves

    配置从节点:也就是指定那些节点是从节点:就是这个文件:slaves

    这个地方把原来的localhost删除;加入你的从节点即可;

     到此hadoop的配置基本完成;就可以把这个分发给从节点中去;

    发分主节点的hadooop内容给从节点

    把配置好的hadoop的内容发分给hadoop02中的usr/local目录中;

    scp -r /usr/local/hadoop-2.7.3/ hadoop02:/usr/local/

    把配置好的hadoop的内容分发给hadoop03中的usr/local目录中;

    scp -r /usr/local/hadoop-2.7.3/ hadoop03:/usr/local/

     hadoop配置完成

    展开全文
  • hadoop-2.7.3.tar.gz arm

    2020-07-17 14:38:53
    Hadoop-2.7.3 arm平台麒麟操作系统部署,已编译支持snappy lz4压缩 Hadoop国产化部署 Linux version 4.19.90-vhulk2001.1.0.0026.ns7.15.aarch64 (root@mockbuild) (gcc version 4.8.5 20150623 (NeoKylin 4.8.5-36)...
  • hadoop-3.1.4.tar.gz

    2020-09-04 15:31:01
    官网下载较慢,可以在我这下载, 没有积分的用户可以邮箱私聊我, e-mail:13936553907@163.com
  • rpi-hadoop-3.2.1.tar.gz

    2020-07-08 17:06:49
    用树莓派4B编译apache官网的最新HADOOP源文件,供大家下载使用。由于树莓派使用的是arm架构,而官网给的编译后文件都是基于X86架构,且为64位,故编译过程较为艰难。
  • hadoop-3.1.3.tar.gz

    2019-12-20 10:12:39
    Hadoop是Apache的一款开源框架,使用java语言编写,可以通过编写简单的程序来实现大规模数据集合的分布式计算。工作在Hadoop框架上的应用可以工作在分布式存储和计算机集群计算的环境上面。 Hadoop具有高扩展性,...
  • hadoop-2.10.0.tar.gz

    2019-12-20 10:14:49
    Hadoop是Apache的一款开源框架,使用java语言编写,可以通过编写简单的程序来实现大规模数据集合的分布式计算。工作在Hadoop框架上的应用可以工作在分布式存储和计算机集群计算的环境上面。 Hadoop具有高扩展性,...
  • hadoop-2.9.2.tar.gz

    2019-12-20 10:10:25
    Hadoop是Apache的一款开源框架,使用java语言编写,可以通过编写简单的程序来实现大规模数据集合的分布式计算。工作在Hadoop框架上的应用可以工作在分布式存储和计算机集群计算的环境上面。 Hadoop具有高扩展性,...
  • hadoop-2.6.5.tar.gz

    2018-09-15 15:55:48
    hadoop的linux安装包,提供给需要的朋友。——hadoop-2.6.5.tar.gz
  • hadoop-env.sh文件研究

    2019-09-15 21:11:23
    该文件的主要是配置hadoop的环境变量。例如守护进程的JVM启动参数:java堆大小和垃圾回收策略等。在这个文件中还可以设置HBase配置文件的目录、日志目录、SSH选项、进程pid文件的目录等。 # Set Hadoop-specific ...

    该文件的主要是配置hadoop的环境变量。例如守护进程的JVM启动参数:java堆大小和垃圾回收策略等。在这个文件中还可以设置HBase配置文件的目录、日志目录、SSH选项、进程pid文件的目录等。

    # Set Hadoop-specific environment variableshere.

    # The only required environment variable isJAVA_HOME.  All others are

    # optional.  When running a distributed configuration it is best to

    # set JAVA_HOME in this file, so that it is correctly defined on

    # remote nodes.

    export JAVA_HOME=”/usr/java/实际jdk路径”

    JAVA_HOME是必须设置的,即使我们当前的系统中设置了JAVA_HOME,它也是不认识的,因为Hadoop即使是在本机上执行,它也是把当前的执行环境当成远程服务器。

    export HADOOP_CLASSPATH=

    # Extra Java CLASSPATH elements. 这个环境变量是hadoop执行程序时会查询class的路径。

    这个是可选的。

    export HADOOP_HEAPSIZE=2000

    # The maximum amount of heap to use, in MB.Default is 1000.

    hadoop为各个守护进程(namenode,secondarynamenode,jobtracker,datanode,tasktracker)统一分配的内存,默认为1000M。大部分情况下,这个统一设置的值可能并不适合。可以单独设置namenode的内存,通过HADOOP_NAMENODE_OPTS来设置。同样的,可以通过HADOOP_SECONDARYNAMENODE_OPTS来设置secondrynamenode的内存,使得它与namenode保持一致。以及HADOOP_DATANODE_OPTS、HADOOP_BALANCER_OPTS、HADOOP_JOBTRACKER_OPTS变量等等。

    # Extra Java runtime options.  Empty

    by default. java的运行选项,有默认值export HADOOP_OPTS=-server

    Hadoop启动时的JVM参数,默认是以server模式启动,后面可以跟-X或-XX之类的参数。

    export HADOOP_NAMENODE_OPTS=

    该选项的值会附加(覆盖)到HADOOP_OPTS之后,在启动NameNode时设置的JVM参数。

    export HADOOP_SECONDARYNAMENODE_OPTS=

    该选项的值会附加(覆盖)到HADOOP_OPTS之后,在启动SECONDNameNode时设置的JVM参数。

    export HADOOP_DATANODE_OPTS=该选项的值会附加到HADOOP_OPTS之后,在启动DataNode时设置的JVM参数。

    如想手动设置Datanode的堆、垃圾回收等信息,可以这样设置:export HADOOP_DATANODE_OPTS="-Xmx2g -XX:+UseParallelGC${HADOOP_NAMENODE_OPTS}" 其它的服务设置类似。

    # The directory where pid files are stored./tmp by default.

    # NOTE: this should be set to a directorythat can only be written to by

    #      the users that are going to run the hadoop daemons.  Otherwise there is

    #      the potential for a symlink attack.

    export HADOOP_PID_DIR=/var/hadoop/pids

    Hadoop PID文件的存放目录,这个最好是修改一下,因为/tmp目录通常来说是任何人都可以访问的,有可能存在符合链接攻击的风险。

     

    参数示例:

    HADOOP_OPTS

    -Djava.net.preferIPv4Stack=true

    优先使用IPV4,禁用IPV6

    HADOOP_NAMENODE_OPTS

    -Xms16384m //初始堆内存大小

    -Xmx16384m //最大堆内存大小

    -XX:NewRatio=3 //设置年轻代和年老代的比值。如:为3,表示年轻代与年老代比值为1:3,年轻代占整个年轻代年老代和的1/4

    -XX:SurvivorRatio=3 //年轻代中Eden区与两个Survivor区的比值。其中Survivor区有两个。如:3,表示Eden:Survivor=3:2,一个Survivor区占整个年轻代的1/5。

    -XX:MaxPermSize=200M  设置年老代大小

    -XX:+UseParallelGC

    //指定在年轻代使用 parallel

    collector, 并行收集 , 暂停 app threads, 同时启动多个垃圾回收 thread, 不能和 CMS gc 一起使用。

    -XX:+UseParNewGC

    //指定在年轻代使用 parallel

    collector, 是 UseParallelGC 的 gc 的升级版本 , 有更好的性能或者优点 , 可以和 CMS gc 一起使用。

    -XX:+UseConcMarkSweepGC //使用CMS内存收集

    -XX:CMSInitiatingOccupancyFraction=70  //使用70%后开始CMS收集

    -XX:ConcGCThreads=8

    -XX:+PrintGCDetails  //打印GC详情

    -XX:+PrintGCDateStamps  //打印GC时间戳

    -Xloggc:/tmp/namenode.gc.log  //gc日志的目录及文件名

    HADOOP_DATANODE_OPTS

    -Xms8G//初始堆内存

    -Xmx8G//最大堆内存

    -Xmn512M//设置年轻代大小

    -XX:+UseParNewGC

    -XX:+UseConcMarkSweepGC

    -XX:CMSInitiatingOccupancyFraction=75

    -XX:MaxDirectMemorySize=512M//

    此参数的含义是当Direct ByteBuffer分配的堆外内存到达指定大小后,即触发Full GC

     

    CMSInitiatingOccupancyFraction值与Xmn的关系公式

    网上有文章介绍了在采用cms收集器时,为避免发生full gc,

    CMSInitiatingOccupancyFraction与xmn需满足的一个关系:

    CMSInitiatingOccupancyFraction<=((Xmx-Xmn)-(Xmn-Xmn/(SurvivorRatior+2)))/(Xmx-Xmn)*100

    例如:

    当xmx=128 xmn=36 SurvivorRatior=1时CMSInitiatingOccupancyFraction<=((128.0-36)-(36-36/(1+2)))/(128-36)*100=73.913

    当xmx=128 xmn=24 SurvivorRatior=1时CMSInitiatingOccupancyFraction<=((128.0-24)-(24-24/(1+2)))/(128-24)*100=84.615…

    当xmx=3000 xmn=600 SurvivorRatior=1时CMSInitiatingOccupancyFraction<=((3000.0-600)-(600-600/(1+2)))/(3000-600)*100=83.33

    CMSInitiatingOccupancyFraction低于70% 需要调整xmnSurvivorRatior值。

     

    写这篇文章的初衷,是在于datanode节点启动后,通过ps -ef看到的datanode进程在启动jvm时,打印了多遍jvm配置参数(正常应该只打一遍)。Ambari平台在HDFSconfig->advanced上关于hadoop-env.sh的配置中,不应当添加“export”。

    展开全文
  • 修改hadoop-env.sh配置文件

    万次阅读 2019-04-01 19:53:36
    hadoop-env.sh hadoop运行环境 用来定义hadoop运行环境相关的配置信息 2 core-site.xml 集群全局参数 用于定义系统级别的参数,如HDFS URL 、Hadoop的临时目录等 3 hdfs-site.xml HDFS 如名称节点和数据节点的...

    前言:

    配置Hadoop的主要5个文件

    序号配置文件名配置对象主要内容
    1hadoop-env.shhadoop运行环境用来定义hadoop运行环境相关的配置信息
    2core-site.xml集群全局参数用于定义系统级别的参数,如HDFS URL 、Hadoop的临时目录等
    3hdfs-site.xmlHDFS如名称节点和数据节点的存放位置、文件副本的个数、文件的读取权限等
    4mapred-site.xmlMapreduce参数包括JobHistory Server 和应用程序参数两部分,如reduce任务的默认个数、任务所能够使用内存的默认上下限等
    5yarn-site.xml集群资源管理系统参数配置ResourceManager ,nodeManager的通信端口,web监控端口等

    Hadoop的根目录在/Myhadoop/Hadoop-2.7.4/

      本小节主要讲解修改hadoop-env.sh配置文件的内容。

    第一步:

      与上篇接驳,将路径定位到Hadoop的根目录,Myhadoop/Hadoop-2.7.4/

    在这里插入图片描述

    第二步:

      编辑hadoop-env.sh配置文件(这里只是添加JAVA环境,具体添加其他功能请参考hadoop权威指南
    在这里插入图片描述

      修改前
    在这里插入图片描述
      修改后
    在这里插入图片描述

    第三步:

      保存并退出

    快速链接

    上一篇汇总目录下一篇
     5.2 安装Hadoop 云计算数据平台-hadoop集群  5.2.2 修改core-site.xml配置文件(二)
    展开全文
  • hadoop-2.7.5.tar.gz

    2018-04-21 07:55:44
    Hadoop-2.7.5.tar.gz,官方包下载速度实在是太慢了,所以这里上传一份资源。
  • hadoop配置环境变量-hadoop-env.sh Xshell 进入配置文件的目录: 配置环境变量,见红色区域:(改成你自己的目录) 提示:按i,有写的权限时才可以修改。 ESC :wq 保存并退出。 ...
  • Hadoophadoop-env.sh配置文件

    万次阅读 2019-05-06 15:52:10
    下面分享一下hadoop配置jdk路径: # The java implementation to use: export JAVA_HOME=/home/bigdata/media/jdk1.7 export HADOOP_CONF_DIR=${HADOOP_CONF_DIR:-"/etc/hadoop"}
  • hadoop-3.0.0.tar.gz

    2018-02-24 21:53:34
    Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据...
  • 本人在配置hadoop的文件是遇到的,因为CentOS7.4的JDK版本正好是java version "1.8.0_131" , 故需要查看Centos下查看JDK的安装路径 查看方法 [root@hadoop112: hadoop112 19 日 3月 15 18:41:43 ~]#which java /...
  • Hadoop这个见鬼的环境,我只是运行单机模式,结果就是都不成功。好不容易磕磕盼盼的终于把啥缺的东西都找出来了结果最后还是失败了。暂时我真的不想去看失败记录,因为快要睡了明天再说吧。另外我这里有《Hadoop ...
  • hadoop-2.4.zip

    2020-02-28 14:38:52
    hadoop编译后的源码包!!
  • hadoop-2.9.0.tar.gz

    2021-01-30 11:36:40
    hadoop-2.9.0.tar.gz 绝对可用
  • hadoop-2.9.1.tar.gz

    2020-07-18 10:46:59
    本人下载实验后上传的,可实施,在Linux平台上安装hadoop-2.9.1需要,请需要的同志们自取使用,欢迎大家沟通交流。

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 62,973
精华内容 25,189
关键字:

hadoop-env.sh