精华内容
下载资源
问答
  • hadoop 配置Snapshot

    2016-12-01 12:02:43
    hadoop 配置Snapshot 本文主要参考hadoop官方文档:http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HdfsSnapshots.html 首先看一下hadopp中的目录 配置hadoop的Snapshot的步骤...

    hadoop 配置Snapshot

    本文主要参考hadoop官方文档:http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HdfsSnapshots.html
    首先看一下hadopp中的目录


    配置hadoop的Snapshot的步骤:
    1、启用某个目录为允许Snapshot。
    hdfs dfsadmin -allowSnapshot /data/weblogs


    这时候在看web上的情况:

    2、为某个文件夹生成Snapshot:
    hdfs dfs -createSnapshot /data/weblogs

    这时候,再看一下web上的内容:


    已经显示出新建的Snapshot了。

    3、删除Snapshot:
    hdfs dfs -deleteSnapshot s20161201-115600.656

    看看web上的变化:


    4、禁止某个文件夹生成Snapshot:
    hdfs dfsadmin -disallowSnapshot /data/weblogs

    观察web的情况

    展开全文
  • Hadoop配置SSH免密登录

    千次阅读 2017-04-04 21:16:31
    Hadoop配置SSH免密登录

    基于Hadoop2.2.0+Centos7的SSH免密登录            

    在虚拟机中的家目录(我这里是root)下 ,ls -la 命令















    这里可以看到.ssh目录,进入里面只有known_hosts文件,执行

    ssh-keygen -t rsa 
    按照提示需要按四个回车(Enter),执行完后会生成两个文件id_rsa(私钥)、id_rsa.pub(公钥)



    这时我们将公钥拷贝到需要免登陆的机器上

    cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys              ##  >>表示将指定的文件信息authorized_keys(注:文件名必须为authorized_keys)中,无改文件会自动创建
    或使用更快捷的命令
    ssh-copy-id -i  localhost                                    ##  直接将公钥拷贝到指定ip或主机中
    例如,我需要免密登录到192.168.1.129,则

    ssh-copy-id -i  192.168.1.129
    此时我在192.168.1.44的虚拟机上连接操作192.168.1.129的服务器已经不需要输入密码






    原理如图(注:此图非原创,来自互联网搜索)















    展开全文
  • Hadoop配置Yarn

    千次阅读 2017-04-24 22:30:18
    Hadoop配置-Yarn篇作者:秦景坤时间:2017-4-23YARN是Hadoop2.x中的内容(伪分布式不启动YARN也可以,一般不会影响程序执行)有的读者可能会疑惑,怎么启动Hadoop后,见不到书上所说的JobTracker和TaskTracker,这是...

    Hadoop配置-Yarn篇

    作者:秦景坤

    时间:2017-4-23

    YARN是Hadoop2.x中的内容(伪分布式不启动YARN也可以,一般不会影响程序执行)

    有的读者可能会疑惑,怎么启动Hadoop后,见不到书上所说的JobTracker和TaskTracker,这是因为新版的Hadoop使用了新的MapReduce框架(MapReduce V2,也称为YARN,Yet Another Resource Negotiator)。

    YARN是从MapReduce中分离出来的,负责资源管理与任务调度。YRAN运行于MapReduce之上,提供了高可用性、高扩展性。

    上一篇中通过./sbin/start-dfs.sh启动Hadoop,仅仅是启动了MapReduce环境,可以启动YARN,让YARN来负责资源管理和任务调度。

    首先修改配置文件mapred-site.xml,这边需要先进行重命名。

    mv ./etc/hadoop/mapred-site.xml.template ./etc/hadoop/mapred-site.xml
    

    然后再进行编辑,同样使用vi进行编辑 vi ./etc/hadoop/mapred-site.xml

    接着修改配置文件yarn-site.xml:

    然后就可以启动YARN(需要先执行./sbin/start-dfs.sh)

    启动YARN之后,运行实例的方法还是一样的,仅仅是资源管理方式,任务调度不同。观察日志信息可以发现,不启用YARN时,是”mapred.LocalJobRunner”在跑任务,启用YARN之后,是”mapred.YARNRunner”在跑任务。启动YARN有个好处是可以通过web界面查看任务的运行情况。

    但YARN主要是为集群提供更好的资源管理和任务调度,然而这在单机上体现不出价值,反而会使程序跑的稍慢些。因此在单机上是否开启YARN就看实际情况了。

    如果不想启动YARN,务必把配置文件mapred-site.xml重命名,改成mapred-site.xml.template,需要时改回来就行。否则在该配置文件存在,而未开启YARN的情况下,运行程序会提示”Retrying connect to server:0.0.0.0/0.0.0.0:8032”的错误,这也是为何该配置文件初始文件名为mapred-site.xml.template

    同样的,关闭YARN的脚本如下:

    ./sbin/stop-yarn.sh
    ./sbin/mr-jobhistory-daemon.sh stop historyserver
    
    展开全文
  • Hadoop配置伪分布式

    千次阅读 2019-05-12 13:05:14
    Hadoop配置伪分布式 Hadoop海量数据存储,需要分布式存储, Namenode:名称节点(NN),存放文件目录和路径,重要节点。有备份辅助节点 DataNode:数据节点(DN),存放数据,有副本 HDFS:分布式文件系统。...

    Hadoop配置伪分布式

     

    Hadoop海量数据存储,需要分布式存储,

    Namenode:名称节点(NN),存放文件目录和路径,重要节点。有备份辅助节点

    DataNode:数据节点(DN),存放数据,有副本

     

    HDFS:分布式文件系统。

    MapReduce:在分布式文件系统之上进行运算,海量数据并发运算,yarn他就是一个框架

     

    1处是独立模式

    2处是伪分布式模式

    3处是完全分布式模式

     

    ①、如何配置伪分布式模式

    首先进入找到hadoop文件,复制一份:

     

    然后进入到备份后的hadoop-pseudo文件夹里,编辑后卫-site.xml的文件:

    ※  编辑这三个

    Core-site.xml核心文件:

     

    <configuration>

    <property>

     

    <name>fs.defaultFS</name>

    <value>hdfs://localhost/</value>

     

    </property>

    </configuration>

    Hdfs-site.xml:文件系统

    <configuration>

    <property>

     

    <name>dfs.replication</name>

    <value>1</value>

     

    </property>

    </configuration>

    Yarn-site.xml:框架

    <configuration>

    <property>

    <name>yarn.resourcemanager.hostname</name>

    <value>localhost</value>

    </property>

    <property>

    <name>yarn.nodemanager.aux-services</name>

    <value>mapreduce_shuffle</value>

    </property>

    </configuration>

    第四个文件,mapred-site.xml

    复制mapred-site.xml.template复制后改名为mapred-site.xml,然后再gedit编辑,保存关闭:

    然后查看是否有ssh(安全访问技术),由图可看出已经存在有了:

    这个ssh完全不行的,我们还是要安装服务器版

    查询一下,然后再进行安装:

    安装后查看会生成一个ssh-keygen文件密钥分为公钥public key和私钥private key

    然后我们可以自己生成一个密钥:

    然后我们可以查看有一个隐藏的.shh文件,然后cd进入.shh

    然后把公钥放入授权认证的文件里:

    可以ssh试着登陆:

    可查看感知到了一个主机known_hosts

    可以退出:

    如果再登陆的话就不提示要密码了:

    然后我们可以对文件系统进行格式化,namenode就是放目录的节点:

    然后我们可以启动文件系统:

    再启动yarn(Hadoop资源管理器):

    然后我们可以看一下进程jps:

    可以-l查看详细信息:

    然后我们可以打开火狐浏览器输入localhost:50070或localhost:9870查看名称节点:

    或者输入localhost:8088查看资源管理器:

    不用可以停止yarn和dfs:

    关闭后为了方便创建目录和显示目录

    还要重新启动起来

    有一个指令统一启动dfs和yarn,就是all

    为hadoop设置统一配置环境变量指定配置目录:

    没设置之前,都是显示其他用户的:

    然后可以在hadoop下创建文件夹了:

    设置之后就可查看只有自己创建的了:

     

     

     

     

    展开全文
  • Hadoop配置使用Solr

    千次阅读 2017-07-04 15:18:17
    Hadoop配置使用Solr Solr可以和Hadoop一起使用。 由于Hadoop是用于处理大量数据,Solr帮助我们从这么大数据源中找到所需的信息。在本节中,我们将了解如何在系统上安装Hadoop。 下载Hadoop 下面给出...
  • hadoop配置文件详解

    千次阅读 2014-01-01 16:56:42
    Hadoop配置文件: hadoop-env.sh bash脚本 在运行Hadoop的脚本中使用的环境变量 core-site.xml Hadoop配置文件 Hadoop核心的配置,例如HDFS盒MapReduce中很普遍的I/O设置 hdfs-site.xml Hadoop配置文件 HDFS后台...
  • cloudera hadoop 配置文件位置

    千次阅读 2016-08-18 21:34:14
    cloudera hadoop 配置 文件 位置
  • Hadoop配置修改有两个方式 后台修改 通过管理后台直接修改的配置会自动修改所有集群机子的配置。而且会提醒是否需要重启哪些服务。 如下: 手动修改 如果是手动修改的话,需要知道配置文件存放的路径,CDH安装...
  • hadoop配置文件加载机制

    千次阅读 2017-08-07 11:55:20
    hadoop配置文件加载机制@(HADOOP)[hadoop]hadoop通过Configuration类来保存配置信息 1、通过Configuration.addResource()来加载配置文件 2、通过Configuration.get***()来获取配置属性1、创建一个新的...
  • hadoop配置文件加载顺序

    千次阅读 2017-08-16 22:02:45
    hadoop配置文件加载顺序  用了一段时间的hadoop,现在回来看看源码发现别有一番味道,温故而知新,还真是这样的  在使用hadoop之前我们需要配置一些文件,hadoop-env.sh,core-site.xml,hdfs-site....
  • hadoop配置与应用(一)

    千次阅读 2019-09-01 23:38:37
    hadoop配置与应用 实践1 – 单机配置hadoop 单主机伪分布 —— 用于实验和开发环境 环境要求 单台主机 192.168.56.10 操作系统 Centos7.2最小安装 hadoop hadoop-2.6.0-cdh5.7.0 环境准备 主机名 hostnamectl ...
  • Hadoop配置PATH环境变量

    千次阅读 2017-04-24 22:31:04
    Hadoop配置PATH环境变量在这里额外讲一下PATH这个环境变量,通过执行echo $PATH查看上面的教程中都是先进入到/usr/local/hadoop目录中,再执行sbin/hadoop,实际上等同于运行/usr/local/hadoop/sbin/hadoop。...
  • 六:配置时间同步: ...gt;找到VMware Tools,打开时间同步即可:   ...注:如果你是创建一台虚拟机,其他几台...1,进入hadoop配置文件目录: 命令:       2,更改配置文件core-site.xml :   命令: ...
  • 关于hadoop配置文件的注解

    千次阅读 2017-09-28 09:07:03
    关于hadoop配置文件 a、yarn-site.xml  yarn.nodemanager.aux-services  yarn.resourcemanager.hostname    yarn.resourcemanager.address  yarn.resourcemanager.scheduler.address   yarn....
  • hadoop配置自动清理日志

    万次阅读 2019-01-28 17:54:55
    步骤一、修改core-site.xml配置文件   &lt;property&gt;  &lt;name&gt;hadoop.logfile.size&lt;/name&gt;  &lt;value&gt;10000000&lt;/va...
  • Hadoop配置教程

    千次阅读 2017-04-03 16:40:40
    Supported Platforms GNU/Linux is supported as a development and production platform. Hadoop has been demonstrated on GNU/Linux clusters with 2000 nodes.Windows is also a supported platform but the
  • Hadoop 配置hadoop HA 的配置

    千次阅读 2015-03-15 09:00:18
    注:本文中提到的ochadoop 不要感到奇怪,是亚信公司内部自己合成的一个包,把所有的组件都放在一个包内了,免去了组件的下载过程和解决兼容问题,其实也可以自己下载的,不要受到影响。...配置IPADDR 地址 运行以下命
  • Hadoop配置文件

    万次阅读 2014-08-19 12:48:03
     Hadoop有三个重要的配置文件:core-site.xml,hdfs-site.xml,mapred-site.xml,但这三个文件默认情况下均为空,其默认值保存在core-default.xml,hdfs-default.xml,mapred-default.xml中。这三个默
  • 注意:以下实践实在Ubuntu14.0.4以及Hadoop2.7.2所做的,如果环境不同,效果... 配置jdkUbuntu默认是使用的OpenJDK,似乎也可以,不过因为惯性,我还是先配置了Sun的JDK,以防万一。 修改环境文件 运行命令:sudo gedit
  • Hadoop配置文档

    千次阅读 2016-08-26 23:10:37
    预节在这一节中,笔者主要向大家介绍了该配置文档中,所用到的Linux命令和Linux的帮助。终端提示信息在Linux中,终端的每一行都有提示信息,其包含了当前终端登录的用户,当前登录的主机,当前终端所在的目录。 如...
  • Spark加载hadoop配置原理

    千次阅读 2018-05-09 10:48:46
    0x0 背景 最近为了将hadoop&hive的五大配置文件,即: core-site.xml hdfs-site.xml yarn-site.xml mapred-site.xml hive-site.xml ...0x1 Hadoop及Hive获取默认配置过程 Hadoop有一个类 Co
  • hadoop配置历史服务器

    千次阅读 2019-06-19 15:07:50
    为了更好的查看程序的历史运行情况,需要配置一下历史服务器。 修改mapred-site文件 启动历史服务器 ./sbin/mr-jobhistory-daemon.sh start historyserver 查看wen端界面 ...
  • hadoop配置超详细版

    千次阅读 2017-04-12 21:51:05
    在Ubuntu下配置hadoop分为三个步骤   一.配置Java环境 二.配置ssh免密码登录 测试是否可以免密码登录 一.配置hadoop环境 预备工作 创建hadoop用户 为hadoop用户添加权限 (1)Ubuntu联网...
  • hadoop配置中,namenode无法启动,secondarynamenode正常启动,很可能是因为没有hadoop文件夹的权限。把权限分配给用户就行。然后stop-all, 再格式化format, 再重新启动就ok了。
  • hadoop配置日志聚集

    千次阅读 2019-06-19 15:27:13
    日志聚集 应用运行完成以后,将程序的运行日志上传到HDFS系统...配置yarn-site文件 关闭NodeManager、ResourceManager、HistoryManager ./sbin/yarn-daemon.sh stop resourcemanager ./sbin/yarn-daemon.sh sto...
  • 修改Hadoop配置文件

    千次阅读 2016-12-14 22:06:15
    1.hadoop-env.sh export JAVA_HOME=/usr/local/jdk/   2.core-site.xml    fs.default.name  hdfs://hadoop0:9000      hadoop.tmp.dir  /usr/local/hadoop/t
  • hadoop配置环境变量

    千次阅读 2018-01-16 21:51:56
    # export PATH=/bin:/usr/bin:/usr/local/bin export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_121.jdk/Contents/Home export JRE_HOME=$JAVA_HOME/jre ...export HADOOP_HOME=/usr/local/Cellar/
  • Hadoop配置文件详解

    千次阅读 2019-03-17 10:55:28
    Hadoop配置XML Hadoop Core的配置项,例如HDFS、MapReduce和YARN常用的I/O设置等 hdfs-site.xml Hadoop配置XML Hadoop守护进程的配置项,包括namenode、辅助namenode和datanode等 mapred-site.xml...
  • Hadoop配置datanode

    千次阅读 2014-09-04 16:49:51
    配置完成之后才想起来要写个总结,没有办法及时配图,下次配置的时候补上。  配置时参考了 http://blog.csdn.net/hguisu/article/details/7237395 很详细,怒赞加顶。  配置前需要确定本机的ip地址。本人是在...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 60,715
精华内容 24,286
关键字:

hadoop配置