hadoop 配置Snapshot
本文主要参考hadoop官方文档：http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HdfsSnapshots.html
首先看一下hadopp中的目录




配置hadoop的Snapshot的步骤：
1、启用某个目录为允许Snapshot。
hdfs dfsadmin -allowSnapshot /data/weblogs




这时候在看web上的情况：


2、为某个文件夹生成Snapshot:
hdfs dfs -createSnapshot /data/weblogs


这时候，再看一下web上的内容：




已经显示出新建的Snapshot了。


3、删除Snapshot：
hdfs dfs -deleteSnapshot s20161201-115600.656


看看web上的变化：




4、禁止某个文件夹生成Snapshot:
hdfs dfsadmin -disallowSnapshot /data/weblogs


观察web的情况

基于Hadoop2.2.0+Centos7的SSH免密登录            
在虚拟机中的家目录(我这里是root)下 ，ls -la 命令




























这里可以看到.ssh目录，进入里面只有known_hosts文件，执行

ssh-keygen -t rsa 
按照提示需要按四个回车(Enter)，执行完后会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）





这时我们将公钥拷贝到需要免登陆的机器上

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys              ##  >>表示将指定的文件信息authorized_keys(注：文件名必须为authorized_keys)中，无改文件会自动创建
或使用更快捷的命令
ssh-copy-id -i  localhost                                    ##  直接将公钥拷贝到指定ip或主机中
例如，我需要免密登录到192.168.1.129，则


ssh-copy-id -i  192.168.1.129
此时我在192.168.1.44的虚拟机上连接操作192.168.1.129的服务器已经不需要输入密码








原理如图(注：此图非原创，来自互联网搜索)

Hadoop配置-Yarn篇



作者：秦景坤



时间：2017-4-23

YARN是Hadoop2.x中的内容（伪分布式不启动YARN也可以，一般不会影响程序执行）

有的读者可能会疑惑，怎么启动Hadoop后，见不到书上所说的JobTracker和TaskTracker，这是因为新版的Hadoop使用了新的MapReduce框架（MapReduce V2,也称为YARN,Yet Another Resource Negotiator）。

YARN是从MapReduce中分离出来的，负责资源管理与任务调度。YRAN运行于MapReduce之上，提供了高可用性、高扩展性。

上一篇中通过./sbin/start-dfs.sh启动Hadoop，仅仅是启动了MapReduce环境，可以启动YARN,让YARN来负责资源管理和任务调度。

首先修改配置文件mapred-site.xml，这边需要先进行重命名。

mv ./etc/hadoop/mapred-site.xml.template ./etc/hadoop/mapred-site.xml


然后再进行编辑，同样使用vi进行编辑 vi ./etc/hadoop/mapred-site.xml



接着修改配置文件yarn-site.xml:



然后就可以启动YARN（需要先执行./sbin/start-dfs.sh）



启动YARN之后，运行实例的方法还是一样的，仅仅是资源管理方式，任务调度不同。观察日志信息可以发现，不启用YARN时，是”mapred.LocalJobRunner”在跑任务，启用YARN之后，是”mapred.YARNRunner”在跑任务。启动YARN有个好处是可以通过web界面查看任务的运行情况。

但YARN主要是为集群提供更好的资源管理和任务调度，然而这在单机上体现不出价值，反而会使程序跑的稍慢些。因此在单机上是否开启YARN就看实际情况了。


  
如果不想启动YARN，务必把配置文件mapred-site.xml重命名，改成mapred-site.xml.template,需要时改回来就行。否则在该配置文件存在，而未开启YARN的情况下，运行程序会提示”Retrying connect to server:0.0.0.0/0.0.0.0:8032”的错误，这也是为何该配置文件初始文件名为mapred-site.xml.template


同样的，关闭YARN的脚本如下：

./sbin/stop-yarn.sh
./sbin/mr-jobhistory-daemon.sh stop historyserver

Hadoop配置伪分布式

 

Hadoop海量数据存储，需要分布式存储，

Namenode:名称节点（NN），存放文件目录和路径，重要节点。有备份辅助节点

DataNode：数据节点（DN），存放数据，有副本



 

HDFS:分布式文件系统。

MapReduce:在分布式文件系统之上进行运算，海量数据并发运算，yarn他就是一个框架



 

1处是独立模式

2处是伪分布式模式

3处是完全分布式模式

 

①、如何配置伪分布式模式

首先进入找到hadoop文件，复制一份：



 

然后进入到备份后的hadoop-pseudo文件夹里，编辑后卫-site.xml的文件：



※  编辑这三个

Core-site.xml核心文件：

 

<configuration>

<property>

 

<name>fs.defaultFS</name>

<value>hdfs://localhost/</value>

 

</property>

</configuration>



Hdfs-site.xml:文件系统

<configuration>

<property>

 

<name>dfs.replication</name>

<value>1</value>

 

</property>

</configuration>



Yarn-site.xml:框架

<configuration>

<property>

<name>yarn.resourcemanager.hostname</name>

<value>localhost</value>

</property>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

</configuration>



第四个文件，mapred-site.xml

复制mapred-site.xml.template复制后改名为mapred-site.xml，然后再gedit编辑，保存关闭：



然后查看是否有ssh（安全访问技术），由图可看出已经存在有了：



这个ssh完全不行的，我们还是要安装服务器版

查询一下，然后再进行安装：



安装后查看会生成一个ssh-keygen文件密钥分为公钥public key和私钥private key





然后我们可以自己生成一个密钥：



然后我们可以查看有一个隐藏的.shh文件，然后cd进入.shh





然后把公钥放入授权认证的文件里：





可以ssh试着登陆：



可查看感知到了一个主机known_hosts



可以退出：



如果再登陆的话就不提示要密码了：



然后我们可以对文件系统进行格式化，namenode就是放目录的节点：



然后我们可以启动文件系统：



再启动yarn（Hadoop资源管理器）：



然后我们可以看一下进程jps：



可以-l查看详细信息：



然后我们可以打开火狐浏览器输入localhost:50070或localhost:9870查看名称节点：



或者输入localhost:8088查看资源管理器：



不用可以停止yarn和dfs：



关闭后为了方便创建目录和显示目录

还要重新启动起来

有一个指令统一启动dfs和yarn，就是all



为hadoop设置统一配置环境变量指定配置目录：



没设置之前，都是显示其他用户的：



然后可以在hadoop下创建文件夹了：



设置之后就可查看只有自己创建的了：