1、Hadoop有三种配置模式，分别为独立模式、伪分布式模式、分布式模式。 

    独立模式：即本地模式，该模式没有运行的守护程序，所有的程序运行在一个jvm中。适合开发期间运行MapReduce程序，源于他的易于测试和调试。 

    伪分布式模式：守护程序运行在本地主机，模拟一个小规模集群。 

    分布式模式：守护程序运行在多个主机的集群上。 

2、安装SSH、配置SSH无密码登陆。 

在伪分布式模式下，必须启动守护进程，因此我们需要安装SSH脚本。 

Hadoop实际上并不区分伪分布式模式和分布式模式;它只是启动守护进程的集合 

主机集群中通过ssh主机和开始守护进程。伪分布式模式是完全分布式模式的一个特例（单个主机）,所以我们需要确保我们可以SSH本地主机和无需输入密码登录。

（1）安装
sudo apt-get install openssh-server
（2）配置密钥，-t指定算法（rsa算法）；-P，指定密码；-f指定存放密钥的文件名称。
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
（3）进入.ssh目录。会有两个文件。其中id_rsa为私钥，id_rsa.pub为公钥。把公钥放在授权认证的文件里面去。
cat id_rsa.pub >> authorized_keys
（4）登录ssh，测试你可以登录。第一次登录会提示确认连接，之后该提示则会消失。
ssh localhost


3、配置。 

    基本概念：nameNode：名称节点，只存放文件目录。 dataNode：数据节点，存放数据。secondaryNameNode：辅助节点，节点的备份,replication：数据副本（数据备份）。

（1）配置core-site.xml文件，配置nameNode名称节点的位置。




    <!-- core-site.xml -->
    <configuration>
        <property>
            <name>fs.defaultFS</name>
            <value>hdfs://localhost/</value>
        </property>
    </configuration>

（2）配置hdfs-site.xml文件，配置副本数量。




    <!-- hdfs-site.xml -->
    <configuration>
        <property>
            <name>dfs.replication</name>
            <value>1</value>
        </property>
    </configuration>

（3）配置mapred-site.xml文件，配置mapreduce框架指定yarn




    <!-- mapred-site.xml -->
    <configuration>
        <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
        </property>
    </configuration>

（4）配置yarn-site.xml文件，配置资源管理器。节点管理器。




    <!-- yarn-site.xml -->
    <configuration>
        <property>
            <name>yarn.resourcemanager.hostname</name>
            <value>localhost</value>
        </property>
        <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
        </property>
    </configuration>

4、使用HDFS文件系统。

（1）对文件系统进行格式化。
hdfs namenode -format
（2）启动dfs守护进程，
start-dfs.sh --config $HADOOP_INSTALL/etc/hadoop_pseudo 
注：config之后是文章上面配置的xml文件目录。
(3)启动yarn的mapreduce框架。
start-yarn.sh --config $HADOOP_INSTALL/etc/hadoop_pseudo
注：config之后是文章上面配置的xml文件目录。


5、创建用户目录

（1）为了方便以后使用，这里配置一个环境变量HADOOP_CONF_DIR
export HADOOP_CONF_DIR=./
注：‘./’代表配置的xml文件目录。
（2）创建用户目录
hadoop fs -mkdir /user/


6、简单应用

（1）通过jps/jps -l查看启动的进程。




（2）通过web页面访问查询。
http://localhost:50070，查看名称节点。




http://localhost:19888，查询资源管理器节点。




    （3）查看文件目录信息 

    hadoop fs -ls / 


7、停止服务

（1）停止yarn的mapreduce框架
stop-yarn.sh
（2）停止dfs守护进程
stop-dfs.sh


8、Hadoop提供了一个start-all.sh –config $HADOOP_INSTALL/etc/hadoop_pseudo,可以同时启动之前的进程。 

1. hadoop三种安装模式

单机模式 

无需运行任何守护进程（daemon），所有程序都在单个JVM上执行。由于在本机模式下测试和调试MapReduce程序较为方便，因此，这种模式适宜用在开发阶段。
伪分布式模式 

Hadoop守护进程运行在本地机器上，模拟一个小规模的集群。
完全分布式模式 

Hadoop运行在一个真实的集群中，本文以hadoop-2.6.3为例讲解此模式配置。
2. hadoop分布式模式配置 

本文的配置基于完成《hadoop安装与配置》的基础之上。集群配置信息如下：

名称
  
IP
  
功能
ubuntu-master
  
192.168.30.128
  
namenode,jobtracker
ubuntu-slave
  
192.168.30.129
  
datanode
在hadoop解压目录下新建tmp、hdfs、hdfs\name、hdfs\data文件夹，后续配置文件中会使用这些目录。 

为hadoop用户赋予权限，使得该用户获得hadoop目录下文件的操作权限，命令如下：



sudo chown -r /usr/opt/hadoop/hadoop-2.6.3

编辑hadoop-2.6.3/etc/hadoop/hadoop-env.sh文件，修改JAVA_HOME值对应到jdk安装目录，如下：



export JAVA_HOME=/usr/opt/java/jdk1.8.0_77


配置hadoop守护进程的运行参数：

配置core-site.xml
<configuration>  
    <property>  
        <name>fs.defaultFS</name>  
        <value>hdfs://193.168.30.128:9000</value>  
    </property>  
    <property>  
        <name>io.file.buffer.size</name>  
        <value>131072</value>  
    </property>  
    <property>  
        <name>hadoop.tmp.dir</name>  
        <value>file:/usr/opt/hadoop/hadoop-2.6.3/tmp</value>    
    </property>  
    <property>  
        <name>hadoop.proxyuser.spark.hosts</name>  
        <value>*</value>  
    </property>  
    <property>  
        <name>hadoop.proxyuser.spark.groups</name>  
        <value>*</value>  
    </property>  
</configuration>  

配置hdfs-site.xml
<configuration>  
    <property>  
        <name>dfs.namenode.secondary.http-address</name>  
        <value>192.168.30.128:9001</value>  
    </property>  
    <property>  
        <name>dfs.namenode.name.dir</name>  
        <value>file:/usr/opt/hadoop/hadoop-2.6.3/hdfs/name</value>  
    </property>  
    <property>  
        <name>dfs.datanode.data.dir</name>  
        <value>file:/usr/opt/hadoop/hadoop-2.6.3/hdfs/data</value>  
    </property>  
    <property>  
        <name>dfs.replication</name>  
        <value>3</value>  
    </property>  
    <property>  
        <name>dfs.webhdfs.enabled</name>  
        <value>true</value>  
    </property>  
</configuration>  

配置mapred-site.xml
<configuration>  
    <property>  
        <name>mapreduce.framework.name</name>  
        <value>yarn</value>  
    </property>  
    <property>  
        <name>mapreduce.jobhistory.address</name>  
        <value>192.168.30.128:10020</value>  
    </property>  
    <property>  
        <name>mapreduce.jobhistory.webapp.address</name>  
        <value>192.168.30.128:19888</value>  
    </property>  
</configuration>  

配置yarn-site.xml
<configuration>  
    <property>  
        <name>yarn.nodemanager.aux-services</name>  
        <value>mapreduce_shuffle</value>  
    </property>  
    <property>  
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>  
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>  
    </property>  
    <property>  
        <name>yarn.resourcemanager.address</name>  
        <value>192.168.30.128:8032</value>  
    </property>  
    <property>  
        <name>yarn.resourcemanager.scheduler.address</name>  
        <value>192.168.30.128:8030</value>  
    </property>  
    <property>  
        <name>yarn.resourcemanager.resource-tracker.address</name>  
        <value>192.168.30.128:8035</value>  
    </property>  
    <property>  
        <name>yarn.resourcemanager.admin.address</name>  
        <value>192.168.30.128:8033</value>  
    </property>  
    <property>  
        <name>yarn.resourcemanager.webapp.address</name>  
        <value>192.168.30.128:8088</value>  
    </property>  
</configuration>  

配置masters 

将msater机器加入masters文件中，内如如下：
192.168.30.128

配置slaves 

将所有slave机器加入到slave是文件中（如果master也作为datanode请一并加入），内容如下：
192.168.30.128
192.168.30.129


修改hosts 

修改所有master机器和slave机器的hosts文件，注意注释掉127.0.1.1配置 

最后在所有机器上复制以上配置信息，可以通过复制/etc/hadoop文件夹到所有机器相应目录下，完成机器配置复制，命令如下：



scp -r /usr/opt/hadoop/hadoop-2.6.3/etc/hadoop czliuming@192.168.30.128:/usr/opt/hadoop/hadoop-2.6.3/etc

注：如果上述文件在相应目录下不存在，可以自行创建，我的目录下就没有mapred-site.xml 

完成以上配置后，hadoop集群已搭建完毕，下面进行hdfs初始化(仅执行一次)，进入hadoop安装目录，执行以下命令：



bin/hadoop namenode -format

出现如下界面则hdfs初始化成功：



hdfs初始化结束后，我们就可以尝试启动hadoop集群了，首先启动hdfs命令如下：



sbin/start-dfs.sh

出现如下图信息，则表示启动成功：



接下来，我们启动yarn，执行以下命令；



sbin/start-yarn.sh

启动信息如下图：



最后通过浏览器访问(http://192.168.30.128:8088/cluster/nodes)来查看集群运行状态，如下图所示：



至此，hadoop集群的搭建已全部完成。

3. WordCount测试

Eclipse安装Hadoop插件 

     在GitHub上下载[hadoop-eclipse-plugin-2.6.0插件]将hadoop-eclipse-plugin-2.6.0.jar拷贝到Eclipse安装目录\plungins目录下，重启Eclipse打开window->preferences，如果增加了Hadoop map/reduce菜单则证明插件安装成功。 

    在系统环境变量中新建变量“HADOOP_USER_NAME=czliuming”并新建变量“HADOOP_HOME=D:\Software\Hadoop\hadoop-2.6.3”将hadoop解压目录下bin目录加入path路径中。 

    点击Hadoop map/reduce菜单，配置hadoop在本地系统的解压目录如图所示： 
  

    切换到map/reduce工程视图，在Map/Reduce Locations控制台中右键选择“New Hadoop Location”对hadoop集群进行连接配置，如图所示： 
 

其中，Host为hadoop-master的ip地址，map/reduce端口号为mapred-site.xml中mapreduce.jobhistory.address配置的端口号，DFS端口号为core-site.xml中fs.defaultFS配置的端口号。



  
注意：如果连接失败，请检查代理设置，将master机器IP加入到代理过滤列表中，如图所示： 


WordCount程序测试 

新建Map/Reduce Project，在src目录中新建WordCount类，并输入以下代码：

package wordcount;

import java.io.IOException;
import java.util.StringTokenizer;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class WordCount {

  public static class TokenizerMapper
       extends Mapper<Object, Text, Text, IntWritable>{

    private final static IntWritable one = new IntWritable(1);
    private Text word = new Text();

    public void map(Object key, Text value, Context context
                    ) throws IOException, InterruptedException {
      StringTokenizer itr = new StringTokenizer(value.toString());
      while (itr.hasMoreTokens()) {
        word.set(itr.nextToken());
        context.write(word, one);
      }
    }
  }

  public static class IntSumReducer
       extends Reducer<Text,IntWritable,Text,IntWritable> {
    private IntWritable result = new IntWritable();

    public void reduce(Text key, Iterable<IntWritable> values,
                       Context context
                       ) throws IOException, InterruptedException {
      int sum = 0;
      for (IntWritable val : values) {
        sum += val.get();
      }
      result.set(sum);
      context.write(key, result);
    }
  }

  public static void main(String[] args) throws Exception {
    Configuration conf = new Configuration();
    Job job = Job.getInstance(conf, "word count");
    job.setJarByClass(WordCount.class);
    job.setMapperClass(TokenizerMapper.class);
    job.setCombinerClass(IntSumReducer.class);
    job.setReducerClass(IntSumReducer.class);
    job.setOutputKeyClass(Text.class);
    job.setOutputValueClass(IntWritable.class);
    FileInputFormat.addInputPath(job, new Path(args[0]));
    FileOutputFormat.setOutputPath(job, new Path(args[1]));
    System.exit(job.waitForCompletion(true) ? 0 : 1);
  }
}

设置启动参数，如图所示： 
 

其中，第一个为输入目录，第二个为输出目录，根据实际情况进行配置，我的配置如下： 
 

最后执行wordcount程序，执行完毕会在输出目录输出单词统计结果，至此wordcount测试结束。


  
注意：如果执行过程中出现报错，请参考《Hadoop常见问题汇总》进行处理。

『课程目录』

1课程介绍

2.1如何安装charles

2.2Charles界面介绍

3.1如何抓取天气预报接口讲解

3.2如何抓取https协议请求

3.3配置通用的https抓包规则

4.1断点的使用

4.2模拟弱网测试

4.3Chrome配置弱网

5.1手机模拟器配置

5.2Android真机配置

5.3Iphone手机配置

5.5映射本地资源

5.6Charles接口调试

小程序抓包实操
链接: https://pan.baidu.com/s/1dJ27L7umSFLZ9Bu_lGwhZg

提取码: http://songti.net/thread-1208-1-1.html

在开始配置前，我们先了解Hadoop的三种运行模式。
Hadoop的三种运行模式

独立（或本地）模式：无需运行任何守护进程，所有程序都在同一个JVM上执行。在独立模式下测试和调试MapReduce程序很方便，因此该模式在开发阶段比较适合。
**伪分布式模式：**Hadoop守护进程运行在本地机器上，模拟一个小规模的集群。
**全分布式模式：**Hadoop守护进程运行在一个集群上。

下面我们进入正题，即如何在Windows 7上搭建Hadoop伪分布式环境。

安装JDK，设置环境变量。 

首先，在控制面板上查看自己的操作系统是32位还是64位。 

然后，检查自己的电脑上是否已经具备Java环境。步骤如下： 

1）Ctrl+R 

2）cmd 

3）输入java -version，若正常显示java版本，证明本机已安装java环境，跳到步骤2.若显示“不是内部或外部命令”，则需要安装JDK，继续步骤4） 

4） 安装JDK，楼主用的是jdk-8u131-windows-x64.exe，因为不允许重复上传CSDN资源，所以楼主无法提供给大家，可以自行下载。说明：只需安装JDK，不需要安装JRE。 

5）配置Java环境变量，配置路径：计算机（右键）–属性–高级系统设置—高级–环境变量。 

在系统变量处新建，变量名：JAVA_HOME；变量值：你安装JDK的位置，楼主的是D:\Tools\jdk 

修改path：在原有的那串变量值后增加%JAVA_HOME%\bin;… 

6）测试Java环境 

在cmd窗口： 

测试Java环境： 

echo  %JAVA_HOME% 

echo  %path% 

path 

java -version 

javac -version
下载Hadoop 2.7.7，这个楼主传了资源，诚信赚分，哈哈（https://download.csdn.net/download/u013159040/10620584） 

下载，解压到某个文件夹，如D:\Tools\Hadoop
下载window util for hadoop。为了配合hadoop 2.7.7，楼主也上传了资源（https://download.csdn.net/download/u013159040/10620589），下载后解压到hadoop2.7.7的bin目录下，直接覆盖该目录下的所有内容。请注意此util与具体的hadoop版本是有关的，如果选用不同的hadoop版本，需要找到正确的util。
添加Hadoop环境变量，参考Java的，新建HADOOP_HOME 变量名同样是自己存放hadoop的位置，如D:\Tools\Hadoop\hadoop-2.7.7， 并添加path路径：%HADOOP_HOME%\bin
创建nodename和datanode目录，用来保存数据，如： 

    d:\tools\hadoop\data\namenode 

    d:\tools\hadoop\data\datanode
在D:\Tools\Hadoop\hadoop-2.7.7\etc\hadoop里修改4个配置文件：core-site.xml, hdfs-site.xml, mapred-site.xml, yarn-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>   
</configuration>
1
2
3
4
5
6
hdfs-site.xml（不要直接复制楼主的，要看看自己的namenode和datanode存放的位置是否和楼主一致，不一致的要修改）：
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/D:/Tools/data/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/D:/Tools/data/datanode</value>
    </property>
</configuration>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
mapred-site.xml：
<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>
1
2
3
4
5
6
yarn-site.xml：
<configuration>
    <!-- Site specific YARN configuration properties -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
    <property>
        <name>yarn.scheduler.minimum-allocation-mb</name>
        <value>1024</value>
    </property>
    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>4096</value>
    </property>
    <property>
        <name>yarn.nodemanager.resource.cpu-vcores</name>
        <value>2</value>
    </property>
</configuration>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
7.上面步骤完成设置后，就可以试着运行Hadoop了。 

Hadoop 启动命令start -all.cmd 

Hadoop 结束命令stop -all.cmd 

 进入到自己的hadoop sbin目录（一直cd就行了），启动start-all.cmd，再jps查看java进程，如下图 

 

 同时，会跳出4个窗口 

  

 

 


web方式查看文件系统：http://localhost:50070/ 

查看mapreduce job：http://localhost:8088 

由NameNode（守护进程）服务提供

下面可以测试Hadoop自带的Wordcount

在d盘新建一个txt文件t1.txt 


把t1上传到HDFS: hadoop fs -put d:\t1.txt /t1/t1.txt
cd进到mapreduce，然后可以开始运行wordcount了： 

hadoop jar /D:\Application\hadoop-2.7.7\share\hadoop\mapreduce\hadoop-mapreduce-examples-2.7.7.jar wordcount  \t1 \output 


然后我们可以看到词频统计结果： 

 

网页上查看的如下： 

 

可以下载分布式文件系统上的这个t1.txt文件。