一、批处理阶段（操作系统开始出现）


为了解决人机矛盾及CPU和I/O设备之间速度不匹配的矛盾，出现了批处理系统。它按发展历程又分为单道批处理系统、多道批处理系统（多道程序设计技术出现以后）。

1) 单道批处理系统


系统对作业的处理是成批进行的，但内存中始终保持一道作业。该系统是在解决人机矛盾和CPU与I/O设备速率不匹配的矛盾中形成的。单道批处理系统的主要特征如下：

自动性。在顺利的情况下，在磁带上的一批作业能自动地逐个依次运行，而无需人工干预。 '

顺序性。磁带上的各道作业是顺序地进入内存，各道作业的完成顺序与它们进入内存的顺序，在正常情况下应完全相同，亦即先调入内存的作业先完成。

单道性。内存中仅有一道程序运行，即监督程序每次从磁带上只调入一道程序进入内存运行，当该程序完成或发生异常情况时，才换入其后继程序进入内存运行。


此时面临的问题是：每次主机内存中仅存放一道作业，每当它运行期间（注意这里是“运行时”，并不是“完成后”）发出输入/输出请求后，高速的CPU便处于等待低速的I/O完成状态。为了进一步提高资源的利用率和系统的吞吐量，引入了多道程序技术。

2) 多道批处理系统


多道程序设计技术允许多个程序同时进入内存并运行。即同时把多个程序放入内存，并允许它们交替在CPU中运行，它们共享系统中的各种硬、软件资源。当一道程序因I/O请求而暂停运行时，CPU便立即转去运行另一道程序。它没有用某些机制提高某一技术方面的瓶颈问题，而是让系统的各个组成部分都尽量去“忙”，花费很少时间去切换任务，达到了系统各部件之间的并行工作，使其整体在单位时间内的效率翻倍。


多道程序设计的特点有：

多道：计算机内存中同时存放多道相互独立的程序。

宏观上并行：同时进入系统的多道程序都处于运行过程中，即它们先后开始了各自的运行，但都未运行完毕。

微观上串行：内存中的多道程序轮流占有CPU，交替执行。


多道程序设计技术的实现需要解决下列问题：

如何分配处理器。

多道程序的内存分配问题。

I/O设备如何分配。

如何组织和存放大量的程序和数据，以便于用户使用和保证其安全性与一致性。


在批处理系统中釆用多道程序设计技术，就形成了多道批处理操作系统。该系统把用户提交的作业成批地送入计算机内存，然后由作业调度程序自动地选择作业运行。


优点是资源利用率高，多道程序共享计算机资源，从而使各种资源得到充分利用；系统吞吐量大，CPU和其他资源保持“忙碌”状态。缺点是用户响应的时间较长。不提供人机交互能力，用户既不能了解自己程序的运行情况，也不能控制计算机。


二、分时操作系统

在操作系统中釆用分时技术就形成了分时系统。所谓分时技术就是把处理器的运行时间分成很短的时间片，按时间片轮流把处理器分配给各联机作业使用。若某个作业在分配给它的时间片内不能完成其计算，则该作业暂时停止运行，把处理器让给其他作业使用，等待下一轮再继续运行。由于计算机速度很快，作业运行轮转得很快，给每个用户的感觉好像是自己独占一台计算机。


分时操作系统是多个用户通过终端同时共享一台主机，这些终端连接在主机上，用户可以同时与主机进行交互操作而互不干扰。所以，实现分时系统最关键的问题是如何使用户能与自己的作业进行交互，即当用户在自己的终端上键入命令时，系统应能及时接收并及时处理该命令，再将结果返回用户。分时系统也是支持多道程序设计的系统，但它不同于多道批处理系统。


多道批处理是实现作业自动控制而无需人工干预的系统，而分时系统是实现人机交互的系统，这使得分时系统具有与批处理系统不同的特征，其主要特征如下：

同时性。同时性也称多路性，指允许多个终端用户同时使用一台计算机，即一台计算机与若干台终端相连接，终端上的这些用户可以同时或基本同时使用计算机。

交互性。用户能够方便地与系统进行人-机对话，即用户通过终端釆用人4^1对话的方式直接控制程序运行，与同程序进行交互。

独立性。系统中多个用户可以彼此独立地进行操作，互不干扰，单个用户感觉不到别人也在使用这台计算机，好像只有自己单独使用这台计算机一样。

及时性。用户请求能在很短时间内获得响应。分时系统釆用时间片轮转方式使一台计算机同时为多个终端服务，使用户能够对系统的及时响应感到满意。


虽然分时操作系统比较好地解决了人机交互问题，但是在一些应用场合，需要系统能对外部的信息在规定的时间（比时间片的时间还短）内作出处理（比如飞机订票系统或导弹制导系统)。因此，实时系统应运而生。

三、实时操作系统


为了能在某个时间限制内完成某些紧急任务而不需时间片排队，诞生了实时操作系统。这里的时间限制可以分为两种情况：如果某个动作必须绝对地在规定的时刻（或规定的时间范围）发生，则称为硬实时系统。例如，飞行器的飞行自动控制系统，这类系统必须提供绝对保证，让某个特定的动作在规定的时间内完成。如果能够接受偶尔违反时间规定，并且不会引起任何永久性的损害，则称为软实时系统，如飞机订票系统、银行管理系统。


在实时操作系统的控制下，计算机系统接收到外部信号后及时进行处理，并且要在严格的时限内处理完接收的事件。实时橾作系统的主要特点是及时性和可靠性。

MapReduce：


 
计算模型:

 
实例1：单词统计

实例2：链接反转

实例3：页面点击统计

 
系统架构：



在Map阶段还可以执行可选的Combiner操作，类似于Reduce，但是在Mapper side局部执行。

Hadoop的MapReduce和Google的很像，只是Hadoop采用HTTPS传输数据，采用归并排序（merge-sort）对中介结果Key排序。
 
 
MapReduce的特点及不足
优点：可扩展性（数千台机器）/高吞吐，细粒度容错性，编程简单
舍弃的特性：无高层抽象数据操作语言，数据无Schema及索引
缺点：单节点效率低，任务流描述单一
 
解决任务流描述单一：通用DAG计算模型，eg：Spark
不适合交互式查询或流式计算，不适合迭代运算（比如机器学习、数据挖掘）：Map/Reduce任务启动时间较长，多处磁盘读写和网络传输（比如中间结果落盘）
 
计算模式：
求和模式（数值求和、记录求和）
过滤模式（简单过滤、topK）
组织数据模式（数据分片、全局排序）
join模式：Reduce-side join（中间数据增加来源标记）、Map-side join（小数据表分发给所有Mapper，join期间使用hash查找），不需要Reduce阶段）
 
DAG计算模型：
Dryad、FlumeJava、Tez、Storm、Spark
三层结构

 

 
转载于:https://www.cnblogs.com/yaoyaohust/p/10680098.html

MapReduce是一个典型的分布式批处理引擎，具有良好的扩展性与容错性以及高吞吐率等。

编程思想：核心思想是分而治之，即将一个分布式计算过程拆解成两个阶段，Map阶段和Reduce阶段。

MapReduce的编程组件：

1.Mapper：Mapper中封装了应用程序的数据处理逻辑，为了简化接口，MapReduce要求所有存储在底层分布式文件系统上的数据均要解释成<key,value>的形式，并以迭代方式以此交给Mapper中的map函数处理，产生另外一些<key,value>。

2、Reducer：主要作用是基于Mapper产生的结果进行汇总操作，产生最终结果。

3、InputFormat：主要用于描述输入数据的格式

数据拆分（按照某种策略分成若干个split，以便确定Map task个数以及对应的Split）

为Mapper提供输入数据（给定某个split，能够将其解析成一系列<key,value>对）

（1）、TextInputFormat：专为文本文件格式，按照数据量大小将输入文件或目录拆分成split，并以行为单位将split桩长一系列<key、value>对。eg：一个文件1G，默写情况下TextInputFormat将其分成1024M/128M=8个split，进而启动8个Map Task处理。

（2）、SequenceFileInputFormat：针对二进制文件格式

4、Partitioner：作用是对Mapper产生的中间结果进行分片，以便将同一组的数据交给同一个Reduce处理，它直接影响Reduce阶段的负载均衡。MapReduce默认采用HashPartitioner基于一种哈希值的分片方法，能够将相同的key交给同一个Reduce Task处理。

5、OutputFormat：用于描述输出数据的格式，能够将用户提供的<key，value>写入特定的格式文件中。

6、可选组件（Combiner）：一个性能优化组件，可看作Map端的local reducer，它通常给Reducer的逻辑是一样的，运行在Map Task中，主要作用是对Mapper输出结果做一个局部聚集，以减少本地磁盘写入量和网络数据传输量，并减少Reducer计算压力。

 

最近笔者在学习操作系统，在作业与作业调度这一部分有认真听讲，所以整理了作业运行的三个阶段，作图记忆理解，希望能够帮到有需要的小伙伴们。
批处理系统中的作业运行的三个阶段和三种状态
作业从进入系统到运行结束，通常需要经历收容、运行和完成三个阶段。相应的作业也就有“后备状态”、“运行状态”、“完成状态”。
（1）收容阶段。操作员把用户提交 的作业通过某种输入方式或SPOOLing系统输入到硬盘上，再为该作业建立JCB（作业控制块，其中保存了系统对作业进行管理和调度所需的全部信息），并把它放入作业后备队列中。相应地、此时作业的状态为“后备状态”。

（2）运行阶段。当作业被作业调度选中后，便为它分配必要的资源和建立进程，并将它放入就绪队列。一个作业从第一次进入就绪状态开始，直到它运行结束前，在此期间都处于“运行状态”。

（3) 完成阶段。当作业运行完成、或者发生异常情况而提前结束时，作业便进入完成阶段，相应的作业状态为“完成状态”。此时系统中的“终止作业”程序会回收已分配给该作业的作业控制块和所有资源，并将作业运行结果信息形成输出文件后输出。
图示:


一个作业可以细分为多个进程，正如一个进程可以划分为多个线程一样。这样便不难理解，作业运行，其实就是多个进程在进行进程的三态转换。
作图记忆，要比看书上繁多的文字记忆有效哟~~