进程的概念：

1. 进程是资源（CPU、内存等）分配的基本单位，它是程序执行时的一个实例。
2. 程序运行时系统就会创建一个进程，并为它分配资源，然后把该进程放入进程就绪队列，进程调度器选中它的时候就会为它分配CPU时间，程序开始真正运行。

线程的概念：

1. 线程是程序执行时的最小单位，它是进程的一个执行流，是CPU调度和分派的基本单位。
2. 一个进程可以由很多个线程组成，线程间共享进程的所有资源，每个线程有自己的堆栈和局部变量。
3. 线程由CPU独立调度执行，在多CPU环境下就允许多个线程同时运行。同样多线程也可以实现并发操作，每个请求分配一个线程来处理。

线程和进程各自有什么区别：

1. 进程是资源分配的最小单位，线程是程序执行的最小单位。
2. 进程有自己的独立地址空间，每启动一个进程，系统就会为它分配地址空间，建立数据表来维护代码段、堆栈段和数据段，这种操作非常昂贵。线程是共享进程中的数据的，使用相同的地址空间，因此CPU切换一个线程的花费远比进程要小很多，同时创建一个线程的开销也比进程要小很多。
3. 线程之间的通信更方便，同一进程下的线程共享全局变量、静态变量等数据。
   进程之间的通信需要以通信的方式（IPC)进行。不过如何处理好同步与互斥是编写多线程程序的难点。
4. 多进程程序更健壮，多线程程序只要有一个线程死掉，整个进程也死掉了，而一个进程死掉并不会对另外一个进程造成影响，因为进程有自己独立的地址空间。

每一个进程至少有一个主执行线程，它无需由用户去主动创建，是由系统自动创建的。用户根据需要在应用程序中创建其它线程，多个线程并发地运行于同一个进程中。一个进程中的所有线程都在该进程的虚拟地址空间中，共同使用这些虚拟地址空间、全局变量和系统资源，所以线程间的通讯非常方便，多线程技术的应用也较为广泛。

        多线程可以实现并行处理，避免了某项任务长时间占用CPU时间。要说明的一点是，目前大多数的操作系统教材中的单处理器都是指的单核处理器。对于单核单处理器（CPU）的，为了运行所有这些线程，操作系统为每个独立线程安排一些CPU时间，操作系统以轮换方式向线程提供时间片，这就给人一种假象，好象这些线程都在同时运行。由此可见，如果两个非常活跃的线程为了抢夺对CPU的控制权，在线程切换时会消耗很多的CPU资源，反而会降低系统的性能。

        最开始，线程只是用于分配单个处理器的处理时间的一种工具。但假如操作系统本身支持多个处理器，那么每个线程都可分配给一个不同的处理器，真正进入“并行运算”状态。从程序设计语言的角度看，多线程操作最有价值的特性之一就是程序员不必关心到底使用了多少个处理器，程序员只需将程序编写成多线程模式即可。程序在逻辑意义上被分割为数个线程；假如机器本身安装了多个处理器，那么程序会运行得更快，毋需作出任何特殊的调校。根据前面的论述，大家可能感觉线程处理非常简单。但必须注意一个问题：共享资源！如果有多个线程同时运行，而且它们试图访问相同的资源，就会遇到一个问题。举个例子来说，两个线程不能将信息同时发送给一台打印机。为解决这个问题，对那些可共享的资源来说（比如打印机），它们在使用期间必须进入锁定状态。所以一个线程可将资源锁定，在完成了它的任务后，再解开（释放）这个锁，使其他线程可以接着使用同样的资源。

        多线程是为了同步完成多项任务，不是为了提高运行效率，而是为了提高资源使用效率来提高系统的效率。线程是在同一时间需要完成多项任务的时候实现的。
        最简单的比喻多线程就像火车的每一节车厢，而进程则是火车。车厢离开火车是无法跑动的，同理火车也不可能只有一节车厢。多线程的出现就是为了提高效率。同时它的出现也带来了一些问题。

注：单核处理器并不是一个长久以来存在的概念，在近年来多核心处理器逐步普及之后，单核心的处理器为了与双核和四核对应而提出。

单核CPU上运行的多线程程序, 同一时间只能一个线程在跑, 系统帮你切换线程而已, 系统给每个线程分配时间片来执行, 每个时间片大概10ms左右, 看起来像是同时跑, 但实际上是每个线程跑一点点就换到其它线程继续跑，上下文的切换更影响效率。

CPU的多核和应用程序的多线程的关系：

进程的状态转换：

1. 执行态run：进程正在使用CPU。
2. 等待态wait：进程正在等待I/O完成，不在使用也不能使用CPU。
3. 就绪态ready：进程不在使用CPU，但已经纯备好用使用CPU。

就绪->执行， 当前运行进程阻塞，调度程序选一个优先权最高的进程占有处理机；

执行->就绪， 当前运行进程时间片用完；

执行->等待，当前运行进程等待键盘输入，进入了睡眠状态。

等待->就绪，I/O操作完成，被中断处理程序唤醒。


刚从其他状态进入就绪态的进程需要置入调度队列，该队列不一定按进入队列的时间先后顺序排列。

从等待态中出来的进程通常不直接进入运行态，而要进入就绪态。如果需要直接进入运行态，这属于抢先式调度，通过抢先式中断完成。

从执行态到就绪态的转换发生在抢先式终端处理中，例如I/O或分时下的时间片。分时是在多个用户同时以交互方式使用计算机时采用的一种技术。

CPU调度方法：

1. FIFO算法：一般应用于实时性系统中，最先进入就绪态的进程最先进入运行态。
2. 轮转调度法：根据系统给与的时间片，进行进程的轮询访问CPU，若时间片结束，该进程还在运行，就会被强制撤出。该方法通常和FIFO或优先级算法一起使用。
3. 优先级调度法：根据不同进程的重要程度和紧急程度，来赋予每个进程一个优先级，带有最高优先级的进程最先执行。优先级调度算法分为静态优先级和动态优先级两种。动态优先级可以防止优先级高的进程不停地执行。
4. 最短作业优先：最先执行占用CPU时间最短的进程。最短的进程第一个执行总是产生最小的平均相应事件。
5. 最短剩余时间优先：剩余运行事件最短的进程最先运行。
6. 最高相应比优先：最先执行相应比最高的进程。相应比的计算公式为1+等待时间/估计运行时间。
7. 多级反馈法：是目前最常用的算法！它结合了FIFO、RR、优先级算法和SJF算法。该算法有多个队列，同一队列中的进程优先级相同，不同队列中进程优先级不同，不同队列拥有不同的时间片。
8. 策略驱动法：基于对各个用户的承诺。
9. 最晚时间限调度：保证在每个进程必须完成的最晚时间限钱运行完该进程。
10. 二级调度算法：在系统负载很重时，不是所有的进程建立就立即进入就绪态，有些进程建立起来后，进入后备队列。操作系统采用一个二级调度程序来决定进程在后备队列和就绪队列之间的转换。其中一级调度是从后备队列中选择进程使其转换为就绪态；另一级调度则是在就绪队列中选择一个执行。

单核处理器、多核处理器、多处理器与多线程编程

一．进程、线程、单核处理器

       进程和线程都是操作系统的概念。进程是应用程序的执行实例，每个进程是由私有的虚拟地址空间、代码、数据和其它各种系统资源组成，即进程是操作系统进行资源分配的最小单元。进程在运行过程中创建的资源随着进程的终止而被销毁，所使用的系统资源在进程终止时被释放或关闭。

        线程是进程内部的一个执行单元。系统创建好进程后，实际上就启动执行了该进程的主执行线程，主执行线程以函数地址形式，比如说main或WinMain函数，将程序的启动点提供给Windows系统。主执行线程终止了，进程也就随之终止。

         每一个进程至少有一个主执行线程，它无需由用户去主动创建，是由系统自动创建的。用户根据需要在应用程序中创建其它线程，多个线程并发地运行于同一个进程中。一个进程中的所有线程都在该进程的虚拟地址空间中，共同使用这些虚拟地址空间、全局变量和系统资源，所以线程间的通讯非常方便，多线程技术的应用也较为广泛。

        多线程可以实现并行处理，避免了某项任务长时间占用CPU时间。要说明的一点是，目前大多数的操作系统教材中的单处理器都是指的单核处理器。对于单核单处理器（CPU）的，为了运行所有这些线程，操作系统为每个独立线程安排一些CPU时间，操作系统以轮换方式向线程提供时间片，这就给人一种假象，好象这些线程都在同时运行。由此可见，如果两个非常活跃的线程为了抢夺对CPU的控制权，在线程切换时会消耗很多的CPU资源，反而会降低系统的性能。

        最开始，线程只是用于分配单个处理器的处理时间的一种工具。但假如操作系统本身支持多个处理器，那么每个线程都可分配给一个不同的处理器，真正进入“并行运算”状态。从程序设计语言的角度看，多线程操作最有价值的特性之一就是程序员不必关心到底使用了多少个处理器，程序员只需将程序编写成多线程模式即可。程序在逻辑意义上被分割为数个线程；假如机器本身安装了多个处理器，那么程序会运行得更快，毋需作出任何特殊的调校。根据前面的论述，大家可能感觉线程处理非常简单。但必须注意一个问题：共享资源！如果有多个线程同时运行，而且它们试图访问相同的资源，就会遇到一个问题。举个例子来说，两个线程不能将信息同时发送给一台打印机。为解决这个问题，对那些可共享的资源来说（比如打印机），它们在使用期间必须进入锁定状态。所以一个线程可将资源锁定，在完成了它的任务后，再解开（释放）这个锁，使其他线程可以接着使用同样的资源。

        多线程是为了同步完成多项任务，不是为了提高运行效率，而是为了提高资源使用效率来提高系统的效率。线程是在同一时间需要完成多项任务的时候实现的。

        最简单的比喻多线程就像火车的每一节车厢，而进程则是火车。车厢离开火车是无法跑动的，同理火车也不可能只有一节车厢。多线程的出现就是为了提高效率。同时它的出现也带来了一些问题。

        注：单核处理器并不是一个长久以来存在的概念，在近年来多核心处理器逐步普及之后，单核心的处理器为了与双核和四核对应而提出。顾名思义处理器只有一个逻辑核心。

二、多核处理器和多处理器的区别

        多核是指一个CPU有多个核心处理器，处理器之间通过CPU内部总线进行通讯。而多CPU是指简单的多个CPU工作在同一个系统上，多个CPU之间的通讯是通过主板上的总线进行的。从以上原理可知，N个核的CPU，要比N个CPU在一起的工作效率要高（单核性能一致的情况下）。

三、 处理器结构对并发程序的影响

        对称多处理器是最主要的多核处理器架构。在这种架构中所有的CPU共享一条系统总线（BUS）来连接主存。而每一个核又有自己的一级缓存，相对于BUS对称分布^[2]，如下图：

        这种架构在并发程序设计中，大致会引来两个问题，一个是内存可见性，一个是Cache一致性流量。内存可见性属于并发安全的问题，Cache一致性流量引起的是性能上的问题。

        内存可见性：内存可见性在单处理器或单线程情况下是不会发生的。在一个单线程环境中，一个变量选写入值，然后在没有干涉的情况下读取这个变量，得到的值应该是修改过的值。但是在读和写不在同一个线程中的时候，情况却是不可以预料的。Core1和Core2可能会同时把主存中某个位置的值Load到自己的一级缓存中，而Core1修改了自己一级缓存中的值后，却不更新主存中的值，这样对于Core2来讲，永远看不到Core1对值的修改。在Java程序设计中，用锁，关键字volatile，CAS原子操作可以保证内存可见。

       Cache一致性问题：指的是在SMP结构中，Core1和Core2同时下载了主存中的值到自己的一级缓存中，Core1修改了值后，会通过总线让Core2中的值失效，Core2发现自己存的值失效后，会再通过总线从主存中得到新值。总线的通信能力是固定的，通过总线使各CPU的一级缓存值数据同步的流量过大，那么总线就会成瓶颈。这种影响属于性能上的影响，减小同步竞争就能减少一致性流量。

采用处理器多核原因：

单核处理器的指令并行和数据并行已经很难再上一个台阶了，而提高频率又会导致处理器功耗非线性增加，唯一剩下的路径，就是增加核的数目了。核越多，就能有更多的线程并行执行，也能提高程序的效率。

常见的多核组织结构：

p表示内核， c表示内核拥有的cache，s表示Switch，用于核间的通信。线条表示通信路径。

1. Bus结构

Bus结构是比较简单的核间通信方式，内核挂在通信总线上，实现简单，缺点是每两个内核通信都要占用总线，导致其他的核不能通信，通信效率极低。

2. Switch结构

Switch结构是通信效率最高的结构，每个内核两两相连，在1和2通信的同时，3和4也可以同时通信。如果核少还好，如果核太多，这种连接方式需要耗费大量的互联资源，通常4个核左右的处理器采用这种方式。 

3. Ring结构

Ring结构是介于Bus和Switch之间的一种结构，1和3通信需要经过2，越近的两个核通信效率越高，通信连线并不复杂，实现成本也低。通常8个核左右采用这种方式，Intel的很多处理器采用这种结构。 

4. Mesh结构 

 Mesh结构适用于核数非常多的情况，类似于二维的Ring结构。当核数太多时，使用Switch结构会导致连线异常复杂，N个内核两两通信，需要N x N量级数的连线，而Mesh是很好的选择。Mesh结构简单，易于扩展，通信效率也高。众核处理器（core很多时，多核就变成众核）首选这种方式，如Tilera的64核/100核处理器。