精华内容
下载资源
问答
  • 多路复用技术

    千次阅读 2019-10-04 07:26:18
    多路复用技术 多路复用技术是把多个低速信道组合成一个高速信道的技术,它可以有效的提高数据链路的利用率,从而使得一条高速的主干链路同时为多条低速的接入链路提供服务,也就是使得网络干线可以同时运载大量的...

    多路复用技术

    多路复用技术是把多个低速信道组合成一个高速信道的技术,它可以有效的提高数据链路的利用率,从而使得一条高速的主干链路同时为多条低速的接入链路提供服务,也就是使得网络干线可以同时运载大量的语音和数据传输。多路复用技术是为了充分利用传输媒体,人们研究了在一条物理线路上建立多个通信信道的技术。

    多路复用技术的实质是,将一个区域的多个用户数据通过发送多路复用器进行汇集,然后将汇集后的数据通过一个物理线路进行传送,接收多路复用器再对数据进行分离,分发到多个用户。多路复用通常分为频分多路复用、时分多路复用、波分多路复用、码分多址和空分多址。

    频分多路复用

    频分多路复用技术FDM(Frequency Division MulTIplexing)。

    频分多路复用利用通信线路的可用带宽超过了给定的带宽这一优点。频分多路复用的基本原理是:如果每路信号以不同的载波频率进行调制,而且各个载波频率是完全独立的,即各个信道所占用的频带不相互重叠,相邻信道之间用“警戒频带”隔离,那么每个信道就能独立地传输一路信号。

    频分多路复用的主要特点是,信号被划分成若干通道(频道,波段),每个通道互不重叠,独立进行数据传递。每个载波信号形成一个不重叠、相互隔离(不连续)的频带。接收端通过带通滤波器来分离信号。频分多路复用在无线电广播和电视领域中的应用较多。ADSL也是一个典型的频分多路复用。ADSL用频分多路复用的方法,在PSTN使用双绞线上划分出三个频段:0~4kHz用来传送传统的语音信号;20~50kHz用来传送计算机上载的数据信息;150~500kHz或140~1100kHz用来传送从服务器上下载的数据信息。

    时分多路复用

    时分多路复用技术TDM(TIme Division MulTIplexing)

    时分多路复用是以信道传输时间作为分割对象,通过为多个信道分配互不重叠的时间片段的方法来实现多路复用。时分多路复用将用于传输的时间划分为若干个时间片段,每个用户分得一个时间片。时分多路复用通信,是各路信号在同一信道上占有不同时间片进行通信。由抽样理论可知,抽样的一个重要作用,是将时间上连续的信号变成时间上的离散信号,其在信道上占用时间的有限性,为多路信号沿同一信道传输提供条件。具体说就是把时间分成一些均匀的时间片,通过同步(固定分配)或统计(动态分配)的方式,将各路信号的传输时间配分在不同的时间片,以达到互相分开,互不干扰的目的。

    至2011年9月,应用最广泛的时分多路复用是贝尔系统的T1载波。T1载波是将24路音频信道复用在一条通信线路上,每路音频信号在送到多路复用器之前,要通过一个脉冲编码调制编码器,编码器每秒抽样8000次。24路信号的每一路,轮流将一个字节插入到帧中,每个字节的长度为8位,其中7位是数据位,1位用于信道控制。每帧由24&TImes;8=192位组成,附加1bit作为帧的开始标志位,所以每帧共有193bit。由于发送一帧需要125ms,一秒钟可以发送8000帧。因此T1载波数据传输速率为:

    193bit×8000=1544000bps=1544Kbps=1.544Mbps

    多路复用技术原理解析

    波分多路复用

    波分多路复用技术WDM(Wavelength Division Multiplexing)

    波分复用用同一根光纤内传输多路不用波长的光信号,以提高单根光纤的传输能力。因为光通信的光源在光通信的“窗口”上只占用了很窄的一部分,还有很大的范围没有利用。

    也可以这样认为WDM是FDM应用于光纤信道的一个变例。如果让不用波长的光信号在同一根光纤上传输而互不干扰,利用多个波长适当错开的光源同时在一根光纤上传送各自携带的信息,就可以增加所传输的信息容量。由于是用不同的波长传送各自的信息,因此即使在同一根光纤上也不会相互干扰。在接收端转换成电信号时,可以独立地保持每个不同波长的光源所传送的信息。这种方式就叫做“波分复用”。

    如果将一系列载有信息的不同波长的光载波,在光领域内以1至几百纳米的波长间隔合在一起沿单根光纤传输,在接收器再一一定的方法,将各个不同波长的光载波分开。在光纤上的工作窗口上安排100个波长不同的光源,同时在一根光纤上传送各自携带的信息,就能使光纤通信系统的容量提高100倍。

    码分多址

    码分多址技术CDMA(Code Division Multiple Access)

    码分多址是采用地址码和时间、频率共同区分信道的方式。CDMA的特征是个每个用户有特定的地址码,而地址码之间相互具有正交性,因此各用户信息的发射信号在频率、时间和空间上都可能重叠,从而使用有限的频率资源得到利用。

    CDMA是在扩频技术上发展起来的无线通信技术,即将需要传送的具有一定信号带宽的信息数据,从一个带宽远大于信号带宽的高速伪随机码进行调制,使原数据信号的带宽被扩展,再经载波调制并发送出去。接收端也使用完全相同的伪随机码,对接受的带宽信号作相关处理,把宽带信号换成原信息数据的窄带信号即解扩,以实现信息通信。

    不同的移动台(或手机)可以使用同一个频率,但是每个移动台(或手机)都被分配带有一个独特的“码序列”,该序列码与所有别的“序列码”都不相同,因为是靠不同的“码序列”来区分不同的移动台(或手机),所以各个用户相互之间也没有干扰从而达到了多路复用的目的。

    空分多址

    空分多址技术SDMA(Space Division Multiple Access)

    这种技术是将空间分割构成不同的信道,从而实现频率的重复使用,达到信道增容的目的。举例来说,在一个卫星上使用多个天线,各个天线的波束射向地球表面的不同区域地面上不同区域的地球站,他们在同一时间,即使用相同的频率进行工作,它们之间也不会形成干扰。SDMA系统的处理程序如下:

    1、系统将首先对来自所有天线中的信号进行快照或取样,然后将其转换成数字形式,并存储在内存中。

    2、计算机中的SDMA处理器将立即分析样本,对无线环境进行评估,确认用户、干扰源及所在的位置。

    3、处理器对天线信号的组合方式进行计算,力争最佳地恢复用户的信号。借助这种策略,每位用户的信号接收质量将提高,而其他用户的信号或干扰信号则会遭到屏蔽。

    4、系统进行模拟计算,使天线阵列可以有选择地向空间发送信号。再次在此基础上,每位用户的信号都可以通过单独的通信信道空间-空间信道实现高效的传输。

    5、在上述处理的基础上,系统就能够在每条空间信道上发送和接受信号,从而使这些信号称为双向信道。

    利用上述流程,SDMA系统就能够在一条普通信道上创建大量的频分、时分或码分双向空间信道,没一条信道扣可以完全活的整个阵列的增益和抗干扰功能。从理论上而言,带m个单元的阵列能够在每条普通行道上支持m条空间信道。但在实际应用中支持的信道数量将略低于这个数目,具体情况则取决于环境。由此可见,SDMA系统可使系统容量成倍增加,使得系统在有限的频谱内可以支持更多的用户,从而成倍的提高频谱使用效率。

    自2011年9月,近几十年来,无线通信经历了从模拟到数字,从固定到移动的重大变革。而就移动通信而言,为了更有效地利用有限的无线频率资源,时分多址技术(TDMA)、频分多址技术(FDMA)、码分多址技术(CDMA)得到了广泛的应用,并在此基础上建立了GSM和CDMA(是区别于3G的窄带CDMA)两大主要的移动通信网络。就技术而言,现有的这三种多址技术已经得到了充分的应用,频谱的使用效率已经发挥到了极限。空分多址技术(SDMA)则突破了传统的三维思维模式,在传统的三维技术的基础上,在第四维空间上极大地拓宽了频谱的使用方式,使用移动用户仅仅由于空间位置的不同而复用同一个传统的物理信道称为可能,并将移动通信技术引入了一个更为崭新的领域。

    多路复用技术原理解析

    多路复用是什么意思?

    在I/O编程过程中,当需要同时处理多个客户端接入请求时,可以利用多线程或者I/O多路复用技术进行处理。I/O多路复用技术通过把多个I/O的阻塞复用到同一个select的阻塞上,从而使得系统在单线程的情况下可以同时处理多个客户端请求。与传统的多线程/多进程模型比,I/O多路复用的最大优势是系统开销小,系统不需要创建新的额外进程或者线程,也不需要维护这些进程和线程的运行,降底了系统的维护工作量,节省了系统资源,I/O多路复用的主要应用场景如下:

    服务器需要同时处理多个处于监听状态或者多个连接状态的套接字。

    服务器需要同时处理多种网络协议的套接字。

    目前支持I/O多路复用的系统调用有 select,pselect,poll,epoll,在Linux网络编程过程中,很长一段时间都使用select做轮询和网络事件通知,然而select的一些固有缺陷导致了它的应用受到了很大的限制,最终Linux不得不在新的内核版本中寻找select的替代方案,最终选择了epoll。epoll与select的原理比较类似,为了克服select的缺点,epoll作了很多重大改进,现总结如下:

    1. 支持一个进程打开的socket描述符(FD)不受限制(仅受限于操作系统的最大文件句柄数)。

    select最大的缺陷就是单个进程所打开的FD是有一定限制的,它由FD_SETSIZE设置,默认值是1024。对于那些需要支持上万个TCP连接的大型服务器来说显然太少了。可以选择修改这个宏,然后重新编译内核,不过这会带来网络效率的下降。我们也可以通过选择多进程的方案(传统的Apache方案)解决这个问题,不过虽然在Linux上创建进程的代价比较小,但仍旧是不可忽视的,另外,进程间的数据交换非常麻烦,对于Java由于没有共享内存,需要通过Socket通信或者其他方式进行数据同步,这带来了额外的性能损耗,增加了程序复杂度,所以也不是一种完美的解决方案。值得庆幸的是,epoll并没有这个限制,它所支持的FD上限是操作系统的最大文件句柄数,这个数字远远大于1024。例如,在1GB内存的机器上大约是10万个句柄左右,具体的值可以通过cat/proc/sys/fs/filemax察看,通常情况下这个值跟系统的内存关系比较大。

    2. I/O效率不会随着FD数目的增加而线性下降。

    传统的select/poll另一个致命弱点就是当你拥有一个很大的socket集合,由于网络延时或者链路空闲,任一时刻只有少部分的socket是“活跃”的,但是select/poll每次调用都会线性扫描全部集合,导致效率呈现线性下降。epoll不存在这个问题,它只会对“活跃”的socket进行操作-这是因为在内核实现中epoll是根据每个fd上面的callback函数实现的,那么,只有“活跃”的socket才会主动的去调用callback函数,其他idle状态socket则不会。在这点上,epoll实现了一个伪AIO。针对epoll和select性能对比的benchmark测试表明:如果所有的socket都处于活跃态。例如一个高速LAN环境,epoll并不比select/poll效率高太多;相反,如果过多使用epoll_ctl,效率相比还有稍微的下降。但是一旦使用idle connections模拟WAN环境,epoll的效率就远在select/poll之上了。

    3. 使用mmap加速内核与用户空间的消息传递

    无论是select,poll还是epoll都需要内核把FD消息通知给用户空间,如何避免不必要的内存复制就显得非常重要,epoll是通过内核和用户空间mmap使用同一块内存实现。

    4. epoll的API更加简单

    用来克服select/poll缺点的方法不只有epoll,epoll只是一种Linux的实现方案。在freeBSD下有kqueue,而dev/poll是最古老的Solaris的方案,使用难度依次递增。但epoll更加简单。

    转载于:https://www.cnblogs.com/wdp1990/p/11616190.html

    展开全文
  • 多路复用技术的基本原理是:各路信号在进入同一个有线的或无线的传输媒质之前,先采用调制技术把它们调制为互相不会混淆的已调制信号,然后进入传输媒质传送到对方,在对方再用解调(反调制)技术对这些信号加以区分...

    基带信号就是将数字信号1或0直接用两种不同的电压来表示,然后送到线路上去传输。

    宽带信号则是将基带信号进行调制后形成的频分复用模拟信号。

    多路复用技术的基本原理是:各路信号在进入同一个有线的或无线的传输媒质之前,先采用调制技术把它们调制为互相不会混淆的已调制信号,然后进入传输媒质传送到对方,在对方再用解调(反调制)技术对这些信号加以区分,并使它们恢复成原来的信号,从而达到多路复用的目的。

    常用的多路复用技术有频分多路复用技术和时分多路复用技术。

    频分多路复用是将各路信号分别调制到不同的频段进行传输,多用于模拟通信。频分复用(FDM,Frequency Division Multiplexing)就是将用于传输信道的总带宽划分成若干个子频带(或称子信道),每一个子信道传输1路信号。频分复用要求总频率宽度大于各个子 信道频率之和,同时为了保证各子信道中所传输的信号互不干扰,应在各子信道之间设立隔离带,这样就保证了各路信号互不干扰(条件之一)。频分复用技术的特 点是所有子信道传输的信号以并行的方式工作,每一路信号传输时可不考虑传输时延,因而频分复用技术取得了非常广泛的应用。频分复用技术除传统意义上的频分复用(FDM)外,还有一种是正交频分复用(OFDM)。频分多路复用的原理图如下所示:

    clip_image002

    时分多路复用技术是利用时间上离散的脉冲组成相互不重叠的多路信号,广泛应用于数字通信。时分多路复用适用于数字信号的传输。由于信道的位传输率超过每一路信号的数据传输率,因此可将信道按时间分成若干片段轮换地给多个信号使用。每一时间片由 复用的一个信号单独占用,在规定的时间内,多个数字信号都可按要求传输到达,从而也实现了一条物理信道上传输多个数字信号。假设每个输入的数据比特率是 9. 6kbit / s ,线路的最大比特率为76. 8 kbit / s ,则可传输8 路信号。

    除了频分和时分多路复用技术外,还有一种波分复用技术。这是在光波频率范围内,把不同波长的光波,按一定间隔排列在一根光纤中传送。这种用于光纤通信的“波分复用”技术,现在正在迅速发展之中。波分复用(WND)是将两种或多种不同波长的光载波信号(携带各种信息)在发送端经复用器(亦称合波器,Multiplexer)汇合在一起,并耦合到光线路的同一根光纤中进行传输的技术;在接收端,经解复用器(亦称分波器或称去复用器,Demultiplexer)将各种波长的光载波分离,然后由光接收 机作进一步处理以恢复原信号。这种在同一根光纤中同时传输两个或众多不同波长光信号的技术,称为波分复用clip_image004

    频分多路复用与时分多路复用的区别如下:
      (1)微观上,频分多路复用的各路信号是并行的,而时分多路复用是串行的。

      (2)频分多路复用较适合于模拟信号,而时分多路复用较适用于数字信号。

    频分多路复用是将传输介质的可用带宽分割成一个个“频段”,以便每个输入装置都分配到一个“频段”。传输介质容许传输的最大带宽构成一个信道,因此每个“频段”就是一个子信道。

    频分多路复用的特点是:每个用户终端的数据通过专门分配给它的信道传输,在用户没有数据传输时,别的用户也不能使用。频分多路复用适合于模拟信号的频分传输,主要用于电话和电缆电视(CATV)系统,在数据通信系统中应和调制解调技术结合使用。

    展开全文
  • Java IO多路复用技术详解

    万次阅读 2017-04-28 09:49:58
    服务器端编程经常需要构造高性能的IO模型,常见的IO模型有四种: (1)同步阻塞IO(Blocking IO):即传统的IO模型。 (2)同步非阻塞IO(Non-blocking IO):默认创建的...(3)IO多路复用(IO Multiplexi

    服务器端编程经常需要构造高性能的IO模型,常见的IO模型有四种:

    (1)同步阻塞IO(Blocking IO):即传统的IO模型。

    (2)同步非阻塞IO(Non-blocking IO):默认创建的socket都是阻塞的,非阻塞IO要求socket被设置为NONBLOCK。注意这里所说的NIO并非Java的NIO(New IO)库。

    (3)IO多路复用(IO Multiplexing):即经典的Reactor设计模式,有时也称为异步阻塞IO,Java中的Selector和Linux中的epoll都是这种模型。

    (4)异步IO(Asynchronous IO):即经典的Proactor设计模式,也称为异步非阻塞IO。

     

    同步和异步的概念描述的是用户线程与内核的交互方式:同步是指用户线程发起IO请求后需要等待或者轮询内核IO操作完成后才能继续执行;而异步是指用户线程发起IO请求后仍继续执行,当内核IO操作完成后会通知用户线程,或者调用用户线程注册的回调函数。

    阻塞和非阻塞的概念描述的是用户线程调用内核IO操作的方式:阻塞是指IO操作需要彻底完成后才返回到用户空间;而非阻塞是指IO操作被调用后立即返回给用户一个状态值,无需等到IO操作彻底完成。

     

    另外,Richard Stevens 在《Unix 网络编程》卷1中提到的基于信号驱动的IO(Signal Driven IO)模型,由于该模型并不常用,本文不作涉及。接下来,我们详细分析四种常见的IO模型的实现原理。为了方便描述,我们统一使用IO的读操作作为示例。

     

    一、同步阻塞IO

     

    同步阻塞IO模型是最简单的IO模型,用户线程在内核进行IO操作时被阻塞。

    图1 同步阻塞IO

    如图1所示,用户线程通过系统调用read发起IO读操作,由用户空间转到内核空间。内核等到数据包到达后,然后将接收的数据拷贝到用户空间,完成read操作。

    用户线程使用同步阻塞IO模型的伪代码描述为:

    {

    read(socket, buffer);

    process(buffer);

    }

    即用户需要等待read将socket中的数据读取到buffer后,才继续处理接收的数据。整个IO请求的过程中,用户线程是被阻塞的,这导致用户在发起IO请求时,不能做任何事情,对CPU的资源利用率不够。

     

    二、同步非阻塞IO

     

    同步非阻塞IO是在同步阻塞IO的基础上,将socket设置为NONBLOCK。这样做用户线程可以在发起IO请求后可以立即返回。

     

    图2 同步非阻塞IO

    如图2所示,由于socket是非阻塞的方式,因此用户线程发起IO请求时立即返回。但并未读取到任何数据,用户线程需要不断地发起IO请求,直到数据到达后,才真正读取到数据,继续执行。

    用户线程使用同步非阻塞IO模型的伪代码描述为:

    {

    while(read(socket, buffer) != SUCCESS)

    ;

    process(buffer);

    }

    即用户需要不断地调用read,尝试读取socket中的数据,直到读取成功后,才继续处理接收的数据。整个IO请求的过程中,虽然用户线程每次发起IO请求后可以立即返回,但是为了等到数据,仍需要不断地轮询、重复请求,消耗了大量的CPU的资源。一般很少直接使用这种模型,而是在其他IO模型中使用非阻塞IO这一特性。

     

    三、IO多路复用

    IO多路复用模型是建立在内核提供的多路分离函数select基础之上的,使用select函数可以避免同步非阻塞IO模型中轮询等待的问题。

    图3 多路分离函数select

    如图3所示,用户首先将需要进行IO操作的socket添加到select中,然后阻塞等待select系统调用返回。当数据到达时,socket被激活,select函数返回。用户线程正式发起read请求,读取数据并继续执行。

    从流程上来看,使用select函数进行IO请求和同步阻塞模型没有太大的区别,甚至还多了添加监视socket,以及调用select函数的额外操作,效率更差。但是,使用select以后最大的优势是用户可以在一个线程内同时处理多个socket的IO请求。用户可以注册多个socket,然后不断地调用select读取被激活的socket,即可达到在同一个线程内同时处理多个IO请求的目的。而在同步阻塞模型中,必须通过多线程的方式才能达到这个目的。

    用户线程使用select函数的伪代码描述为:

    {

    select(socket);

    while(1) {

    sockets = select();

    for(socket in sockets) {

    if(can_read(socket)) {

    read(socket, buffer);

    process(buffer);

    }

    }

    }

    }

    其中while循环前将socket添加到select监视中,然后在while内一直调用select获取被激活的socket,一旦socket可读,便调用read函数将socket中的数据读取出来。

     

    然而,使用select函数的优点并不仅限于此。虽然上述方式允许单线程内处理多个IO请求,但是每个IO请求的过程还是阻塞的(在select函数上阻塞),平均时间甚至比同步阻塞IO模型还要长。如果用户线程只注册自己感兴趣的socket或者IO请求,然后去做自己的事情,等到数据到来时再进行处理,则可以提高CPU的利用率。

    IO多路复用模型使用了Reactor设计模式实现了这一机制。

    图4 Reactor设计模式

    如图4所示,EventHandler抽象类表示IO事件处理器,它拥有IO文件句柄Handle(通过get_handle获取),以及对Handle的操作handle_event(读/写等)。继承于EventHandler的子类可以对事件处理器的行为进行定制。Reactor类用于管理EventHandler(注册、删除等),并使用handle_events实现事件循环,不断调用同步事件多路分离器(一般是内核)的多路分离函数select,只要某个文件句柄被激活(可读/写等),select就返回(阻塞),handle_events就会调用与文件句柄关联的事件处理器的handle_event进行相关操作。

    图5 IO多路复用

    如图5所示,通过Reactor的方式,可以将用户线程轮询IO操作状态的工作统一交给handle_events事件循环进行处理。用户线程注册事件处理器之后可以继续执行做其他的工作(异步),而Reactor线程负责调用内核的select函数检查socket状态。当有socket被激活时,则通知相应的用户线程(或执行用户线程的回调函数),执行handle_event进行数据读取、处理的工作。由于select函数是阻塞的,因此多路IO复用模型也被称为异步阻塞IO模型。注意,这里的所说的阻塞是指select函数执行时线程被阻塞,而不是指socket。一般在使用IO多路复用模型时,socket都是设置为NONBLOCK的,不过这并不会产生影响,因为用户发起IO请求时,数据已经到达了,用户线程一定不会被阻塞。

    用户线程使用IO多路复用模型的伪代码描述为:

    void UserEventHandler::handle_event() {

    if(can_read(socket)) {

    read(socket, buffer);

    process(buffer);

    }

    }

     

    {

    Reactor.register(new UserEventHandler(socket));

    }

    用户需要重写EventHandler的handle_event函数进行读取数据、处理数据的工作,用户线程只需要将自己的EventHandler注册到Reactor即可。Reactor中handle_events事件循环的伪代码大致如下。

    Reactor::handle_events() {

    while(1) {

    sockets = select();

    for(socket in sockets) {

    get_event_handler(socket).handle_event();

    }

    }

    }

    事件循环不断地调用select获取被激活的socket,然后根据获取socket对应的EventHandler,执行器handle_event函数即可。

    IO多路复用是最常使用的IO模型,但是其异步程度还不够“彻底”,因为它使用了会阻塞线程的select系统调用。因此IO多路复用只能称为异步阻塞IO,而非真正的异步IO。

     

    四、异步IO

     

    “真正”的异步IO需要操作系统更强的支持。在IO多路复用模型中,事件循环将文件句柄的状态事件通知给用户线程,由用户线程自行读取数据、处理数据。而在异步IO模型中,当用户线程收到通知时,数据已经被内核读取完毕,并放在了用户线程指定的缓冲区内,内核在IO完成后通知用户线程直接使用即可。

    异步IO模型使用了Proactor设计模式实现了这一机制。

    图6 Proactor设计模式

    如图6,Proactor模式和Reactor模式在结构上比较相似,不过在用户(Client)使用方式上差别较大。Reactor模式中,用户线程通过向Reactor对象注册感兴趣的事件监听,然后事件触发时调用事件处理函数。而Proactor模式中,用户线程将AsynchronousOperation(读/写等)、Proactor以及操作完成时的CompletionHandler注册到AsynchronousOperationProcessor。AsynchronousOperationProcessor使用Facade模式提供了一组异步操作API(读/写等)供用户使用,当用户线程调用异步API后,便继续执行自己的任务。AsynchronousOperationProcessor 会开启独立的内核线程执行异步操作,实现真正的异步。当异步IO操作完成时,AsynchronousOperationProcessor将用户线程与AsynchronousOperation一起注册的Proactor和CompletionHandler取出,然后将CompletionHandler与IO操作的结果数据一起转发给Proactor,Proactor负责回调每一个异步操作的事件完成处理函数handle_event。虽然Proactor模式中每个异步操作都可以绑定一个Proactor对象,但是一般在操作系统中,Proactor被实现为Singleton模式,以便于集中化分发操作完成事件。

    图7 异步IO

    如图7所示,异步IO模型中,用户线程直接使用内核提供的异步IO API发起read请求,且发起后立即返回,继续执行用户线程代码。不过此时用户线程已经将调用的AsynchronousOperation和CompletionHandler注册到内核,然后操作系统开启独立的内核线程去处理IO操作。当read请求的数据到达时,由内核负责读取socket中的数据,并写入用户指定的缓冲区中。最后内核将read的数据和用户线程注册的CompletionHandler分发给内部Proactor,Proactor将IO完成的信息通知给用户线程(一般通过调用用户线程注册的完成事件处理函数),完成异步IO。

    用户线程使用异步IO模型的伪代码描述为:

    void UserCompletionHandler::handle_event(buffer) {

    process(buffer);

    }

     

    {

    aio_read(socket, new UserCompletionHandler);

    }

    用户需要重写CompletionHandler的handle_event函数进行处理数据的工作,参数buffer表示Proactor已经准备好的数据,用户线程直接调用内核提供的异步IO API,并将重写的CompletionHandler注册即可。

    相比于IO多路复用模型,异步IO并不十分常用,不少高性能并发服务程序使用IO多路复用模型+多线程任务处理的架构基本可以满足需求。况且目前操作系统对异步IO的支持并非特别完善,更多的是采用IO多路复用模型模拟异步IO的方式(IO事件触发时不直接通知用户线程,而是将数据读写完毕后放到用户指定的缓冲区中)。Java7之后已经支持了异步IO,感兴趣的读者可以尝试使用。

    展开全文
  • [libevent]支持I/O多路复用技术

    千次阅读 2015-04-21 23:15:52
    Libevent的核心是事件驱动、同步非阻塞,为了达到这一目标,必须采用系统提供的I/O多路复用技术,而这些在Windows、Linux、Unix等不同平台上却各有不同,如何能提供优雅而统一的支持方式,是首要关键的问题。...
    Libevent的核心是事件驱动、同步非阻塞,为了达到这一目标,必须采用系统提供的I/O多路复用技术,而这些在Windows、Linux、Unix等不同平台上却各有不同,如何能提供优雅而统一的支持方式,是首要关键的问题。

     统一的关键

    Libevent支持多种I/O多路复用技术的关键就在于结构体eventop,这个结构体前面也曾提到过,它的成员是一系列的函数指针, 定义在event-internal.h文件中:
    struct eventop {
    	const char *name;
    	void *(*init)(struct event_base *); // 初始化
    	int (*add)(void *, struct event *); // 注册事件
    	int (*del)(void *, struct event *); // 删除事件
    	int (*dispatch)(struct event_base *, void *, struct timeval *); // 事件分发
    	void (*dealloc)(struct event_base *, void *); // 注销,释放资源
    	/* set if we need to reinitialize the event base */
    	int need_reinit;
    };
    在libevent中,每种I/O demultiplex机制的实现都必须提供这五个函数接口,来完成自身的初始化、销毁释放;对事件的注册、注销和分发。比如对于epoll,libevent实现了5个对应的接口函数,并在初始化时并将eventop的5个函数指针指向这5个函数,那么程序就可以使用epoll作为I/O demultiplex机制了。

    设置I/O demultiplex机制

    Libevent把所有支持的I/O demultiplex机制存储在一个全局静态数组eventops中,并在初始化时选择使用何种机制,数组内容根据优先级顺序声明如下:
    /* In order of preference */
    static const struct eventop *eventops[] = {
    #ifdef HAVE_EVENT_PORTS
    		&evportops,
    #endif
    #ifdef HAVE_WORKING_KQUEUE
    		&kqops,
    #endif
    #ifdef HAVE_EPOLL
    		&epollops,
    		35
    #endif
    #ifdef HAVE_DEVPOLL
    		&devpollops,
    #endif
    #ifdef HAVE_POLL
    		&pollops,
    #endif
    #ifdef HAVE_SELECT
    		&selectops,
    #endif
    #ifdef WIN32
    		&win32ops,
    #endif
    		NULL
    };
    然后libevent根据系统配置和编译选项决定使用哪一种I/O demultiplex机制,这段代码在函数event_base_new()中:
    	base->evbase = NULL;
    for (i = 0; eventops[i] && !base->evbase; i++) {
    	base->evsel = eventops[i];
    	base->evbase = base->evsel->init(base);
    }
    可以看出,libevent在编译阶段选择系统的I/O demultiplex机制,而不支持在运行阶段根据配置再次选择
    以Linux下面的epoll为例,实现在源文件epoll.c中,eventops对象epollops定义如下:
    	const struct eventop epollops = {
    		"epoll",
    		epoll_init,
    		epoll_add,
    		epoll_del,
    		epoll_dispatch,
    		epoll_dealloc,
    		1 /* need reinit */
             };
    变量epollops中的函数指针具体声明如下,注意到其返回值和参数都和eventop中的定义严格一致,这是函数指针的语法限制。
    static void *epoll_init (struct event_base *);
    static int epoll_add (void *, struct event *);
    static int epoll_del (void *, struct event *);
    static int epoll_dispatch(struct event_base *, void *, struct timeval *);
    static void epoll_dealloc (struct event_base *, void *);
    那么如果选择的是epoll,那么调用结构体eventop的init和dispatch函数指针时,实际调用的函数就是epoll的初始化函数epoll_init()和事件分发函数epoll_dispatch()了;
    关于epoll的具体用法这里就不多说了,可以参见介绍epoll的文章
    C++语言提供了虚函数来实现多态,在C语言中,这是通过函数指针实现的。对于各类函数指针的详细说明可以参见文章
    同样的,上面epollops以及epoll的各种函数都直接定义在了epoll.c源文件中,对外都是不可见的。对于libevent的使用者而言,完全不会知道它们的存在,对epoll的使用也是通过eventop来完成的,达到了信息隐藏的目的。

    小节

    支持多种I/O demultiplex机制的方法其实挺简单的,借助于函数指针就OK了。通过对源代码的分析也可以看出,Libevent是在编译阶段选择系统的I/O demultiplex机制的,而不支持在运行阶段根据配置再次选择。
    展开全文
  • libevent学习笔记十一:libevent支持I/O多路复用技术 Libevent的核心是事件驱动、同步非阻塞,为了达到这一目标,必须采用系统提供的I/O多路复用技术,而这些在Windows、Linux、Unix等不同平台上却各有不同,如何...
  • TCP/IP多路复用

    2021-02-28 17:08:43
    所有网络通信的本质目标就是...因此这里需要用到一个叫作多路复用(Multiplex)的技术多路复用,就是多个信号,复用一个信道。 传输层多路复用 多个请求复用一个 TCP 连接。 多个请求相当于并行的发送请求。即使其
  • Redis I/O 多路复用

    万次阅读 多人点赞 2019-05-19 19:18:01
    为什么 Redis 中要使用 I/O 多路复用这种技术呢? 首先,Redis 是跑在单线程中的,所有的操作都是按照顺序线性执行的,但是由于读写操作等待用户输入或输出都是阻塞的,所以 I/O 操作在一般情况下往往不能直接返回...
  • 42-IO 多路复用

    千次阅读 2017-04-23 14:51:02
    1. 概述早在学习《Linux 环境编程笔记》的时候,我们学已经把 IO 多路复用的知识系统的介绍了,它主要包括 select、poll 和 epoll 技术。如果你还没有熟练的掌握这些知识,请参考 《Linux 环境编程笔记》的第十二章...
  • 因特网运输层 运输层位于应用层和网络层之间,是分层的网络体系结构的重要...这种主机间交付扩展到进程间交付被称为运输层的多路复用与多路分解。另外UDP和TCP还可以通过在其报文段首部中包括差错检查字段而提供...
  • 多路复用

    2008-06-18 15:10:29
    1、多路复用目的:   充分利用昂贵的通信线路,尽可能地容纳较多的用户和传输较多的信息。 2、多路复用的基本原理:  当物理信道的可用带宽超过单个原始信号所需的带宽时,可将该物理信道的总带宽分割成...
  • 112-IO 多路复用

    千次阅读 2017-03-21 10:03:37
    1. 问题提出 假设有这样一段程序: // fd1, fd2, fd3 分别是以只读的方式打开的三个不同有名管道的描述符(a.fifo, b.fifo, c.fifo) ...多进程和多线程的确可以解决上面的问题,但是...理解 IO 多路复用的含义
  • 一般在使用IO多路复用模型时,socket都是设置为NONBLOCK的,不过这并不会产生影响,因为用户发起IO请求时,数据已经到达了,用户线程一定不会被阻塞。 用户线程使用IO多路复用模型的伪代码描述为: void ...
  • IO多路复用机制详解

    万次阅读 多人点赞 2017-12-28 11:42:29
    高性能IO模型浅析 服务器端编程经常需要构造高性能的IO模型,常见的IO模型有四种: (1)同步阻塞IO(BlockingIO):即传统的IO模型。 (2)同步非阻塞IO(Non-blockingIO):默认创建的...(3)IO多路复用(IO...
  • 理解I/O多路复用技术的原理。 学会编写基本的单线程并发服务器程序和客户程序。 二、实验平台 ubuntu-8.04操作系统 三、实验内容 采用I/O多路复用技术实现单线程并发服务器,完成使用一个线程处理并发客户请求...
  • 时分多路复用(TDM)

    千次阅读 2020-10-26 11:57:24
    时分多路复用(TDM)是按传输信号的时间进行分割的,它使不同的信号在不同的时间内传送,将整个传输时间分为许多时间间隔(Slot time,TS,又称为时隙),每个时间片被一路信号占用。TDM就是通过在时间上交叉发送每...
  • 答应我,这次搞懂 I/O 多路复用

    千次阅读 多人点赞 2021-04-12 13:46:45
    这次,我们以最简单 socket 网络模型,一步一步的过度到 I/O 多路复用。 但我不会具体细节说到每个系统调用的参数,这方面书上肯定比我说的详细。 好了,发车! 最基本的 Socket 模型 要想客户端和服务器能在网络...
  • 在实际通信系统中,通常传输信道能够提供比单路或单用户所...通过载波频率来区分子信道是一种常用的多路复用技术,即频分多路复用FDM技术。 所谓传统的频分复用FDM与解复用,是相对OFDM正交频分复用与解复用而言的。
  • 码分多路复用

    千次阅读 多人点赞 2018-04-30 21:45:39
    引子: CDMA是个很重要的通信概念,很的大学教科书上都会提到它,甚至我们今天可能都在使用它。然而提到cdma,很少有资料提到它的思想是多么的有创意,教科书上关于cdma的章节都过于复杂,过于数学化,虽然也有...
  • 一文带你看懂多路复用与多路分解

    千次阅读 多人点赞 2020-04-16 08:14:49
    写在前面:这里是小王成长日志,一名普通在校大学生,想成学习之余将自己的学习笔记分享出来,记录自己的成长轨迹,帮助可能需要的人,平时博客内容主要是一些系统的学习笔记,项目实战笔记,一些技术的探究和自己的...
  • 址技术与复用技术

    千次阅读 2016-07-27 15:26:47
    址技术: 1、目的是用来区分不同用户的一种技术。...复用技术: 1、目的是个信息源共同使用同一个物理资源(比如一条物理通道),并且互不干扰; 2、这里的复用是指“个共同使用”的意思;
  • 音频时分多路复用(TDM)

    千次阅读 2019-10-30 22:33:14
    时分多路复用(TDM)是按传输信号的时间进行分割的,它使不同的信号在不同的时间内传送,将整个传输时间分 为许多时间间隔(Slot time,TS,又称为时隙),每个时间片被一路信号占用。TDM就是通过在时间上交叉发 送...
  • 基于 ID 的 Windows 事件多路复用

    千次阅读 2011-09-05 19:09:47
    Microsoft Windows 提供了通过 WaitForMultipleObjects 方法及其变体对多个事件进行多路复用侦听的功能。这些函数功能强大,但不便于在动态事件列表中使用。 困难在于事件信号用索引 标识在对象句柄数组中。当在该...
  • 本文在拆解QAM正交幅度调制、OFDM正交频分复用、快速傅里叶变换、IQ调制等技术的基本原理的基础之上,结合LTE基站的具体实现,展现LTE基站是如何把这些关键的、核心的技术,有机的衔接起来、串联起来,从而达到拆解...
  • 多路复用和伪随机序列 8.1 概述 多路复用 目的:在一条链路上传输多路独立信号 基本原理:正交划分方法 凡是理论上正交的多个信号,在同一条链路上传输到接收端后都可能利用其正交性完全区分开 多路复用基本...
  • 1、IO多路复用是指内核一旦发现进程指定的一个或者多个IO条件准备读取,它就通知该进程。IO多路复用适用如下场合:  (1)当客户处理多个描述字时(一般是交互式输入和网络套接口),必须使用I/O复用。  (2)当...
  • 两种I/O多路复用模式:Reactor和Proactor。 一般地,I/O多路复用机制都依赖于一个事件多路分离器(Event Demultiplexer)。分离器对象可将来自事件源的I/O事件分离出来,并分发到对应的read/write事件处理器(Event ...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 32,764
精华内容 13,105
关键字:

多路复用技术的目的是