精华内容
下载资源
问答
  • HTML多媒体元素应用,基础的HTML多媒体元素应用教学
  • Dreamweaver 网页设计 第7章 应用多媒体元素 学习概述 在网页中应用多媒体效果当前十分普遍例如大量使用Flash动画视频声音Java Applet等使网页动感十足变化多端本章内容包括插入Flash元素插入背景音乐插入视频插入...
  • PPT35页 1、多媒体概述 2、多媒体常用元素媒体 3、多媒体文件格式 4、实训指导:PHOTOSHOP 5、多媒体技术的应用:教育与培训
  • 20972多媒体操作系统

    千次阅读 2019-06-18 21:14:00
     随着多媒体技术的发展,在传统OS也相应增加了许多能处理音频和视频信息的多媒体功能。现在流行的操作系统,如Linux、 Windows 系列等,就已具有多媒体功能。本章前两节先介绍有关多媒体系统的基本知识。 11.1.1...

     多媒体操作系统

     

        

    11.1  多媒体系统简介

     

      随着多媒体技术的发展,在传统OS中也相应增加了许多能处理音频和视频信息的多媒体功能。现在流行的操作系统,如Linux、 Windows 系列等,就已具有多媒体功能。本章前两节先介绍有关多媒体系统的基本知识。

    11.1.1  多媒体的概念

      1. 数据、信息与媒体

      所谓数据,是反映客观事物及其运动状态的信号,如人体感觉器官或观测仪器的感知所形成的以文本、数字、事件或图像等形式保存的原始记录。数据与数据之间没有建立任何联系或关系,呈分散和孤立的特性。数据必须经过加工处理才能形成信息。

      2. 媒体的分类

      一般地,媒体可分为以下六类:

      (1) 感觉媒体

      (2) 表示媒体

      (3) 呈现媒体

      (4) 存储媒体

      (5) 传输媒体

      (6) 交换媒体

      3. 多媒体

      所谓多媒体(multimedia),目前没有统一的定义,一般是指多种方法、多种形态传输(传播)的信息介质、多种载体的表现形式以及多种存储、显示和传递方式。在计算机领域,多媒体往往是指多媒体技术,即是同时对多个感觉媒体信息进行获取、处理、编辑、存储和展示的理论、技术、设备、标准等规范的总称。

    11.1.2  超文本和超媒体

      1. 超文本(hypertext)

      超文本是一种文本信息的组织方式,相比传统的线性文本组织方式而言,超文本的组织方式是非线性的,与人的思维方式和工作方式更加接近。

      2. 超链接(hyperlink)

      超链接也称为超文本链接(hypertextlink),是指文本中的词、短语、符号、图像、声音剪辑或影视剪辑之间的链接,或者是指它们与其它的文件、超文本文件之间的链接。

      3. 超媒体(Hypermedia)

      所谓超媒体,就是多媒体与超文本的结合,在多媒体技术的支持下,文本信息不仅可以包含文字,还可以包含诸如图形、图像、视频、音频等多媒体信息,这些信息按照超文本结构和超链接方式进行组织,是节点和链源类型更加多样化、链结构更加复杂的超文本。

    11.1.3  多媒体文件的特点          

      1. 多样性

      所谓多样性,是指在一份多媒体文件中集成了多种媒体文件。例如在一部数字电影中,就可能包含有一个视频、多个音频、多个横向滚动的字幕等,相应地在一个多媒体文件中就有一个视频文件、多个音频文件以及多个包含多种语言的文本文件,因此一部数字电影往往是由多个不同类型的文件组成的。

      2. 极高的数据率

      为了保证有好的视觉和听觉感受,视频和音频都必须具有很高的数据率,相应的所需要的存储量就非常大。

      3. 实时性

      在对多媒体文件进行播放时,为保证播放质量,要求有很高的实时性。

      4. 集成性

      在多媒体中包含了文本、静止图像、音频、视频等各种类型的媒体,而实际需要的,则往往是将多种媒体集成在一起使用。因此集成性是多媒体的一个重要特征。多媒体的集成性包含了如下两方面的含义:

      (1) 将多媒体的硬件和软件进行集成。

      (2) 将多媒体信息进行集成。

      5. 交互性

      在多媒体系统中,多媒体文件还有一个非常重要的特点——使用时的交互性,即在多媒体系统中,信息以超媒体结构进行组织,可以方便地实现人机交互。换而言之,人可以按照自己的思维习惯,按照自己的意愿主动地选择和接受信息,拟定信息的使用路径。对于仅集成了多种媒体而不具有交互性的系统,通常不把它称为多媒体系统。

    11.1.4  多媒体硬件与软件系统

      1. 多媒体硬件系统的组成

      多媒体硬件系统是在传统计算机系统的基础上,再增加某些能对多媒体信息进行处理的硬件。因此,它除了需要较高配置的常规计算机主机硬件,如处理机、内存、硬盘驱动器等外,还应增加用于对音频信号和视频信号进行处理的硬件,诸如音频、视频、视频处理设备,光盘驱动器,各种媒体输入/输出设备等。

      2. 声卡(sound card)

      声卡又称音频卡,用于处理音频信号。声卡可用来接受话筒、录音机、乐器等输入的音频(模拟)信号,通过模/数变换,将其转换为计算机能够识别和处理的数字信号。反之,声卡也能把计算机中存储的数据经数/模变换转换为声音信号,再通过连接在声卡上的音箱或耳机播放出来,也可用录音设备记录下来。声卡可根据其量化精度将其分为8位、16位和32位几档。位数越高,其量化精度也就越高,相应的,声音的音质就越好。

      3. 视频卡(video card)

      视频卡又称显示卡,用于处理视频信号。它除了用于对视频信号进行采集外,还可对所采集的信息进行编辑、特技处理,进而形成十分精美的画面。对于多媒体的应用,一般要求视频卡能提供800×600、1024×768、1280×1024或更高像素的分辨率,这样才有可能很好地观看高清晰电视和数字电影。

      4. 数码相机

      数码相机与传统相机相比,两者用于成像的光敏介质不同,传统相机采用的是分布在胶片上的感光化学介质,而数码相机是使用CCD作为光敏介质。CCD的作用是将所拍摄到的光信号转换为模拟电信号,再经过模/数转换变为二进制数字信号。这样便可将图像以数字形式存储在相机的内存中。为了节省内存,通常都采用JEPG方式存储。

      5. 数码摄像机

      1998年,第一部家用数码摄像机横空出世,由于它有着很高的清晰度、体积小巧、使用方便,并能利用计算机对影像进行处理,因而深受用户欢迎,因此它很快就取代了传统的模拟式摄像机。它也使用CCD作为光敏介质。

      6. 智能传感器

      智能传感器是一种具有采集、处理、交换信息功能,集成了传感器、微处理机、通信装置的嵌入式设备。智能传感器可与外界物理环境交互,将收集到的信息通过传感器网络传送给其它的计算设备,如传统的计算机等。智能传感器一般集成了低功耗的微控制器、若干存储器单元、无线电或光通信装置、传感器等组件,通过传感器、动臂机构以及通信装置,实现与外界物理环境交互。

      7. 多媒体软件系统

      多媒体软件系统也称为多媒体软件平台,是指多媒体系统运行、开发的各类软件和开发工具及多媒体应用软件的总和。硬件是多媒体系统的基础,软件是多媒体系统的灵魂。

       

    11.2  多媒体文件中的各种媒体

     

      在多媒体文件中包含了多种类型的媒体,它们具有完全不同的特性,并需要用不同的硬件和软件进行处理。

    11.2.1  音频信号 

      1. 模拟音频和数字音频

      (1) 模拟音频。

      (2) 数字音频。

      ① 采样。

      ② 量化。  

      ③ 编码。

      2. 数字音频文件类型

      数字音频文件格式有多种:

      ① WAV文件

      ② MIDI文件

      ③ MPEG音频文件(MP3)

      ④ APE文件

    11.2.2  图像

      1. 图像的数字表示

      在计算机中,图像是通过矩阵表示的,矩阵中的每个元素值对应于图像的一个基本元素,称为像素。

      2. 图像的属性

      1) 分辨率

      分辨率可分为两种:

      ① 图像分辨率

      ② 显示器分辨率

      2) 色彩深度

      为了表现一幅彩色照片的色彩,每个像素需要用许多二进制位,所用二进制位的多少就是色彩深度。

      3) 真/伪彩色

      由于任何一种颜色都可由三种基本颜色按不同比例合成,目前常用红、绿、蓝三色,因此,当色彩深度为24时,红色(R)占8位,绿色(G)占8位,蓝色(B)占8位,可以简单表示为RGB 8∶8∶8。把用RGB 8∶8∶8表示的色彩称为真彩色图像,或全彩色图像。

      3. 图像文件格式

      数字图像可采用多种文件格式存储在计算机中,四种最常用的图像文件格式为:

      (1)  MP格式。

      (2)  IP格式。

      (3) TIFF格式。

      (4)  PEG格式。

    11.2.3  视频信号

      1. 模拟视频

      当前流行的电视是模拟视频,电视信号通过光栅扫描的方法显示在屏幕上,从屏幕顶部开始逐行地向下扫描,直到最底部,由此形成一幅图像,称为一帧。水平扫描线所能分辨出的点数称为水平分辨率,一帧中垂直扫描的行数称为垂直分辨率。

      1) 彩色电视的制式

      电视信号的标准也称为制式。目前世界上主要有三种制式:

      (1)  TSC制式

      (2)  AL制式

      (3)  ECAM制式

      2) 隔行扫描和逐行扫描

      虽然每秒25帧已完全能够使人眼感觉图像是连续的,但有一部分人会感觉到图像闪烁,这是因为在新图像到来(亮)之前,原图像在视网膜上已逐渐减弱(暗)。如果增加帧频到每秒50帧,则由于视网膜上更多的是新图像,故而可以消除闪烁现象,但会导致对带宽提出更高的要求。一种巧妙的方法是,先利用半帧的时间从上到下地扫描奇数行,把半帧称为一个场,然后再利用半帧的时间从上到下地扫描偶数行。实际表明,每秒50场已完全感觉不到闪烁现象。这一技术被称为隔行扫描。而把依次扫描每一行的技术称为逐行扫描。

      2. 数字视频

      如同前面所介绍的数字图像一样,数字视频中的每一帧也是由大量的像素组成的,每个像素用若干二进制位来表示。对于彩色电视,一般用24位,红、绿、蓝各占用8位。为了消除电视中的闪烁现象,采用了隔行扫描技术。

      3. 视频文件格式

      1)  PEG文件格式

      MPEG(Motion Picture Experts Group)是运动图像压缩算法,它于1993年成为国际标准。该算法是针对运动图像设计的,是基于相互连续的几帧相差甚微这样的事实来进行压缩的。因此在单位时间内先采集第一帧中的数据,并将它保存起来,对于以后几帧只存储其中与第一帧不同的部分。MPEG的平均压缩比为50∶1,最高压缩比可达200∶1。

      2)  IF文件格式

      GIF(Graphics Interchange Format)是采用无损压缩方法所产生的一种高压缩比的彩色图像文件。为了减少对网络频带的要求,采用了隔行扫描方式。该格式被广泛应用于Internet上的大量彩色动画。

      3)  VI文件格式

      这种文件格式又称为音频视频交错(audio video interleaved)格式,该格式允许音频和视频交错在一起同步播放,支持256色和压缩,但并未限定压缩标准,因此,也造成AVI的格式不具有兼容性,即用某种压缩标准产生AVI的文件,必须使用相应的解压缩算法,才能将它进行解压。该算法具有调用方便、图像质量好等优点,但文件体积过于庞大,主要用于在光盘上保存数字电影、电视等影像。

    11.2.4  多媒体数据压缩及其标准  

      1. 数据压缩和解压缩

      所有数据压缩系统都要求有两个算法:一个是用于对数据进行压缩,另一个是用于对压缩数据进行解压缩。压缩与解压缩间允许存在不对称性。

      2. 静止图像的压缩标准

      联合图像专家小组JPEG(Joint Photographic Exports Group)研制出的数字压缩编码方法,被称为JPEG算法,它被确定为静止图像压缩的国际标准。JPEG专家组开发了两种基本的压缩算法:一种是无损压缩算法;另一种是有损压缩算法。

      3. 运动图像的压缩算法

      运动图像专家小组MPEG(Motion Picture Exports Group)研制出的运动图像压缩编码技术的标准化方法,被称为MPEG算法。该算法是基于对电影中存在的空间和时间冗余进行压缩的。

      4. 运动图像的压缩标准

      MPEG算法被确定为运动图像压缩的国际标准,已在全世界范围得到广泛的应用,下面是几种常用的MPEG标准:

      (1)  PEG-Ⅰ标准

      (2)  PEG-Ⅱ标准

      (3)  PEG-Ⅳ标准

      5. 音频压缩标准

      在多媒体应用中,最常用的音频压缩标准是MPEG的音频压缩算法。它是第一个高保真音频数据压缩国际标准,该算法提供了3个独立的压缩层次。

    11.3  多媒体进程管理中的问题和接纳控制

     

    11.3.1  实时任务的处理需求和描述

      多媒体进程(线程)与通常的进程(线程)之间有许多相似之处,比如它们需要一定数量的资源,具有三个基本运行状态等。但它们也各有自己的特点,因此,在对多媒体进程进行管理时,必须考虑多媒体数据应遵循的时序需求。

      1. 实时任务的处理需求

      在通常的多媒体系统中,必须按照严格的时间间隔对实时任务进行处理。或者说,必须周期性地对数据进行处理,并在一规定的截止时间前完成。

      2. 软实时任务的时间特性描述

      在多媒体系统中,是对连续媒体数据流进行处理。在播放数字电影时,媒体服务器将周期性地(对于PAL制式为40 ms)逐帧送出数据。相应地,媒体服务器中的处理机必须在规定的时间内对它进行处理后送给用户。可见播放数字电影将联系着一个截止时间或称为最后时限。这说明数字电影是一个要求比较严格的周期性软实时任务。

     

    图11-1  周期任务的时间特性

    11.3.2  多媒体进程管理中必须解决的问题  

      1. 同时运行不同类型的软实时任务

      通常媒体服务器可向众多的用户提供各种多媒体服务,如数字电影和电视服务。在系统中,每一部数字电影都是作为一个软实时任务运行的,彼此间相互独立。不同的软实时任务所需处理的数据量相差甚远,可能相差数十倍。每个任务的时间特性也各不相同,它们有不同的开始时间、截止时间、周期时间和CPU处理时间。简而言之,多媒体进程管理必须具有能支持多种不同类型的软实时任务同时运行的能力。

      2. 支持软实时任务和非实时任务同时运行

      一个具有多媒体功能的通用操作系统,它既应面向软实时任务的用户,又需面向非实时任务的用户,如交互型作业的用户。因此,在系统中,应当允许多种类型的SRT任务和不同类型的非实时任务并存。相应的进程管理应具备以下两方面的功能:一方面需要满足SRT任务对截止时间的需求;另一方面又应使非实时任务的用户满意,并能很好地协调多种任务的并发运行。

      3. 提供适当的进程接纳机制

      在多道程序环境下,如果在系统中同时运行的SRT任务太多,将难以保证实时任务的截止时间需求。反之,若在系统中的SRT任务太少,CPU又会得不到充分利用。为解决此矛盾而引入了对进程的接纳控制机制,目前常用的是基于预留的进程接纳机制。当新进入的SRT任务提出接纳请求时,接纳机制将计算是否有足够的CPU时间片(带宽)来接纳该进程,如果有足够的CPU带宽,便接纳它,并为每一个被接纳的SRT任务预留它在运行时所需要的CPU带宽,如果已无足够的带宽,便拒绝接纳。

      4. 采用实时调度算法

      实时调度在保证SRT任务的实时性方面起着至关重要的作用。在具有多媒体功能的操作系统中,一个好的实时调度算法应能向每个SRT任务提供可以接受的截止时间保证,即能满足每一个SRT任务绝大多数的截止时间需求。

    11.3.3  软实时任务的接纳控制  

      1.  SRT任务带宽和尽力而为任务带宽

      为了能确保SRT任务的实时性,并适当考虑非实时任务的运行,将CPU的带宽分为两部分:

      (1)  RT任务带宽。把CPU的一部分带宽分配给SRT任务运行。如果SRT任务被接纳了,它将获得(分配到)一部分SRT任务带宽,进程管理便会尽可能地保证它们的实时性。

      (2) 尽力而为任务带宽。

      2. 接纳控制

      SRT任务在进入系统后,必需向CPU代理给定其定时服务质量参数,其中包含SRT任务的运行周期(p)、每一周期中的运行时间(t)和CPU占有率u。当CPU代理收到请求后,首先执行接纳控制。它根据一定的调度策略计算,确定是否可以接纳该任务。如果在接纳后,不仅能够保证它所要求的截止时间需求,而且还不会影响到原有SRT任务的运行,则CPU代理便可以接纳该进程,将它插入到进程就绪队列中等待调度。如果不能保证,将拒绝接纳。

      3.  CPU代理进程

      CPU代理的主要任务是,接收应用程序的接纳请求,根据接纳策略,做出是否接纳的决定,并将被接纳的进程放入就绪队列。至于应调度哪一个进程运行,则应由进程调度程序确定。

      4. 预留策略

      1) 预留模式

      有两种预留模式:

      (1) 立即预留

      (2) 高级预留

      2) 基于服务质量参数范围的预留

      通常服务质量是有一定范围的,由此形成三种预留策略:

      (1) 最小预留策略,基于最小的服务质量参数所产生的接纳控制,该策略比较适合于数据率比较稳定的进程,如动画。

      (2) 平均预留策略,基于平均的服务质量参数所产生的接纳控制,该策略比较适合于数据偶尔出现差错的多媒体任务。

      (3) 最大预留策略,基于最高的服务质量参数所产生的接纳控制,该策略可以保证所有实时任务的截止时间,即它可以获得最好的实时性保证。

      3) 预留排序

      应如何确定对预留的排序。有两种预留排序策略:

      (1) 按先来先服务策略排序,先到达的请求进程优先获得服务。

      (2) 按优先级排序,根据进程的优先级大小依次为所有请求进程进行服务。

          

    11.4  多媒体实时调度

     

    11.4.1  最简单的实时调度方法  

      在多媒体服务器中,将为所播放的每一部数字电影建立一个进程。其主要任务是,不断接收从硬盘上传送来的帧,经适当处理后,便送往屏幕。最简单的实时调度方法是,假定所要播放的电影都具有相同的类型,如都是采用相同的制式、分辨率和压缩比的彩色数字电影。

    11.4.2  速率单调调度(Rate Monotonic Scheduling,RMS)算法

      RMS算法是一个静态的、优先级驱动的算法,适用于抢占式优先级调度方式以及实时任务是周期性的情况。在采用该算法时,系统中的进程应满足如下条件:

      (1) 在系统中允许同时存在周期性进程和非周期性进程,所有周期性任务具有固定的周期。

      (2) 所有的进程之间相互独立,互不依赖。

      (3) 对于周期性进程而言,所有进程在一个周期中,所需完成的工作量是相同的,而且任务还必须在周期内完成,不会影响到下一个周期的任务。

      1. 优先级的确定

      在利用速率单调调度算法进行实时调度的系统中,代理进程将根据各个进程的请求速率(周期时间的倒数),分配给每一个进程一个静态优先级,在整个运行期间不变。该优先级的大小与它的重要程度无关,只取决于进程的请求速率,请求速率最高的任务将获得最高的优先级。实际上,进程的优先级大小就等于进程的运行频(速)率。

      2. 调度算法能否有效调度的衡量

      在一个实时系统中,需要对调度算法是否能有效调度进行衡量,该衡量标准是依据调度算法能否满足所有进程的截止时间要求。

      图11-2示出了进程Pi一个周期性任务的时序图,其中Ti是进程Pi的周期时间,Ci是进程Pi所需的处理机时间总量,Ui = Ci/Ti是进程Pi的处理机使用率。显然,在实时系统中必须保持多个进程的处理机使用率的总和不能超过1,1对应于处理机的总使用率,也就是调度上限,只有这样才有可能成功地进行调度,亦即应保持下面的不等式成立:

     

                            (11.1)

     

    图11-2  周期性任务的时序图

      应当注意,上面的表达式忽略了处理机的调度和进程的切换时间,在实际应用中,调度上限应取比1小的数,且随着处理机数目的增加而减小。Lin and Layiand证明了对于任何周期性进程系统,如果能保持下面不等式成立,就可以保证RMS算法正确工作。

     

                                            (11.2)

      3.  RMS算法实例

      假如系统中有三个周期性进程,进程A每30 ms运行一次,每次执行10 ms;进程B每40 ms运行一次,每次执行15 ms;进程C每50 ms运行一次,每次执行5 ms;图11-3中的上面三行分别示出了A、B、C三个进程的周期和执行时间。

     

    图11-3  RMS实时调度例子

    11.4.3  EDF算法与RMS调度算法的比较

      1. 用RMS算法调度失败举例

      现在我们来看另外一个例子:现有三个进程A、B和C,它们的周期与前例相同,只是在此将进程A每次的运行时间由10 ms增加至15 ms,进程B和C每次的运行时间不变。对于RMS算法,由于优先级只与周期有关,而与进程每次运行的时间多少无关,因此这三个进程的优先级仍为33、25和20。调度程序先调度A运行,在t=15时调度B运行,在t=30时进程A再次就绪,故调度A运行,在t=45时B又再次就绪,由于它的优先级高于进程C,因此又调度B运行,等到t=60进程B结束时,进程C已错过其最后期限,RMS调度失败。

      2. 用EDF算法调度成功举例

      在采用EDF算法进行调度时,由图11-4可以看出,前30 ms时与RMS一样。在t=30时,A2和C1都处于就绪态,如果按RMS算法,由于进程A的优先级高于C,此时应调度A运行。但用EDF算法时,A的最后时限是60,而C的最后时限是50,所以应调度C运行。在t=35时,A才再次运行,t=50时调度B运行。当t=90时,A第四次就绪,A与正在运行的B最后时限同为120,基于不是必要就不抢占的原则,仍让B继续运行。在该例中,直到t=150,处理机一直处于忙碌状态。

     

    图11-4  用RMS和EDF进行调度

      3.  RMS与EDF算法的比较

      (1) 处理机的利用率。

      (2) 算法复杂度。

      (3) 调度的稳定性。

      

    11.5  媒体服务器的特征和接纳控制

     

    11.5.1  媒体服务器的特征

      1. 多媒体文件的多种媒体性

      如前所述,一部数字电影是由多种媒体文件组成的。其中包含了一个视频文件、若干种语言的音频文件,以及不同国家文字的文本文件,图11-5示出了一部电影所包含的文件,而且在播放时,这些媒体数据流之间还必须保持同步。

     

    图11-5  一部电影所包含的多种媒体的文件

      2. 拉型和推型文件服务器

      在传统的服务器中,进程要访问一个文件时,应先用open系统调用将文件打开,然后再用read系统调用把文件中的数据读出。如果把这种方式也用于多媒体文件系统中,则用户每发出一个read系统调用命令时,服务器便送出一帧数据,如图11-6(a)所示。该方式一方面要求用户必须以精确的时间间隔不断发出read命令,读出一帧数据;另一方面要求服务器每个周期都能及时地提供数据。

     

    图11-6  拉型服务器和推型服务器

      3. 多媒体文件的存储空间分配方式

      在传统的文件系统中,文件组织的一个重要目标是通过减少内部和外部磁盘碎片,提高磁盘空间的利用率。为此,存储空间的分配主要采用基于盘块的离散分配方式。而在多媒体文件系统中,文件组织的一个重要目标是能提供恒定速率的数据流和能及时地检索数据。

      4. 人机交互性

      用户在通过媒体服务器观看节目时,可根据自己的爱好,任意点播喜欢看的节目。在观看节目时,还可选择自己所熟悉的语言音频和字幕,并且可以根据需要随时更换。此外,用户还可以随时停止(或暂停)正在观看的电视,或(让电视)从一集跳至下一集,或让电影快进或快退等,即媒体服务器需要具有人机交互的功能。

    11.5.2  存储器管理中的接纳控制    

      1. 存储器页面锁定功能

      对于某个SRT任务来说,如果其某些页面未在物理内存,而在运行中又需要用到这些页面上的代码或数据,则将发生缺页中断,这意味着所需之页面必须从磁盘中读取。由于读盘所需的时间不仅较长,而且是不确定的,这无疑会给SRT任务带来极大的影响。为避免发生缺页中断情况,一个行之有效的方法是将SRT任务运行时所需之代码和数据锁定在物理内存中。只有这样才有可能保证SRT任务的截止时间。

      2. 存储器代理

      为了能保证每一个SRT任务的实时性,如同处理机预留CPU带宽一样,我们也引入了存储空间预留功能,为每一个SRT任务预留锁定的存储空间。为实现该功能,在存储器管理中增加了两个功能实体:存储器代理和存储器控制器。

      3. 存储器控制器

      存储器控制器的主要任务是,管理为SRT任务锁定的内存页面,以保证CPU能及时获得数据。在SRT任务执行时,将ID传送给存储器控制器。后者利用预留表检查该预留ID是否合法,如果合法,便为SRT任务分配并锁定存储器。存储器控制器还把存储器的钥匙传送给SRT任务,SRT收到后,便建立起存储段与自己的地址空间之间的映射关系。

    11.5.3  媒体服务器的接纳控制      

      1. 媒体服务器的服务质量

      不同的SRT任务,所要求的服务质量并不完全相同。因此,一个媒体服务器应当能够提供几种服务质量,以满足不同用户的需要。通常,可以提供如下三种服务质量保证:

      (1) 确定型的保证。

      (2) 统计型的保证。

      (3) 尽力而为型保证。

      2. 接纳控制

      对于不同的服务质量保证和不同的服务所采用的接纳控制条件是不一样的,在这里只是讨论接纳控制条件中最基本的问题。

      

    11.6  多媒体存储器的分配方法

     

    11.6.1  交叉连续存放方式

      1. 多媒体文件存放中的问题

      多媒体文件存放最重要的要求是,存放在硬盘上的数据如何能快速地传送到输出设备上,不会发生因送出数据不及时而使屏幕上的画面发生颤动。在采用离散分配方式时,在磁盘传输速率足够高的情况下,送出数据不够及时最主要的原因是在传输一帧的过程中需要进行多次寻道,由于寻道和磁盘旋转延迟通常都需要数十毫秒,很难及时将数据送出。因此,多媒体文件都采用连续文件。

      2. 交叉连续存放方式 

      在该方式中,不仅要求多媒体中的每个文件是连续文件,而且还需在不同文件间采取按帧交叉的方式存放。首先存放第一帧中的视频数据,紧靠着它存放第一帧中的各种音频数据,然后是存放第一帧中的多个文字数据,如图11-7所示。在从磁盘读出时,最简单的方法是将每一帧中所有数据全部读出到内存的缓冲区中,然后只将用户所需之部分传送给用户。

     

    图11-7  交叉连续存放方式

    11.6.2  帧索引存放方式

      为了克服交叉连续存放方式的缺点,即在每一部数字电影中所包含的视频文件、音频文件和多个文本文件都需要连续存放,而引入了索引存放方式。该方式又可分为两种:

      (1) 帧索引存放方式,又称为小盘块法。

      (2) 块索引存放方式,又称为大盘块法。

      1. 帧索引存放方式的基本原理

      在小盘块法中,所选定的盘块大小应远小于帧的大小。对于每秒30帧的MPEG-Ⅱ而言,帧的平均大小为16 B,通常选定盘块大小仅为1 B或2 B,故将它又称为小盘块法。这样,电影中的每一帧信息需要存放在一连串的连续盘块中。和前面一样,在这一串连续的盘块中,仍是包含了一个视频、多个音频和多个文本文件的数据。

     

    图11-8  索引存放方式

      2. 帧索引存放方式的性能分析

      (1) 支持随机访问。

      (2) 关于快进、快退问题。

      (3) 磁盘碎片较小。

      (4) 帧索引表大。

      (5) 缓冲管理简单。

      (6) 存储管理复杂。

    11.6.3  块索引存放方式 

      1. 块索引存放方式的基本原理

      在块索引存放方式中所选定的盘块较大,其大小应远大于一帧的大小,如256 B,以便在一个盘块中可以存放多个帧,故将它称为大盘块法。由于在大盘块法中每个数据块的大小是相同的,故把这种组织称为恒定数据长度。

      2. 块索引存放方式的性能分析

      (1) 支持随机访问。

      (2) 磁盘碎片较大。

      (3) 块索引表小。

      (4) 缓冲管理复杂。

    11.6.4  近似视频点播的文件存放 

      1. 近似视频点播(near video on demand)

      近似视频点播是视频点播的一种近似,它是每隔一定时间开始一次播放。

     

    图11-9  近似视频点播的数据流图

      2. 近似视频点播的文件存放

      在近似视频点播中,即使电影文件是连续文件,但在它以24个数据流错时送出时,由于每两个相邻的数据流都相差9000帧,因此从一条数据流转至下一个数据流时就需要进行寻道。但如果能采用如图11-10所示的方法,则几乎可以完全消除寻道操作。

     

    图11-10  近似视频点播的文件存放

    11.6.5  多部电影的存储方法  

      1. 单个磁盘的情况

      前面所考虑的只是在视频服务器上存储了单部电影,但实际情况往往是视频服务器上存储了多部电影。如果这些电影被随机地存放在磁盘的各个地方,那么当多个用户需要同时观看这些电影时,必然会造成磁头的频繁来回摆动。应如何在磁盘上存储多部电影呢?

      通常,每一部电影的点击率是不同的。我们在将这些电影存储在磁盘上时,应当将电影的流行因素考虑进去,使越流行的电影越容易被访问到。事实上,有许多流行的事物,如流行电影、流行音乐、访问Web网页等,大体上都遵循一种可预测模式,该模式又被称为Zipf定律。该定律可描述为:

     

    图11-11  多部电影按管风琴算法分布

      2. 多个磁盘情况

      为了满足众多用户的需要,配置在视频服务器上的磁盘系统通常都需要很大的存储容量,因此在视频服务器上的磁盘系统,大都采用许多个磁盘来扩大磁盘系统的容量,如采用RAID磁盘阵列。

     

    图11-12  在多个磁盘上的存放方式

        

    11.7  高速缓存与磁盘调度

     

    11.7.1  高速缓存

      对于传统的OS,在内存中设置高速缓存的主要目的,是为了减少对磁盘的访问时间。所采取的方法是将那些在不久之后可能会被访问的盘块数据放入到高速缓存中,以便以后需要时,可直接从高速缓存中读取,这样就节省了对磁盘的访问时间。

      1. 块高速缓存

      虽说当一个用户在看一部电影时,刚放过的盘块不会被重用,但如果是有多个用户几乎同时在看一部电影,刚放过的盘块则可能会被多次重用。

      2. 将两条视频流合并

      如果两条视频流在时间上相差很少,我们可以对两条视频流进行合并。

     

    图11-13  将两条视频流合并

      3. 文件高速缓冲

      在一个为公众服务的视频服务中心,通常都应当备有许多电影和电视剧节目。由于在DVD光碟中的电影或电视剧所占用的存储空间都非常大,一般都有数GB,因而不可能都装入视频服务器的磁盘上,而是仍然放在光盘或磁带上。在需要播放某部电影时,再将它们复制到磁盘上。但因光盘特别是磁带的低速性,要将这些电影从光盘复制到磁盘上需要花很多的时间。于是在大多数视频服务器中,都是将用户请求最频繁的电影文件放入内存的高速缓冲中,而把流行的整部电影文件放在磁盘上。

    11.7.2  静态磁盘调度 

      在多媒体系统中对磁盘调度提出了比传统OS更为严格的要求。其主要原因是:

      (1) 多媒体文件的数据量特别大,相应地要求数据传输速率也非常高。

      (2) 为保证电影的播放质量,要求具有很高的实时性;

      (3) 对于一台视频服务器,可能要同时处理成百上千的用户请求。

      1. 可预测性

      在传统OS中,用户对磁盘的请求是难以预测的,因此一般只提供了预读一个盘块数据的功能。而在多媒体系统中,无论是电影还是电视剧都是连续播放的,即在播放了第i帧后,紧接着就会播放第i  帧,这就大大提高了请求的可预测性。

      2. 按磁道顺序排序

      假如视频服务器中仅有一个磁盘,有10个用户在观看不同的电影,而这些电影又具有相同的帧频、分辨率。这时,系统可以为每一部电影建立一个进程,在进程调度时采用轮转法方式。首先让第一个进程运行,当它运行完后调度第二个进程运行,直至最后一个进程运行完毕。这里的关键问题是,所有进程运行一次的时间,应小于每帧之间的时间间隔40 ms。

     

    图11-14  磁盘请求的处理顺序

    11.7.3  动态磁盘调度

      为简单起见,在前面曾假设,所有的电影具有相同的分辨率和帧频。现在再来分析当多部电影具有不同的分辨率和帧频时,所播放的电影对磁盘的请求会带有一定随机性的情况。

      1. 动态磁盘调度算法应考虑的因素

      当第一个用户提出观看某部电影的要求时,由于此时尚无其他用户请求,故可立即获得服务。在此期间可能会有其他用户发来请求,它们都会被挂起。

      2.  scan-EDF算法

      上述的性能因素和实时因素经常会发生矛盾。为了满足前者,往往会错过最终时限。反之,为了满足后者,则又会增加总寻道时间。scan-EDF算法同时考虑这两个因素,并将这两个因素结合起来,以达到既能基本上满足实时性要求,又可获得较好性能的目的。该算法的基本思想是,基于实时因素是硬性要求的这一特性,先考虑截止时间要求,将多个截止时间相近的磁盘请求放在一个组中,由此可以形成若干个组,在每一个组中再按照磁道序号进行排序。

     

    图11-15  scan-EDF算法示意图

          

     

     

    习    题 8:

     

      1. 试说明多媒体文件有哪些特点。

      2. 多媒体的集成性包含了哪几方面的含义?

      3. 在计算机系统中,为了进行图像、音频信号和视频信号的处理,需要增加哪些硬件?

      4. 常用的数字音频文件有哪几种类型?

      5. 彩色电视的制式有哪几种? 我国采用的是哪一种?

      6. 简单说明几种常用的MPEG标准。

      7. 试说明在多媒体系统中,对实时任务的处理有何需求。

      8. 在多媒体系统中,进程管理中必须解决哪些问题?  

      9. 什么是SRT任务带宽和尽力而为任务带宽? 为什么要设置这两种带宽? 

      10. CPU代理的主要任务是什么? 在什么情况下可以接收新进程?

      11. 什么是预留策略? 预留策略涉及哪些重要问题?

      12. 速率单调调度RMS算法里的优先级是如何确定的? 该算法需满足什么样的条件?

     

      13. 试对EDF算法与RMS调度算法进行比较。

      14. 何谓拉型和推型文件服务器? 它们分别适用于何种场合? 

      15. 试比较一般的文件服务器和媒体服务器。

      16. 何谓存储器页面锁定功能? 在多媒体系统中为什么需要该功能?

      17. 存储器代理的主要任务是什么? 它是如何来实现该任务的?

      18. 媒体服务器接纳控制的主要任务是什么? 它是如何实现接纳控制的?

     

      19. 为了满足不同用户的需要,媒体服务器可以提供哪几种服务质量保证?

      20. 把多媒体文件存放在硬盘上时,为什么要采取交叉连续存放方式?

      21. 什么是帧索引存放方式? 什么是块索引存放方式?

      22. 试对帧索引存放方式的性能进行分析。

      23. 试对块索引存放方式的性能进行分析。

      24. 什么是近似视频点播? 近似视频点播的文件应如何存放?

      25. 当两条视频流在时间上相差很少时,为什么要将它们合并? 如何合并?

      26. 什么是Zipf定律? 按照管风琴算法规定,在单个磁盘上应如何存放多部电影?  

      27. 高速缓存在多媒体系统中可有哪些用处?

      28. 为什么在多媒体系统中对磁盘调度提出了比传统OS更为严格的要求?

      29. 多媒体系统中对磁盘调度比传统OS更为容易处理的地方又有哪些?

      30. 为什么说can-EDF算法既能满足实时性要求,又可获得较好的性能?

     

    转载于:https://www.cnblogs.com/ZanderZhao/p/11044851.html

    展开全文
  • 多媒体会议系统中的延迟

    千次阅读 2007-11-02 08:33:00
    多媒体会议系统中的延迟 端 对端的音频延迟在任何语音通信系统中都是极其重要的特性。用户感觉交谈和会议的自然性与交互性都强烈依赖于系统的音频延迟。如果系统延迟太长使得会谈各方不方便或者很困难交互,这样的...

    多媒体会议系统中的延迟

    端 对端的音频延迟在任何语音通信系统中都是极其重要的特性。用户感觉交谈和会议中的自然性与交互性都强烈依赖于系统的音频延迟。如果系统延迟太长使得会谈各方不方便或者很困难交互,这样的系统当然不会被公众所使用。这就使得延迟成为语音通信系统设计中所要考虑的最重要的因素之一。

    对于不同环境,不同的人感觉到延迟变化很大。有些人看来比别人对延迟更敏感。这可能与会谈方式或个性有关系。比如,有的人习惯打断别人说话或者发出表示“同意”的声音,如uhhuhyes,而这可能与远端的说话人不同步。尤其要重视笑语的延迟问题,因为延迟的笑声看起来像是被强迫发出的。

    视 频会议系统的使用表明接受增加了音频延迟以换取为视频作准备的愿望。视频给会议或会话增加了一个新的方面。然而,会议中可以接受(尽管很烦)的延迟在一对一的交谈中会产生非常不同的效果。一般要求将会议组织得更有条理,只有一个发言者或许多听众,并且很少会出现打断发言者的情况。

    H.320视频电话的新用户经常抱怨语音是“半双工”的,但实际上它使用的是全双工。这些用户以为不能打断远端用户是由于半双工音频,但实际上是因为延迟的问题。

    这里也可能有风俗习惯的因素。可能因为日本有在一对一会谈中经常使用“Hai”应答的习惯,所以日本的视频会议系统的用户经常不使用唇音同步功能,这样音频不会在和视频同步时被更大地延迟。

    在有些情况下视频的出现能直接补偿音频延迟的问题。有些用户学习在视频呼叫中点头或微笑以及其他反应以取代用声音在电话中应答。

    在语音通信系统中可以忍受的总延迟变化依赖于环境。大多数观察家认为50~100ms单向延迟一般不被人注意。ITU-T G.114认为低于150ms的单向延迟对于“大多数应用是可接受的”,但同时指出,一些高度交互的声音和数据应用在延迟低于150ms时也可能会使质量降低。因此,如果没有明显的服务和应用效益,使延迟远低于150ms也是不可取的。

    对比来看,同步地球卫星电话电路从轨道上的卫星传输回的延迟大约250ms,这使许多用户感到烦恼。这就是为什么许多跨越大陆电话采用海底电缆的原因之一。

    对人的因素在电信系统中延迟效果的研究中,研究者KitawakiItoh1991)发现,在一个会谈效率度量中(如正确的数字和姓名),250ms的单向延迟使零延迟损失效率 20~30%。他们得出结论认为,“通信系统中大约500ms(单向250ms)的长途传输延迟将给相当多的参与者造成很大困难”。

    (一)音频延迟来源

    多媒体会议系统中的音频延迟来源于以下七个方面:

    ·             算法延迟(在编码前积累音频样本所花的时间)

    ·             处理延迟(执行编码和解码算法所花的时间)

    ·             复用延迟(已编码在传输开始前所必须等待的时间)

    ·             传输延迟(传送代表音频的比特所花的时间)

    ·             调制延迟(调制和解调信号所花时间)

    ·             传播延迟(信号到达目的地所花的时间)

    ·             缓冲延迟(信号存储所花时间,包括信号到达时为消除抖动所花的时间)

    在这些延迟中,算法延迟、处理延迟和缓冲延迟中的一部分被认为是归因于所使用的音频编解码器,而独立于其他系统元素。

    除此之外,在现实的实现中,有时中断响应时间会增加额外的延迟,尽管同步实现将这个延迟减到最低。不像其他的延迟来源,这纯粹与实现有关,此处不做更深入的谈论。

    (二)音频延迟分析

    1. 算法延迟

    算法延迟是编码开始以前取得音频样本所需时间。基于帧的编解码器如G.723.1G.729,这个延迟时间为一个帧的持续时间加上编码算法的预处理时间。假定编解码时间为零(一个无限快的处理器),对于编解码器来说这是所需的最小延迟。

    G.723.1来说,计算延迟为(30+7.5ms,共计37.5ms。对于G.729,计算延迟为(10+5ms,共计15ms

    2. 处理延迟

    处理延迟是在CPUDSP芯片上执行编码和解码算法所需时间。它等于编解码器算法的复杂性(用MIPS描述),除以CPUDSP的执行速度(用MIPS表示),乘上音帧的持续时间:

        处理延迟 = 复杂性/DSP速度*帧大小

    原则上,编解码器在编码和解码之间能很好地划分DSP周期或者能顺序执行编码和解码。这种选择简单地在逝去的处理时间和排列时间之间交换,而不影响总延迟。

    实时实现通常使用能跟上实时处理的最慢的DSP(这是最便宜的能满足要求的DSP芯片),所以处理时间通常和编解码帧大小一致。对于G.723.130ms;对于G.72910ms

    在普通CPU上的软件可以实现在短时间内将CPU最大的处理能力用于音频处理,降低音频处理延迟。然而,PC操作系统中显著的中断延迟可能抵消这些好处。

    3. 复用延迟

    当一个数据单元,如编码音频帧,准备传输和它能够通过使用的复用,实际上在线路上传输两者之间的时间差即为复用延迟。如果一些其他的数据已经开始传输,在新的数据单元能够开始传输之前必须等待一段时间。这可能与TDM复用的帧长度有关或与包复用中最大包长有关。由于这个延迟经常是变化的,实际系统必须缓冲最大可能延迟,从而允许接收方能平滑播放。

    理想的复用,可以设想为是在一个高比特率的信道上模拟许多个低恒定速率的信道。事实上,这样的复用对于产生恒定比特率的媒体源很理想。然而,实际上的媒体源不适合于这个模式,因为他们一般都是突发产生数据。

    音频编解码器如10ms帧的G.729就是这样的一个例子。在帧生成的10ms期间,音频编解码器不产生任何输出。在帧间隔结束时,代表10ms帧的整个比特流立即就成为可用的。在下一个10ms帧时间内传送这些比特流(产生一个恒定比特流)只会增加额处的10ms端对端延迟。当一帧比特送完、下一个帧准备好之前所剩下的时间,能够用来传送别的数据类型。

    H.223复用接近这种模型。它的音频复用延迟为 16~24比特传输时间,包括完成传输当前字节所需时间,然后发送HDLC标志和1字节头以开始传输音频帧。在普通的H.324速率上这将大约花1ms

    4. 传输延迟

    传输延迟指的是发送代表最小的可解码音频信号单元的比特所需的时间。在只有音频的电话系统中,传送延迟与帧一样大,因为传输信道除了音频信息外不传送其他任何信息。在多媒体通信系统中,传送延迟要小一些,因为传输媒体的运行速率要高于只用于音频的速率。

    传输延迟为音频帧的长度除以当前使用的比特率。使用5.3 kbps音频率的G.723.1(包括CRC21字节帧长)运行比特率为24kbps时,传输延迟为7ms。对于G.72911字节帧长,包括CRC),传输延迟为3.67ms

    5. 调制延迟

    调制延迟是调制和解调数字信号于物理传输媒体所需的时间。对于V.34调制解调器来说,因为它相当复杂,估计其调制延迟大约为35ms

    6. 传播延迟

    传播延迟是信号通过物理传输介质到达目的地所花的时间。它变化很大,依赖于网络的拓扑结构,传输介质的物理特性以及覆盖的物理距离。对于PSTN来说,传播延迟的变化范围从接近0(本地呼叫)到超过250ms(通过地球同步卫星电路路由的呼叫)。

    当分析多媒体通信系统时,传播延迟有时被认为包括从任何来源获得的出现在网络中的所有延迟,它包括中继器和放大器、卫星发射器、数据包路由选择和网络阻塞等。

    7. 缓冲延迟

    缓冲延迟是由于实时数据的存储和考虑到音频到达时间的不可预测(抖动)、平滑异步处理以及匹配不同速率数据的传输所产生的。

    平滑的音频播放要求有足够缓冲来接收数据以避免由于帧到达时间延迟所引起的音频间断。H.324标准允许最多 10ms的传输音频延迟,这能够用来在复用流中等待一个自然的间断点、增加线路效率或者简单地考虑传输实现中的中断延迟。同步多媒体通信系统如H.320只有很少的抖动,而包交换系统H.323有更多的抖动。

    尤其是当帧到达时间不可预测时,缓冲也是DSP所需的。当一个音频帧准备进行处理时,DSP可能已忙于处理相反方向的音频,或者按计划很快会忙于进行别的处理。音频可能在处理前不得不等待直到整个帧时间。像处理延迟一样,这种队列延迟可能通过使用更快的DSP来减少,但正常的花费考虑意味着使用保持实时的最慢的DSP

    因此对于H.324延迟估计,我们将为传送方抖动指定10ms,加上一帧时间用于DSP安排;对于G.723.1来说结果是10+30 = 40ms的缓冲延迟;对于G.729来说结果是10 +10 = 20ms的缓冲延迟。

    8. 音频延迟估计

    把这些条目加在一起,我们能够得出H.324的音频延迟估计(表 16-05-4 )。

    16-05-4 H.324音频延迟估计

     

    G.723.1

    G.729

    说明

    算法延迟

    37.5ms

    15ms

     

    处理延迟

    30ms

    10ms

     

    复用延迟

    1ms

    1ms

     

    传输延迟

    7ms

    3.67ms

     

    调制延迟

    35ms

    35ms

     

    缓冲延迟

    40ms

    20ms

    10ms抖动+1

    合计(单向)

    150.5ms

    84.67ms

    不包括传播延迟

    当评价多媒体终端选择时,传播延迟通常不是一个明确的因素,因为它处于终端设计和实现控制之外。然而,当评估通信系统的整体性能时,实际网络中的传播延迟、视频延迟、预处理以及后处理延迟都必须一起加以考虑。

     

     
    展开全文
  • 多媒体技术及应用课后习题

    千次阅读 2019-10-01 23:36:40
    @多媒体技术及应用课后习题 第一章习题 思考题 1.什么是多媒体? 答:使用计算机交互式综合技术和数字通信网络技术处理多种表示...答:多媒体技术的主要多媒体元素有文字、图像、图形、动画、视频等。 3.什么是多...

    @多媒体技术及应用课后习题
    第一章习题
    思考题
    1.什么是多媒体?
    答:使用计算机交互式综合技术和数字通信网络技术处理多种表示媒体——文本、图形、图像和声音,使多种信息建立逻辑连接,集成为一个交互式系统。多媒体不仅指多种媒体,而且包含处理和应用它们,使之融为一体的一整套技术。
    2.多媒体技术中的主要多媒体元素有哪些?
    答:多媒体技术中的主要多媒体元素有文字、图像、图形、动画、视频等。
    3.什么是多媒体技术?什么是多媒体计算机?简述多媒体技术的主要特点?
    答:多媒体技术是计算机综合处理文本、图形、图像、音频与视频等多种媒体信息,使多种信息建立逻辑连接,集成一个系统并且具有交互性。多媒体计算机是指具有多媒体处理功能的计算机。多媒体技术的主要特点包括:集成性、实时性、交互性、媒体的多样性。集成性包含多媒体信息的集成和多媒体设备的集成两个方面。多媒体技术的实时性又称为动态性,是指在多媒体系统中声音及活动的视频是实时的,多媒体系统提供了对这些与时间相关的媒体进行实时处理的能力。交互性是指人可以通过多媒体计算机系统对多媒体信息进行加工、处理并控制对多媒体信息的输入、输出和播放。多样性也称为信息媒体的多样化。
    4.多媒体计算机标准的意义是什么?
    答:有力的推动了多媒体技术的发展。
    5.简述多媒体系统的组成。
    答:多媒体系统主要由软件系统和硬件系统组成,其中软件系统包括多媒体应用软件、多媒体创作软件、多媒体数据处理软件、多媒体操作系统、多媒体驱动软件。硬件系统包括多媒体输入/输出控制卡及接口、多媒体计算机硬件、多媒体外围设备。
    6.试从实例出发,谈谈多媒体技术的应用对人类社会的影响。
    答:多媒体技术应用领域集文字、声音、图像、视频、通信等多项技术于一体,采用计算机的数字记录和传输传送方式,对各种媒体进行处理,具有广泛的用途,甚至可代替目前的各种家用电器,集计算机、电视机、录音机、录像机、VCD机、DVD机、电话机、传真机等各种电器为一体。多媒体技术是-一个涉及面极广的综合技术,是开放性的没有最后界限的技术。多媒体技术的研究涉及计算机硬件、计算机软件、计算机网络、人工智能、电子出版等,其产业涉及电子工业、计算机工业、广播电视、出版业和通讯业等。
    7.谈谈你如何看待多媒体技术的发展前景。
    答:多媒体技术发展会给人类生活带来天翻地覆的变化,就从身边说起,现在的多媒体教学设备几乎普及到了各个学校,老师们可以借助多媒体技术给学生们进行更加生动的讲解。生活中各种音视频软件以及照相软件娱乐设施几乎都离不开多媒体技术。总而言之,多媒体技术将加速计算机和通信服务进入家庭和社会各个方面的进程,给人们的生活、工作和娱乐带来深刻的革命。
    8.

    9.试述多媒体系统的组成结构。
    答:多媒体系统主要由软件系统和硬件系统组成,其中软件系统包括多媒体应用软件、多媒体创作软件、多媒体数据处理软件、多媒体操作系统、多媒体驱动软件。硬件系统包括多媒体输入/输出控制卡及接口、多媒体计算机硬件、多媒体外围设备。10.阐述视频卡和音频卡的基本功能及基本技术指标。
    10.多数输入和输出设备都具有一定的分辨率。在互联网上分别找到一台CRT显示器、一台液晶显示器、一台扫描仪和一台数码相机的参数说明书。记录下每样产品的制造商、型号以及分辨率。
    答:CRT显示器:三星796MB分辨率:1600*1200制造商:三星电子 液晶显示器 制造商:LG 型号: LG 27UD68分辨率:3840✖2160扫描仪:制造商:松下公司 型号:松下S5055C分辨率:600×600dpi 数码相机:索尼 型号:索尼A7 III 分辨率:BIONZ X。
    11.讨论个人计算机上可以使用的各种输入设备以及它们在多媒体制作和发布中的应用。
    答:利用OCR软件和扫描仪,您可以将印刷的文档转化成计算机可处理的文档,因此可以节省大量重新输入文本的时间。一个0CR终端还能够识别手写的字符。一个红外遥控部件允许用户在自由移动的过程中与您开发的产品进行交互。语音识别系统在使用产品时无需动手即可实现交互性。数码相机以给定数量的像素(分辨率)获取一幅静态图片,然后存储在照相机的内存里,稍后这些图片可以上传到计算机上。
    12.讨论个人计算机上可以使用的各种输出设备以及它们在多媒体制作和发布中的应用。
    答:利用显示器,您可以实时的观看到您通过键盘和鼠标输入的内容,它们构成了最基本的人机对话环境;利用打印机为用户提供计算机信息的硬拷贝。利用投影仪、印象等设备可以实时传输计算机的信息。
    13.列出用于多媒体的几种固定的和可移动的存储设备,并且讨论每一种存储设备的优点和缺点。
    答:1、软盘
    软盘(Floppy Disk)是个人计算机(PC)中最早使用的可移介质。软盘的读写是通过软盘驱动器完成的。软盘驱动器设计能接收可移动式软盘,目前常用的就是容量为1.44MB的3.5英寸软盘。
    2、硬盘
    硬盘是计算机最为重要的存储设备,存放着用户所有的数据信息,这些数据的价值远远高于硬盘本身,同时硬盘又是计算机的主要组成部分,其性能的好坏直接影响计算机的运行速度和用户的操作体验。
    3、光盘
    光盘是以光信息做为存储的载体并用来存储数据的一种物品。分不可擦写光盘,如CD-ROM、DVD-ROM等;和可擦写光盘,如CD-RW、DVD-RAM等。
    光盘是利用激光原理进行读、写的设备,是迅速发展的一种辅助存储器,可以存放各种文字、声音、图形、图像和动画等多媒体数字信息。
    4、U盘
    U盘,全称USB闪存盘,英文名“USB flash disk”。它是一种使用USB接口的无需物理驱动器的微型高容量移动存储产品,通过USB接口与电脑连接,实现即插即用。
    5、移动硬盘
    移动硬盘(Mobile Hard disk)顾名思义是以硬盘为存储介质,计算机之间交换大容量数据,强调便携性的存储产品。移动硬盘多采用USB、IEEE1394等传输速度较快的接口,可以较高的速度与系统进行数据传输。
    因为采用硬盘为存储介质,因此移动硬盘在数据的读写模式与标准IDE硬盘是相同的。截至2015年,主流2.5英寸品牌移动硬盘的读取速度约为50-100MB/s,写入速度约为30-80MB/s。
    15.简述多媒体数据压缩的必要性和可能性。
    答:多媒体数据的多样性、复杂性,海量性和实时性要求,使存储和传输需要较大困难,必须进行压缩编码。多媒体数据中存在大量的数据冗余为数据压缩提供了可能性。
    16.衡量数据压缩技术性能的重要指标有哪些?
    答:(1)压缩前后所需的信息存储量之比要大;
    (2)实现压缩的算法要简单要标准化,压缩、解压缩的速度快;
    (3)恢复效果要好。
    17.无损压缩和有损压缩的编码各有哪些?
    答:无损压缩是用压缩后的数据进行重构(也称还原或解压缩),重构后的数据与原来的数据完全相同的数据压缩技术。无损压缩用于要求重构的数据与原始数据完全一致的应用,如磁盘文件压缩就是一-个应用实例。根据当前的技术水平,无损压缩算法可把普通文件的数据压缩到原来的12~1/4。常用的无损压缩算法包括哈夫曼编码和LZW等算法。
    有损压缩是用压缩后的数据进行重构,重构后的数据与原来的数据有所不同,但不影响人对原始资料表达的信息造成误解的数据压缩技术。有损压缩适用于重构数据不一定非要和原始数据完全相同的应用。例如,图像、视像和声音数据就可采用有损压缩,因为它们包含的数据往往多于我们的视觉系统和听觉系统所能感受的信息,丟掉一些数据而不至于对图像、视像或声音所表达的意思产生误解。
    19.简述音频编码的分类。不同质量的音频压缩标准使用的编码方法是什么?
    答:音频信息在编码技术中通常分为两类来处理,分别是语音和音乐,各自采用的技术有差异。语音编码技术又分为3类:波形编码、参数编码以及混合编码。波形编码基于音频数据的统计特性进行,其目标是重建语音波形保持原波形的形状。PCM(脉冲编码调制)是最简单最基本的编码方法。波形编码适应性强、音频质量好,但压缩比不大,因而数据率较高。参数编码基于音频的声学参数进行,可进一步降低数据率。其目标是使重建音频保持原音频的特性。常用的音频参数有共振峰、线性预测系数、滤波器组等。这种编码技术的优点是数据率低,但还原信号质量差,自然度低。将波形编码与参数编码很好地结合起来就是混合编码,能在较低的码率上得到较高的音质。音乐的编码技术主要有自适应变换编码(频域编码)、心理声学模型和熵编码技术。
    20.叙述JPEG和MPEG的不同。
    答:JPEG是适用于连续色调、多级灰度、彩色或单色静止图像的数据压缩标准。MPEG视频压缩技术是针对运动图像的数据压缩技术。
    为了提高压缩比,MPEG中帧内图像数据和帧间图像数据压缩技术必须同时使用,这是和JPEG主要不同的地方。而JPEG和MPEG相同的地方均采用了DCT帧内图像数据压缩编码。
    20.运动图像的压缩标准有哪些?请简述H.26x标准的主要特点。
    答:运动图像的压缩标准有MPEG标准和H.26x标准;H.26x标准的主要特点是不仅着眼于利用公共开关电话网络传输,而且兼顾GSTN移动通信等无线业务。面向电视电话、电视会议的编码方式,目标是在同等图像质量条件下,压缩效率比任何原有的视频编码标准要提高一倍以上。
    第二章习题
    1.(1)C
    (2)A
    (3)C
      (4)D
    2.(1)人的听觉器官能感知的声音频率大约在20-2000Hz之间,在这种频率范围里感知声音幅度大约在0~120dB之间。
    (2)对于音频,三种常用的采样频率是11.025kHz、22.05kHz、44.1kHz
    (3)(3)采样频率为22.05kHz, 根据采样定理,它能捕获的音频的最大频率为11.025KHz若某音频的最高频率为5kHz,为得到较好音质,采样频率不得低于10 kHz采用与其最接近的国际标准,采样频率为11.025kHz。
    3.声音是如何产生的?声音分为哪几类?
    答:声音是一种波,其本质是机械振动或气流扰动引起周围弹性介质发生波动,传到人的耳朵里引起耳膜的震动,使人形成听觉,从而产生声音。声音根据其内容分为语音、音乐、音响3类。
    4.多媒体技术中,音频信号为什么要数字化?声音数字化的关键过程是什么?请加以解释。
    答:数字音频保真度好、动态范围大、可靠性高、信息易处理。声音数字化的关键过程是把模拟音频信号转换成有限个数字表示的离散序列。这一转换过程为:选择采样频率、进行采样、然后选择分辨率,进行量化,最后编码,形成声音文件。
    5.声音质量如何评定?不同质量的数字音频的频率范围是什么?
    答:在相同的采样频率之下,量化位数越多,声音的质量越高,需要的存储空间也越多;量化位数越少,声音的质量越低,需要的存储空间也越少。
    6.讨论多媒体项目中用到的声音文件格式以及如何使用。
    答:多媒体项目中用到的声音文件格式CD文件、WAV文件、RealAudio文件、MPEG文件、MIDI文件、AIFF文件、CMF文件、Module文件、Sound文件、Audio文件等。CD文件:光盘的文件格式,不能直接复制CD格式的.cda文件到硬盘上播放,需Windows Media Player等转换成WMA格式等。WAV文件:利用该格式记录的声音文件能够和原声基本一致,质量非常高,但文件数据量大,多用于存储简短的声音片段。RealAudio文件:具有强大的压缩量和极小的失真,它是为了解决网络传输带宽资源而设计的。MPEG文件:他是现在最流行的声音文件格式,因其压缩率大,在网络可视电话通信方面应用广泛。MIDI文件:能指挥各音乐设备的运转,而且具有统一的标准格式,能够模仿原始乐器的各种演奏技巧甚至无法演奏的效果,而且文件的长度非常小。
    7.采样频率根据什么原则来确定?
    答:采样频率根据奈奎斯特理论来确定,奈奎斯特理论指出采样频率不低于输入信号频率的2倍。
    8.列出四种主要的采样频率和两种量化位数。简要描述每一种最适合于何种场合。单声道和立体声在使用公式时有什么不同?
    答:
    9.音频录制中产生声音失真的原因及解决办法?
    答:(1)信号频带宽,但采样频率不够高,数字音频信号发生混叠;
    (2)模拟音频信号幅度太大,超过了量化器范围。前者的解决方法是选择与信号相匹配的采样频率;后者的解决办法是可以调整音源的输出幅度或调节采集卡输入放大器的增益,也可选用音频卡的line输入。
    10.选择采样频率为11.025Hz和样本精度为16位有录音参数。在不压缩时,录制10分钟的立体声需要多少MB的存储空间?
    答:
    11.什么是MIDI?MIDI文件与WAV文件有什么不同?
    答:MIDI是一种音频文件格式,文件扩展名为.mid、.midi、或.rmi,它是目前成熟的音乐格式,实际上已经成为数字音乐/电子合成乐器的一种产业标准。WAV文件记录的声音文件能够与原文件基本一致,质量非常高,但文件数量大,多用于存储简短的声音片段。MIDI文件能指挥各音乐设备的运转,而且具有统一的标准格式,能够模仿原始乐器的各种演奏技巧甚至无法演奏的效果,而且文件的长度非常小。
    12.声音编辑软件常用的功能有哪些?
    答:(1)基本编辑操作
    1)通过音频软件可以录音获取声音或语音. ,通过音频软件可以录音获取声音或语音。
    2)通过网络或外接设备获取,例如网上下载,电视入,CD设备或CD光盘抓轨。
    3)通过现有的电子音频素材库.
    2.声音的特效处理;
    3.声音的格式转换;
    4.录音;
    5.其它辅助功能.
    (2)声音的基本编辑操作
    声音的效果处理声音剪辑音量调节声音反转(Reverse)时间压缩/拉伸直流噪音消除声音频谐分析常规的效果处理(频率均衡,EQ);
    (3)格式转换功能

    展开全文
  • Android多媒体系统的结构

    千次阅读 2015-02-23 22:06:22
    Android多媒体系统涉及了众多的模块,Android的各种多媒体业务可以复用这些模块。

    Android多媒体系统的结构


    请支持原创,尊重原创,转载请注明出处:http://blog.csdn.net/kangweijian(来自kangweijian的csdn博客)


    多媒体系统的宏观结构

    Android多媒体系统的宏观结构

    1. 多媒体的Java类(Java Class of Media)
      • 其所实现的Java包是android.media,实现了mediaplayermediarecoder等几个重要的类
    2. 多媒体部分Java本地调用部分(JNI)
      • 这部分是Java类和C++本地代码的接口,编译成目标是libmedia_jni.so
    3. 多媒体本地框架(libmedia)
      • 多媒体在本地部分的框架在media库中进行了定义,这部分内容被编译成库libmedia.so
    4. 多媒体的服务部分(Media Service)
      • 这部分内容是继承libmedia的实现,被编译成库libmediaplayerservice.so
      • 这部分是一个可执行程序,用于启动一个多媒体的守护进程。与libmedia在进程间通信
    5. 多媒体的实现部分
      • PacketVideo的OpenCore在Android系统中作为多媒体部分的实现来使用,继承了media库中定义的接口,其核心是媒体的播放和录制,分别由PVPlayer和PVAuthor来实现。

    多媒体系统的整体业务结构

    从多媒体应用实现的角度看,多媒体系统的整体业务结构主要包括两方面的内容
    1. 输入/输出环节(音频、视频原始数据流的输入输出系统)由硬件抽象层(HAL)实现
    2. 中间处理环节(文件格式处理环节和编解码环节)主要由PacketVideo的OpenCore实现。


    多媒体系统各层次涉及的模块

    Android多媒体系统各层次涉及的模块

    1. 多媒体部分的Java应用程序层
      • 在Android中预置的与多媒体相关Java应用程序包主要有3个:Music包,提供音频浏览、音频播放器等功能;SoundRecorder包,提供录音机功能;Camera包,提供照相机、摄像机、视频播放器、媒体浏览、图像查看等方面的支持。
    2. 多媒体部分的Java框架层
      • 多媒体部分的Java框架层提供了对多媒体应用程序的支持,主要包含在android.media包中,包含了媒体播放、媒体录制、媒体元信息、媒体扫描等方面的功能。此外,android.hardware.Camera提供了对照相机应用的支持;android.Wiget.VideoView类是一个集成类,通过调用媒体播放器和android.View.SurfaveView类可以构建一个视频播放的UI元素,该元素可以被上层更方便地调用。
    3. 本地代码层
      • 多媒体本地代码层是多媒体系统的重点。libmedia库提供多媒体部分的本地框架,OpenCore提供多媒体核心功能的实现,多媒体服务部分作为多媒体系统中间层。多媒体坌也涉及音频、视频的输入/输出环节,这部分内容设计SurfaceFlinger、AudioFlinger、照相机服务,以及音视频输入/输出环节的几个硬件抽象层。
    4. 多媒体的驱动部分
      • 多媒体的驱动部分涉及Linux内核中的内容,主要负责提供输入/输出环节的驱动程序,以及硬件编解码的驱动程序。通常来自不同芯片商的芯片这部分的差别非常大,但支持Android的具体芯片还可以通过提供相应的驱动适配部分以供与OpenCore系统接口,将硬件编解码器集成到系统中。

    请支持原创,尊重原创,转载请注明出处:http://blog.csdn.net/kangweijian(来自kangweijian的csdn博客)


    《Android系统原理及开发要点详解》笔记   by2015.2.23晚
    
    展开全文
  • 第一章走进多媒体技术 一选择题 1. 关于多媒体下面描述不正确的是 多媒体由单媒体复合而成 多媒体是信息的表现形式和传递方式 多媒体包括文本图片等媒体元素... 以下哪一组不属于多媒体中媒体元素 , A. 文本和声音 B.
  • 多媒体技术与应用作业一 1什么是多媒体你对其是怎样认识的 答多媒体是基于计算机信息技术而发展起来的一种新的媒体它将文本声音图像动 画视频电影等元素进行了数字化处理并将其有机的整合 ,使其在传输和呈现时具有 ...
  • OMCS 傲瑞多媒体连接系统

    千次阅读 2013-05-08 21:15:39
    OMCS概述 OMCS(Oraycn Mutimedia Connecting System) 傲瑞多媒体连接系统是...基于OMCS,您可以快速地开发类似视频会议系统、网络监控系统、远程协助系统、远程教育系统等等基于多媒体应用系统。 OMCS功能简介 Own
  • 1、多媒体元素是指多媒体应用中可以显示给用户的媒体组成,主要包含文本、图形、图像、声音、视频、动画等元素。 2、人们经常谈论的声音质量通常用声音信号的范围确定,现在通常把声音的质量分成5个等级,由低到高...
  • 多媒体技术及其应用——视频会议

    千次阅读 2014-04-02 15:39:10
    当前,视频会议的实现方式有三种:  (1)广电系统(电视台)常用的电视直播式视频会议;  (2)MPEG-1、MPEG-2压缩格式VOD视频传输式视频会议系统 ...ITU制定的H.32X多媒体通信系列标准建议族使得在现有通信网
  • 多媒体技术与应用作业一 1什么是多媒体你对其是怎样认识的 答多媒体是基于计算机信息技术而发展起来的一种新的媒体它将文本声音图像动画视频电影等元素进行了数字化处理并将其有机的整合,使其在传输和呈现时具有了...
  • 本例的运行效果如图6-2所示 图6-2 媒体播放实例 使用canPlayType方法测试浏览器是否支持指定的媒介类型该方法的定义如下 var support=videoElement.canPlayType(type; videoElement表示页面上的video元素或audio元素...
  • Android多媒体开发

    万次阅读 2016-10-02 12:38:29
    Android多媒体开发系列文章 Android多媒体开发:录音机 Android多媒体开发:照相机 ...多媒体是计算机和视频技术的结合,实际上它是两个媒体;声音和图像,或者用现在的术语:音响和电视。 多媒体(Multi
  • 简单的浏览器多媒体演示应用程序。 目前仅支持 Chrome 38+。 使用 Web Animation 和 Fullscreen API 来呈现内容,HTML5 <audio>元素用于音轨, color输入用于背景颜色。 将本地媒体引用为 BLOB
  • 与嵌入式软件开发工程师(BSP)的题目类型来说,多媒体&智能应用的笔试题在前面的选择题上类型差不多,主要是两条简答题。前者是偏向于Linux驱动方面,后者是偏向于视频/音频的采集或者编码方面。总体来说,大差...
  • HTML5多媒体开发指南

    2013-02-01 15:34:46
    通过本书的学习,读者可以使用HTML5开发出炫目的多媒体应用和网站。 ● 使用canvas实现绘图、动画、特效和事件 ● 使用原生的<video>元素创建和观看视频 ● 使用原生的<audio>元素添加并播放音频 ●...
  • H.225 是由 ITU-T 定义的 H.323 VOIP 体系结构的一种主要协议,是涵盖了 H.200/AV.120-Series Recommendations 定义的窄带视频电话服务的一种标准。它主要处理此类情况,传输路径包含一个或多个基于包的网络,其...
  • android多媒体框架学习

    千次阅读 2014-02-07 14:50:25
    Android Multimedia Framework overview(多媒体框架概述)--base on jellybean(一) jellybean 的多媒体跟以前的版本,通过对比没啥变化,最大的变化...也体现了media 在整个android系统中的重要性!framework/av下
  • 多媒体技术复习汇总

    千次阅读 2007-02-15 10:18:00
    2. 媒体分类:感觉媒体,表示媒体,表现媒体,存储媒体,传输媒体3. 多媒体技术的定义和特点:多媒体技术就是计算机交互式综合处理声、文、图信息的技术,具有集成性、实时性和交互性。4. 多媒体标准:微软提出...
  • 多媒体开发指南

    千次阅读 2005-12-07 20:40:00
    流信息设置的流信息包含流的比特率(bit rate),缓冲窗口和媒体属性的设置。视频和音频的流信息准确描述了文件媒体配置,包括压缩数据使用的编码和解码器(如果有的话)。一个设置也包含很多创建ASF文件时使用...
  • 多媒体技术复习汇总 收藏

    千次阅读 2010-10-12 18:56:00
     媒体分类:感觉媒体,表示媒体,表现媒体,存储媒体,传输媒体 3. 多媒体技术的定义和特点:多媒体技术就是计算机交互式综合处理声、文、图信息的技术,具有集成性、实时性和交互性。 4. 多媒体标准:...
  • 多媒体技术基础实验指导书 课程编号09310142 课程名称多媒体技术实验 英文名称Multimedia experiment 适应...一本实验课的任务 熟悉多媒体应用系统的基本概念基本知识了解多媒体元素的采集编辑的方法多媒体数据压缩编码
  • 多媒体技术基础实验指导书教学大纲 课程编号09310142 课程名称多媒体技术实验 英文名称Multimedia experiment 适应...一本实验课的任务 熟悉多媒体应用系统的基本概念基本知识了解多媒体元素的采集编辑的方法多媒体数据
  • 多媒体信息技术》复习思考题

    万次阅读 2017-07-06 09:17:48
    多媒体是融合两种或者两种以上媒体的一种人-机交互式的信息交流和传播媒体。 对信息技术而言,多媒体是用多种媒体综合表达信息内容。对计算机而言,多媒体是将图、文、声、像等内容混成在一起的一门计算机技术。...
  • VC多媒体编程

    千次阅读 2012-04-12 00:09:53
     图象拼接是在全景视频系统、地理信息系统应用中经常遇到的一个问题,本文基于网格匹配的方法对边界部分有重叠的图象提出了一种行之有效的对准算法,并通过平滑因子对图象实现了无缝拼接。并应用文档视窗模型实现...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 30,872
精华内容 12,348
关键字:

多媒体应用系统中媒体元素是