精华内容
下载资源
问答
  • 多媒体

    千次阅读 2016-07-12 23:56:22
    本章将结合Web前端的发展历程和未来的发展前景详解现在HTML5中引入的多媒体技术HTML5的多媒体支持在HTML5规范出来之前,网页对视频和音频播放的支持基本上是靠Flash插件来实现,在HTML5之后,同文字和图片一样,音频...
    本章将结合Web前端的发展历程和未来的发展前景详解现在HTML5中引入的多媒体技术

    HTML5的多媒体支持

    在HTML5规范出来之前,网页对视频和音频播放的支持基本上是靠Flash插件来实现,在HTML5之后,同文字和图片一样,音频和视频直接变成HTML一系列规范中第一等公民,首先是JavaScript接口的支持,开发者可以使用JavaScript接口来方便的控制音视频的播放,实现例如播放、停止和记录等功能,其次HTML5中多媒体与图片一样可以用其他技术来进行操作,例如使用CSS技术来修改它的样式,例如3D变形,Web开发者可以将视频同Canvas2D或者WebGL结合在一起,而Flash插件中的视频是不能做到的。在HTML5中,对于多媒体的支持大致可以包括一下几个部分:第一是HTML的元素“video”,他用于音视频的播放;第二是“audio”,它用于单纯的音频播放;第三是可以将多个声音合成处理的WebAudio技术;第四是将照相机、麦克分与视频、音频和通信结合起来使用的最新技术WebRTC(网络实时通信),这使得Web领域使用视频对话和视频网络会议成为了现实。

    视频

    HTML5视频

    在HTML5规范定义中,Web开发者可以使用“video”元素来播放视频资源,其中视频涉及到视频编码格式,目前标准中包含了三种编码格式:Ogg、MPEG4和WebM,其中Ogg使用Theora作为视频编码格式和Vorbis作为音频编码格式,MPEG4使用H.264作为视频编码格式和AAC作为音频编码格式,WebM是有Google研发的标准,使用VP8作为视频编码格式和Vorbis作为音频编码格式。HTML提供了一些属性让开发者来使用JavaScript代码检查和操作视频,HTML5在“video”和“audio”元素之间抽象了一个基类元素“media”,结合它提供的能力,大致有一下几个方面的JavaScript编程接口,首先是资源加载和信息方面的接口,开发者可以通过特定接口检查游览器支持什么格式,如Metadata和海报(Poster)等,其次是缓冲(Buffering)处理,包括缓冲区域、进度等信息,然后是播放方面的状态,包括播放、暂停、终止等。再次是搜寻(Seeking)方面的信息,包括设置当前时间、“Timeupdate”事件,以及两个状态“Seeking”和“seeked”,最后是音量方面的设置,包括获取和设置音量、静音和音量变换等事件。

    WebKit基础设施

    WebKit提供了支持多媒体规范的基础框架,如音视频元素、JavaScript接口和视频播放等,根据WebKit的一般设计思想,它主要是提供标准的实现框架,而具体的实现有各个移植类来完成,因为音视频需要平台的支持,下图显示了各个类和它们之间的关系,也包括了Chromium移动的几个基础类:
    这里写图片描述
    首先WebKit是支持规范定义的编程接口,图中左侧的HTMLMediaElement和HTMLVideoElement类是DOM树中的节点类,包括众多的DOM接口,这些接口可以被JavaScript代码访问;其次是MediaPlayer和MediaPlayerClient两个类,MediaPlayer类是一个公共标准累,被HTMLMediaElement类使用来播放音频和视频,它本身支持提供抽象接口,具体实现依赖于不同的WebKit移植,同时一些播放器中的状态信息需要通知到HTMLMediaElement类,这里使用MediaPlayerClient类来定义这些有关状态信息的接口,HTMLMediaElement类需要继承MediaPlayerClient类并接收这些状态信息,根据前面的描述,规范要求将事件派发到JavaScript代码中,而这个实现在HTMLMediaElement类完成,然后是不同移植对MediaPlayer类的实现,其中包括MediaPlayerPrivateInterface类和WebMediaPlayerClientImpl类,前者是除了Chromium移植之外使用的标准接口也是一个抽象接口,由不同移植来实现,后者是Chromium移植的实现类,因为Chromium将WebKit复制出Blink之后就将MediaPlayerPrivateInterface类直接移除了,而在MediaPlayer类中直接调用它,WebMediaPlayerClientImpl类会使用Chromium移植自己定义的WebMediaPlayer接口类来作为实际的播放器,而真正的播放器则是在Chromium项目的代码中来实现,最后同渲染有关,这里就是之前介绍的RenderObject树和RenderLayer树,图中的RenderMedia类和RenderVideo类是RenderObject的子类,用于表示Media节点和Video节点。

    Chromium视频机制
    资源获取

    由于视频资源相对其他资源而言比较大,当用户播放视频的时候需要连续性播放以获得较好的体验,但是网络可能并不是移植都稳定和告诉,所以资源的获取对用户体验很重要,需要使用缓存机制或者其他机制来预先获取视频资源。下图是Chromium中的缓存资源类,BufferedDataSource类表示资源数据,它是一个简单的数据表示类,内存包含一个较小的内存空间(32K),实际的缓冲机制由BufferedResourceLoader类完成,在Chromium的设置中,最小的缓存空间是2M内存,最大的缓存空间是20M,并没有使用磁盘来缓存视频资源:
    这里写图片描述

    基础设施

    下图是chromium中支持硬件加速机制的视频播放所需基础设施的总体架构图,基于Chromium的多进程结构:
    这里写图片描述
    根据多进程架构的设计原则,Chromium的媒体播放器的实现应该在Renderer进程,而对于资源的获取则是在Browser进程,其中WebKit基础设施需要每个移植的具体实现,因此WebKit的Chromium移植部分提供了桥接接口,并且实现则是在Chromium代码中来完成,Chromium支持媒体播放器的具体实现涉及到不同的操作系统,目前Chromium在不同操作系统上实现的媒体播放器也不一样,下图显示了Chromium的基础类:
    这里写图片描述
    上半部分是WebKit和WebKit的Chromium移植中的相关类,下半部分是Chromium中使用硬件加速机制来实现视频播放的基础设施类,从做到分开来看,左边部分是播放器的具体实现类,右边部分是支持视频在合成器中工作的相关类。
    首先看下这些类和对象的创建过程,WebMediaPlayerClientImpl类是WebKit在创建HTMLMediaElement对象之后创建MediaPlayer对象的时候有MediaPlayer对象来创建的,当视频资源开始加载时,WebKit创建一个WebMediaPlayer对象,当然就是Chromium中的具体实现类WebMediaPlayerImpl对象,同时WebMediaPlayerClientImpl类也实现了WebMediaPlayerClient类,所以WebMediaPlayerImpl在播放视频的过程中需要向该WebMediaPlayerClient类更新各种状态,这些状态信息最终会传递到HTMLMediaElement类中,最终可能成为JavaScript事件,之后WebMediaPlayerImpl对象会创建一个WebLayerImpl对象,海湖同时创建VideoLayer对象,根据合成器的设计,Chromium还有一个LayerImpl树,在同步的时候,VideoLayer对象对应的VideoLayerImpl对象会被创建,之后Chromium需要创建VideoFrameProviderClientImpl对象,该对象将合成器的Video层同视频播放器联系起来并将合成器绘制一帧的请求转给提供视频内容的VideoFrameProvider类,这实际上是调用Chromium的媒体播放器WebMediaPlayerImpl,因为它是一个VideoFrameProvider类的实现子类,然后是Chromium如何使用这些类来生成和显示每一帧,当合成器调用每一层来绘制下一帧的时候,VideoFrameProviderClientImpl::AcquireLockAndCurrentFrame()函数会被调用,然后该函数调用WebMediaPlayerImpl类的GetCurrentFrame函数返回当前一帧的数据,VideoLayerImpl类根据需要会将这一帧数据上传到GPU的纹理对象中,当绘制完这一帧之后,VideoLayerImpl调用VidelFrameProviderClientImpl::PutCurrentFrame来通知播放器这一帧已绘制完成,并释放掉相应的资源,同时,媒体播放器也可以通知合成器有一些新帧生成,需要绘制出来,它会首先调用播放器的VideoFrameProvider::DidReceiveFrame()函数,该函数用来检查当前有没有一个VideoLayerImpl对象,如果有对象存在,需要设置它的SetNeedsRedraw标记位,这样合成器就知道需要重新生成新的一帧,最后是有关视频播放对象的销毁过程,有多种情况使Chromium需要销毁媒体播放器和相关的资源,如“video”元素被移除或者设置为隐藏等,这样视频元素对应的各种层对象以及WebKit和Chromium中的这些设施都会被销毁,WebMediaPalyerImpl类是多媒体播放器的具体实现类,在Chromium项目中,随着对Android系统的支持,Chromium既能支持左面系统也能支持移动系统,而这两者对视频和音频的支持很不一样,所以在不同系统上WebMediaPlayerImpl是如何实现和工作的也很不一样。

    桌面系统

    在桌面系统中,Chroimum使用了一套多媒体播放框架,而不是直接使用系统或者第三方库的完整解决方案,下图是Chromium在桌面系统上采用的多媒体播放引擎的工作模块和过程,这一框架称为多媒体管线化引擎,图中主要的模块四号多路分配器、音视频解码器、音视频渲染器,这些部分主要被WebMediaPlayerImpl类调用:
    这里写图片描述
    在处理音视频的管线化过程中,需要解码器和渲染其来分别处理视频和音频数据,它们均采用一种叫做“拉”而不是“推”的方式进行,也就是说有视频或者音频渲染器根据声卡或者时钟控制器,按需求来请求解码器解码数据,然后解码器和渲染器又向前请求“拉”数据,直到请求从视频资源文件读入数据,根据之前的多进程架构和Chromium的安全机制,整个管线化引擎虽然在Render进程中,但是由于Render进程不能访问声卡,所以渲染器需要通过IPC将数据或者消息同Browser进程通信,由Browser进程来访问声卡。虽然FFmpeg多媒体库拥有上述管线化的能力,但Chromium并不是将其作为一个黑盒来使用,而是分别使用FFmpeg的不同模块来实现自己的管线化引擎,目的是由自身来控制这一整个过程。Chromum使用并行FFmpeg解码技术,也就是说FFmpeg能够在帧这个层面上并行解码,当然不是针对所有格式的视频文件,目前主要针对H.264这个格式的视频。

    Android系统

    Chromium使用的是Android系统所提供的android.media.MediaPlayer类,也就是使用系统提供的音视频的渲染框架,在减少了管线化引擎带来复杂性的同时,也引入了一些额外的复杂问题。Android中的Chromium彻底抛弃了FFmpeg,直接使用系统自带的多媒体功能,因而,Android系统支持什么样的音视频格式,Chromium就只能支持什么样的相应格式,同时由于Android多媒体框架的优点使得视频元素仍然能够同HTML5中的其他技术一起工作。
    Ⅰ Android媒体播放框架
    Android中使用一个名为“MediaService”的服务进程来为应用程序提供音频和视频的播放功能,对于每一个使用多媒体播发功能的应用程序来说,“MediaService”服务是透明的,因为Android系统提供了“MediaService”的封装接口,这些接口隐藏了“MediaService”服务内部的细节,应用程序只是使用了简单的播放接口。MediaService能够为多个播放器提供服务,对于播放器来说,它的主要设置为两个参数,其一是输入的URL,第二是输出结果的绘制目标,下图描述了Android的播放器类和相关类:
    这里写图片描述
    当应用程序使用播放器的时候,Chromium可以创建MediaPlayer类的对象,调用setDataSource函数来设置待播放视频文件,并调用setSurface来设置视频结果绘制的目标-SurfaceTexture对象,这是一个GL的纹理对象,实际的解码和绘制是在MediaService进程中完成,这需要该纹理对象能够被多个不同的GL上下文对象所访问,支持多个GL上下文对象访问的GL纹理对象的类型GL_TEXTURE_EXTERNAL_OES,由此可以看到Chromium使用Android系统提供的音视频播放功能,表示Chromium使用Android系统的音视频解码器,所以Chromium是依赖与Android系统支持的音视频编码格式,而不像Chromium桌面版独立与操作系统的音视频编码格式。
    Ⅱ Chromium的视频解决方案
    在Android系统上,因为Chromium使用系统的多媒体框架,所以没有自己的管线化引擎,主要的工作是将Chromium的架构同Android多媒体框架结合起来以完成对网页中视频和音频的播放。下图是Chromium的Android系统上支持音频和视频播放的播放器主要类,因为Chromium的多进程架构,所以这里面包括两大部分,首先是右侧的Render进程的相关类,根据前面Chromium的桌面版上支持多媒体的相关类,可以看到WebKit::WebMediaPlayer类和WebMediaPlayerClient类来自于WebKit的Chromium移植,这两个类在所有平台上的定义都是一样的:
    这里写图片描述
    上图中右侧的Render进程,从上向下首先是WebMediaPlayerAndroid类,它同之前的WebMediaPlayerImpl类相似,表示的是Android系统上网页中的播放器,同video元素是一一对应的,与桌面系统不一样的是,Android系统使用RendeerMediaPlayerManager类来管理所有的WebMediaPlayerAndroid对象,因为一个网页中可能包含多个播放器实例,而WebMediaPlayerProxyAndroid则是同Browser进程来通信的,因为真正的Android播放器是在Browser进程中,主要请求Browser进程创建实际的Android的MediaPlayer类并设置播放文件的信息,左侧则是实际的播放器,在JNI(Java Native Interface)之上的是Java类,该播放器就是使用Android系统的android.media.MediaPlayer及其相关类来工作的,从下向上看首先是BrowserMediaPlayerManager类,该类不仅负责同Render进程的播放器类进行通信,而且自身又是一个播放器的管理类,它包含当前全部网页中的所有播放器对象,因为可能会有多个Render进程,所以只能通过播放器的唯一标记来区分这些播放器,BrowserMediaPlayerManager类管理称为MediaPlayerAndroid类的多个对象,而MediaPlayerAndroid的子类MediaPlayerBridge则是具体实现类,该子类能够与Java层中相同名字类通过JNI调用来控制Android系统的播放器类,以上的基本过程就是如何在网页中创建一个播放器,从右向左直到android.media.MediaPlayer对象被创建,同时Chromium获取网页中设置的视频文件的URL字符串然后传递并设置该URL字符串到Android的媒体播放器作为输入,对于输出Chrome使用SurfaceTexture对象作为输出目标,当Chromium调用WebMediaPlayerAndroid类的play函数时,该函数发起请求从Render进程到Browser进程来创建输出目标,也就是SurfeceTexture对象,下图描述了这个过程中使用到的主要类和之间的关系:
    这里写图片描述
    右侧的Render进程,最上面的StreamTexureFactoryImpl是创建目标结果存储空间的类,它被WebMediaPlayerAndroid类使用来创建所需要的结果存储对象StreamTexture,由于实际的对象是在Browser进程中创建的,所以Render进程中的StreamTextureProxy类就是一个代理类,最后的请求是通过GPUChannelHost类传递给Browser进程。在Browser进程中,负责处理上述请求的是GPU线程,该线程有StreamTextureManagerAndroid类处理所有创建StreamTexture对象的请求,StreamTexture对象的直接使用者是GPU线程,Render进程需要区分和标识这些StreamTexture对象,具体的方法是使用整形标记符来表示Browser进程中的各个StreamTexture对象,StreamTexture和StreamTextureManager是基础抽象类,在Android系统上,StreamTextureAndroid和StreamTextureManagerAndroid是实际的实现类,StreamTextureAndroid表示的是C++端的桥接类,它包含一个SurfaceTexture对象,该对象会在Java端创建一个android.graphics.SurfaceTexture对象,Chromium设置该对象到MediaPlayer对象作为播放器的输出目标,当视频播放器将解码后的结果写入到SurfaceTexture中后,播放器需要告诉Chromium游览器这一信息,Chroimum游览器需要执行合成操作而合成器在Render进程中,同之前创建SurfaceTexture对象的调用过程正好相反,这里需要使用回调机制,这就是Java层SurfaceTextureListener类的作用,该回调类注册Java层的回调对象到创建好的SurfaceTexture对象,当该对象被写入新的帧的时候,Chromium首先从Browse进程中的Java层将这一回调动作通过JNI到C++层的SurfaceTextureListener类的FrameAvailable函数,该函数经过StreamTextureAndroid和StreamTextureManagerAndroid类最后发送到Render进程,Render进程的调用过程如下:
    这里写图片描述
    网页中的视频播放有两种模式,其一是嵌入式模式,其二是全屏模式,这两种模式在解码后结果的处理上是不一样的,下图描述了全屏模式创建视频结果的绘制目标的相关类和过程:
    这里写图片描述
    当播放器进入全屏模式的时候,Chromium使用ContentVideoView类来管理,该类会创建一个SurfaceView对象并将对象传递给C++端的ContentVideoView类,因为统一时刻只有一个播放器是全屏模式,而且BrowserMediaPlayerManager管理所有的MediaPlayer对象,该管理类能够知道哪个对象是全屏模式,并将该SurfaceView对象设置到相应的MediaPlayer对象中去。

    字幕

    视频需要字母的支持,W3C组织已经开始定义支持字幕的“trace”元素,而字幕文件采用的格式是WebVTT格式,该格式看起来比较直观,简单的例子就是时间戳区间加上相应的字母文字,一下是使用字母的视频元素,因为语言的问题,每个“video”元素可以有多个“trace”元素,每个“trace”元素可以用来表示一个语言:

    <video controls="controls">
      <source src="video.mp4" type="video/mp4">
      <trace src="trace.vtt" kind="subtitles" srclang="en" label="English"></trace>
    </video>

    字幕文件的解释工作不依赖与各个WebKit移植,WebCore模块支持“track”元素解析、字幕文件解析等功能,下图是WebKit支持字幕功能的主要类:
    这里写图片描述
    “track”本身是一个HTML元素,因此它在DOM中有相应的节点元素,这就是HTMLTrackElement类,根据规范,“track“元素有一个重要的属性”src“,该属性指定了字幕文件的URL,WebKit使用LoadableTextTrack类来负责解析字幕文件并使用TextTrack类来存储解析后的结果,目前WebKit只支持WebVTT格式的字幕,使用WebVTTParser解析器来解释它们。
    下面一部分是提供接口,这里的接口是WebKit的Chromium移植所定义的接口不同额移植所定义的接口可能不一样,接口有两个类,WebInbandTextTrack和WebInbandTextTrackClient类,且是公开接口,WebInbandTextTrack类是有Chromium实现由WebKit调用,而WebInbandTextTrackClient则是有WebKit实现,实现类就是InbandTextTrackPrivateImpl,它实现WebInbandTextTrackClient的接口,然后后调用解析后的字幕并返回给Chromium。上述需要将一些消息传递给JavaScript代码,因为规范提供了JavaScript接口,开发者可以让JavaScript代码控制或者获取字幕信息,下面是Chromium中支持框架,下图描述了Chromium是如何将WebKit中的字幕信息桥接到多媒体管线化引擎中的:
    这里写图片描述
    在Chromium中,WebMediaPlayerImpl类创建继承类的对象,并设置WebInbandTextTrackClient对戏那个到该对象,该对象实际上是InTextTrack,它包含解析后的字幕内容,这样TextTrackImpl就可以获取字幕的内容,而TextTrack对象会被多媒体的管线化引擎多调用并渲染在视频的结果中。

    音频

    音频元素

    音频支持不仅指对声音的播放,还包括对音频的编辑和合成以及对乐器数字接口等的支持。

    HTML5 Audio元素

    在HTML5中使用”audio“元素来表示,同视频类似,HTML5标准中定义了三种格式:Ogg、MP3和Wav,因为视频内容通常包含音频数据,所以不仅仅是”audio“元素才会使用音频播放,同时,音频的字幕同视频一样,”track“元素也可以用在”audio“元素的字母中,用来显示字幕。

    基础设施

    音频的支持方面还是从输入和输出两个方面着手,对于输入,同视频类似,WebKit使用资源加载器先加载音频文件,之后建立音频元素、管线话引擎相关类,如MediaPlayer类,HTMLAudioElement和WebMediaPlayer类等,同视频不一样的是,视频的输出是GPU中的纹理对象,而音频需要输出到声卡,因此需要打开声卡设备,由于Chromium的沙箱模型机制,所以只能靠Browser进程来打开和关闭声卡设备,下图描述了多进程中如何将音频从Render进程传输到Browser进程,以及WebKit和Chromium中相应的基础设施:
    这里写图片描述
    首先看Render进程,从上玩下介绍如下:

    • WebKit::WebAudioSourceProvider和WebKit::WebAudioSourceProviderClient:最上面两个类是WebKit的Chromium移植接口类,前者提供音频原数据,也就是音频文件中的数据,这里采用“拉”的方式,也就是在ResourceLoader加载数据之后,当且仅当渲染引擎需要新的数据的时候,主动从加载后的数据中拉出数据来进行解码,“provideInput”函数由Chromium实现,由WebKit引擎调用,WebKit::WebAudioSourceProviderClient提供“setFormat”函数,用于让Chromium的媒体播放器设置频道数量、采样率等信息,WebAudioSourceProviderImpl是WebKit::WebAudioSourceProvider的实现类
    • AudioRendererImpl:该类是音频渲染器的实现,并使用AudioRenderSink将音频解码的结果输出到音频设备
    • AudioRendererSink:一个抽象类,用于表示一个音频终端店,能够接收解码后的音频信息,典型的例子就是音频设备
    • AudioRendererMixer:渲染器中的调用类
    • AudioOutputDevice:音频的输出设备,当然只是一个桥接层,因为实际的调用请求是通过下面两个类传送给Browser进程的
    • AudioOutputIPCImpl和AudioMessageFilter:前者将数据和指令通过IPC发送给Browser进程,后者就是执行消息发送机制的类

    下面是Browser进程,从下向上一次介绍:

    • AudioRendererHost:Browser进程端同Renderer进程通信并调度管理输出视频流的功能,对于每个输出流,有相应的AudioOutputStream对象对应,并且通过AudioOutputController类处理和优化输出
    • AudioOutputController:该类控制一个AudioOutputStream对象并提供数据给该对象,提供play、pause、stop等功能,因为它控制这音频的输出结果
    • AudiOutputStream和AudioOutputProxy:音频的输出流类和其子类,AudioOutputProxy是一个使用优化算法的类,它仅在Start()和Stop()函数之间打开音频设备,其他情况下音频设备都是关闭的,AudioOutputProxy使用AudioOutputDispatcher打开和关闭实际的物理音频设备
    • AudioOutputDispatcher和AudioOutputDispatcherImpl:控制音频设备的接口类和实际实现类

    由此可以得出当WebKit和Chromium需要输出解码后的音频数据是,通过从侧自上向下、左侧自下向上的过程,然后使用共享内存的方式将解码后的数据输出到实际的物理设备中。

    Web Audio

    Audio元素能够用来播放各种格式的音频,但是HTML5还拥有更强大的能力来处理声音,这就是Web Audio,该规范提供了搞层次的JavaScript接口,用来处理和合成声音,整个思路就是提供一张图,giant图中的每个节点称为AudioNode,这些节点构成处理的整个过程,虽然实际的处理是使用C/C++来完成,但是Web Audio也提供了一些接口来让Web前端开发者使用JavaScript代码来调用C/C++的实现,WebAudio对于很多Web应用很有帮助,例如它呢能够帮助开发者设计和实时合成出各种音效,根据W3C的Web Audio规范的定义,整个处理过程可以看成一个拓扑图,该图有一个或多个输入源,称为Source节点,中间的所有点都可以看成各种处理过程,它们组成复杂的网,图中有一个最终节点称为“Destination”,它可以表示实际的音频设备,每个图只能有一个该类型的节点,上述图中的所有节点都是工作在一个上下文中,称为AudioContext:
    这里写图片描述
    对于Source1节点,它没有输入节点,hi有输出节点,对于中间的这些节点,它们既包含输入节点也包含输出节点,而对应Destination节点,它只有输入节点,没有输出节点,图中的其他节点都是可以任意定义的,这些即诶但每一个都可以代表一种处理算法,开发者可以根据需要设置不同的节点以处理出不同效果的音频输出,中间这些节点有很多类型,它们的作用也不一样,这些节点的实现通常由C或者C++代码来完成以达到高性能,当然这里提供的接口都是JavaScript接口。Web Audio的绝大多数处理都是在WebKi中完成的,而不需要Chromium过多的参与,除了输入源和输出结果到实际设备,其他同前面的多媒体数据源是一致的。下图的上半部分主要是支持规范中的标准接口,例如AudioBufferSourceNode、AudioContext、DestinationNode和OscillatorNode等类,它们对应上图中规范定义的接口,还有众多类没有绘出,以下重点关注OsicllatorNode类,它需要对音频数据进行大量计算,包括向量的加法、乘法等,同时该节点类需要使用PeriodicWave来计算周期性波形,这里面需要使用到FFT(快速傅立叶变换)算法,因为音频的及时性,网页对性能有非常高的要求,对于Chromium移植,不同平台采用不同的加速算法,在Windows和Linux中使用FFMpeg中的高性能算法,在Android上使用OpenMax DL提供的接口来加速,而在Mac上又是不同的算法:
    这里写图片描述

    MIDI和Web MIDI

    MIDI是一个通信标准,它是电子乐器之间,以及电子乐器与电脑之间的统一交流协议,用以确定电脑音乐程序、合成器和其他电子音响设备互相交换信息与控制信息的方法,同其他的声音格式不同,MIDI不是记录采样信息,而是记录乐器的演奏指令。音频也可以以MIDI格式来存储,但是该格式不是HTML5的标准,所以游览器并没有内置支持它们,为了让MIDI格式的音乐播放出来,可以使用JavaScript代码,这就是MIDI.js,它使用上面提到的WebAudio技术和Audio元素来实现音乐的播放。Web MIDI规范中定义了输入和输出的MIDI设备,如MIDIInput和MIDIOutput,通过MIDIAccess接口分那会到所有枚举的输入和输出设备,MIDIInput主要包含一个接收指令的函数“onMessage”,而MIDIOutput包含一个发送指令的函数“send”,而发送的数据指令就是MIDIEvent,该指令包含一个时间戳和数据,WebKIt和Chromium对于Web MIDI的支持主要包括三个部分,第一是加入JavaScript的绑定,第二是将对MIDI接口的支持从Redner进程桥接到Browser进程,第三是Chromium的具体实现。

    WebRTC

    WebRTC(Web Real Time Communication)技术,中文全称为Web实时通信技术,是一种提供实时视频通信的规范,目前是W3C推荐的规范。

    原理和规范

    构建网络视频通信需要三种类型的技术,其一是视频,其二是音频,其三是网络传输

    • 音视频输入和输出设备:同音视频播放不同,因为它们只是需要输出设备,这里需要输入和输出设备,同时输入使用getUserMedia技术,而输出基本上可以采用音视频播放的基本框架
    • 网络连接的建立:因为视频通信需要不停的传送大量数据,所以需要建立一种可靠的网络连接来让各个参与方传输数据
    • 数据捕获、比那吗和发送:当用户打开设备之后,需要捕获这些数据并对它们进行编码,因为原始数据的数据量太大,然后需要将编码后的数据通过连接传输出去
    • 数据接收、解码和显示:接收来自其他方的数据流并进行解码,然后显示出来,这个跟播放媒体文件的需求比较类似

    下图结合主要组成部分构建一个比较完整的音视频通信过程:
    这里写图片描述
    下面了解一下规范中如何针对上面的描述来定义相应的JavaScript接口,根据W3C推荐的规范草案,主要包括一下几个部分:

    • Media Capture and Streams 规范和WebRTC对它的扩展,这个主要是依赖摄像头和麦克风来捕获多媒体流,WebRTC对它进行扩展,使得多媒体流可以满足网络传输用途,也就是“video”元素可以来源与多媒体流而不仅仅是资源文件
    • 点到点的连接,也就是规范中的RTCPeerConnection接口,它能够建立端到端的连接,两者直接通过某种方式传输控制信息,至于方式并没有进行规定
    • RTCDataChannel接口,通过该接口,通信双方可以发哦是那个任何类型的信息,例如文本或者二进制数据,这个不是必须的,不过这个功能极大的方便了开发者,其主要思想来源与WebSocket
    WebKit和Chromium的实现

    首先了解下WebRTC技术的内部框架和功能模块,下图主要包括三大方面,即语言、视频和传输,它们三个构成WebRTC的主要组成部分,其中iSAC(internet Speech Audio Codec)和iLBC(internet Low Bitrate Codec)是两种不同的音频编码格式,是为了适应互联网的语言传输要求而存在的,前者是针对带宽比较大的情况,后者是针对带宽较小的情况,其中VP8同样是Google提供免费视频格式,传输部分主要是加入了对前面协议的支持模块,在会话管理中,主要使用一个开源项目libjingle来管理,下面部分主要是WebRTC工作时依赖的下层功能的接口,在Chromium游览器中,它会提供相应接口和功能给WebRTC使用:
    这里写图片描述
    上图是WebRTC开源项目的架构图,在Chromium中,通常使用WebRTC项目来完成WebRTC规范的功能,并使用libjingle项目来建立点到点的连接,所有Chromium主要的目的是将WebRTC和libjingle的能力桥接到游览器中来,先看WebRTC规范中建立连接所需要的相关的技术设备,下图是WebKit、Chromium及Chromium中使用libjingle的类的层次图:
    这里写图片描述
    基础设备分成三个层次,首先是WebKit,该部分最上面的类是RTCPeerConnection,该类是对WebRTC连接的接口类,实际上它是从规范中定义的RTCPeerConnection接口文件生成的基本框架,实际真正和JavaScript引擎打交道还需要一个桥接类,该桥接类包含一个实际实现的连接类句柄m_peerHandler,它是这个连接所包含的本地多媒体流和远端对方的多媒体流,场景大致是首先WebKit需要将本地的多媒体流收集起来,通过连接传输给对方,本地可以选择是否通过“video”播放,同时需要接收从对方传输过来的多媒体流,接下来是WebKit的实现类,该类能够满足RTCPeerConnection的功能要求,但是它需要通过不同移植的实现才能完成,因为本身WebKit的WebCore并没有这样的能力,在WebKit的Chromium中同样定义了两个类WebRTCPeerConnectionHandler和WebRTCPeerCOnnectionHandlerClient,根据WebKit的类名定义方式,前者是需要Chroimum来实现,后者则由Chromium调用,并由WebKit来实现,这里主要是应用连接事件的监听函数,所以WebKit能够将它们传递给JavaScript引擎,之后是Chromium的实现类,RTCPeerCOnnectionHandler类继承自WebKit的Chromium移植的接口类,并做了具体的实现,也就是content::RTCPeerConnectionHandler,它同时集成自PeerConnectionHandleBase类,而该类拥有了支持建立连接所需的能力,当然它是依赖于libjingle项目提供的连接能力,libjingle提供了建立和管理连接的能力,支持透过NAT和防火墙设备、代理等建立连接,libjingle不仅支持点到点的连接,也支持多用户连接,同时还包含了连接所使用的MediaStream接口,这是因为Chromium本身不直接使用WebRTC项目提供的接口,而是调用libjingle来建立连接,并使用libjingle提供的MediaStream接口,而libjingle本身则会使用WebRTC项目的音视频处理引擎。
    下面总结下多媒体流,先看下WebKit是怎样支持getUserMedia这个接口的,下图描述了WebKit,以及WebKit的Chroimum移植中所定义的接口:
    这里写图片描述
    最上层的是WebKit支持多媒体流编程接口提供的具体实现类,如NavigatorMediaStream类,而直接同V8JavaScript引擎桥接的类是V8NavigatorUserMediaSuccessCallback,它是一个绑定类,因为getUserMedia接口主要是返回一个MediaStream对象,而MediaStream类可以提供众多访问数据流的接口,而连接的目的就是需要将MediaStream对应的多媒体流传输出去,UserMediaRequest类负责请求创建一个MediaStream对象,在WebKit的Chromium移植中,定义WebUserMediaClient为一个接口类,Chromium需要新建子类来实现这一功能,这就是Chromium中的MediaStreamImpl类。WebKit使用MediaStreamRegistry类来注册和管理对应的类,管理类根据ID信息来识别各个多媒体数据流,在接口层中,Chromium移植使用WebMediaStream类来表示多媒体流,使用WebMediaStreamRegistry类来表示注册管理类,下面的问题是MediaStream接口需要提供各种事件给网页,因为很多实际的工作是在Chromium中来完成的,所以MediaStreamImpl会将这些事件从Chromium传递给WebKit,同时因为Chromium的多进程和沙箱模型,一些工作需要在Browser进程中完成,下图是所描述的跨进程的基础设施:
    这里写图片描述
    IPC左侧部分是Browser进程中的两个主要类,分别是消息处理类和MediaSrteam的管理类,该管理类知道MediaStream对应的网页是什么,并将事件(如创建和销毁等)传回Render进程,右侧是消息派发类,主要帮助MediaStreamImpl类来完成与Browser进程相关的MediaStream消息的传递,MediaStream可以表示本地的多媒体流也可以表示远端的多媒体流,对于本地的多媒体流,需要音频和视频的捕获机制,同时使用上面建立的连接传输给远端,对于远端的多媒体流,需要使用连接来接收数据,并使用到音频和视频的解码能力,下面分成四个部分来分别介绍,首先是音频的捕获机制,下图描述了该机制使用的主要类,当我那工业需要创建多媒体流的时候,MediaStreamImpl会创建音频捕获类WebRtcAudioCapturer类,因为捕获音频需要音频输入设备,所以使用AudioDeviceFactory工厂类创建一个逻辑上的AudioInputDevice对象,另外一个重要的类是WebRtcAudioDeviceImpl,用来表示音频的设备,该类继承自WebRtcAudioDeviceNotImpl类,这其实是继承自libjingle和WebRTC项目中的抽象接口的一个桥接类,用来表示它们需要的音频设备,包括输入鼠辈,同样因为Render进程不能访问音频输入设备,所以需要IPC来完成一个功能,Browser进程的AudioInputController会控制和访问设备,而AudioInputDeviceManager可以管理和控制所有输入设备:
    这里写图片描述
    其次是处理远程多媒体流中的音频解码和播放功能,下图是Chromium处理远端音频流所需要的一些主要类及关系图,这里不涉及连接如何接收传输的数据,因为Chromium是使用libjingle和WebRTC项目来完成连接的功能,Chromium使用WebRtcAudioRender类来完成音频渲染,该桥接类会被WebMediaPlayer作为渲染音频的实现类,其作用主要是将MediaStream的数据同实际的音频渲染类结合起来:
    这里写图片描述
    再次是从视频输入设备请求捕获本地视频流,下图是该功能依赖的一些主要类:
    这里写图片描述
    实线右侧Render进程中的设施,同样是MediaStreamImpl类发起,有辅助工厂类MediaStreamDependencyFactory帮助创建一个RtcVideoCapaturer,用来获取视频,该类有两个作用,其一是是吸纳linjingle和WebRTC项目中的接口类,因为需要薯片输入的实现,这个同音频部分类似,另外就是将调用请求交割一个代理类来完成(RtcVideoCaptureDelegate类),分别是管理类VideoCaptureImplManager和视频捕获类VideoCaptureImpl,并包括一个发送消息到Browser进程的辅助类,在Browser进程使用控制类VideoCaptureController来获取VideoCaptureDevice,该类会使用摄像头等视频输入设备。最后是处理远端多媒体流中的视频解码和播放功能,当MediaStreamImpl对象接收到远端的多媒体流之后,它会使用WebRTC来会视频数据进行解码,因为可以使用硬件来解码,提供了处理的性能:
    这里写图片描述
    把WebRTC整个过程综合起来分析如下图,可以有一种更为整体和直观的感受:
    这里写图片描述

    展开全文
  • 多媒体技术选择题

    万次阅读 2020-09-21 23:10:32
    1、多媒体技术的主要特性不包括() A.多样性 B.集成性 C. 娱乐性 D.交互性 2、IEEE 1394接口的数据传输速率可以高达 () A.200Kbps B. 100Mbps C. 400Mbps D.100Gbps 3、在MPC外部设备中,U盘属于 () A. 输入设备 ...

    理论上 。USB1.1的最高传输速率为12Mbps。 USB2.0的最高传输速率为480Mbps。
    实际上 。只要小于理论值的数字就行了

    Flash MX 软件 制作网络交互动画的编辑工具
    Photoshop软件 是处理图像、图形的工具

    电话质量采样频率 11.025kHz

    关于 dpi 的叙述
    1、每英寸像索点
    2、dpi 越高图像质量越低

    Flash 动画是以 关键帧 为基础的帧动画

    Photoshop 截图快捷键 : (Alt+Print Screen> 键

    USB1. 1 接口的传输速率是 (1.5MB/s)

    在 MPEG中使用了哪两种熵编码方法? (A )
    (A)哈夫编码和自适应二进制算术编码 (B)PCM编码和 DPCM编码
    (C)预测编码和变换编码 (A)统计编码和算术编码

    1、多媒体技术的主要特性不包括©
    A.多样性 B.集成性 C. 娱乐性 D.交互性

    2、IEEE 1394接口的数据传输速率可以高达 (C)
    A.200Kbps B. 100Mbps C. 400Mbps D.100Gbps

    3、在MPC外部设备中,U盘属于 () D
    A. 输入设备 B. 播放设备 C.人机交互设备 D.存储设备

    外存储器 : 软盘、硬盘、U盘、

    4、按照CCITT制定的媒体分类标准,属于感觉媒体表现形式的的是 ()D
    A. 打印机 B.软盘 C.味觉 D.显示屏

    5、基于时间序列的多媒体创作工具的是 D
    A. Authorware B.VFP C.ToolBook D.Active

    第一类是基于bai图标的创作工具,主du要有Authorware等;

    第二类是基于描述语言或描述符号的创作工具,主要有ToolBook、方正奥思、洪图等;

    第三类是基于时间序列的创作工具,主要有Director、Flash等;

    第四类是基于编程语言的创作工具,主要有Visual Basic、Visual C++等。

    6、衡量音频数据压缩技术好坏的重要指标有()A
    A. 3项 B. 4 项 C. 5项 D.6项
    1)压缩比

    (2)算法复杂度

    (3)恢复效果(4)标准化

    7、在Adobe Audition的编辑模式下,选择左声道快捷键 为 ()C
    A.Ctrl+ A B.Ctrl+C C.Ctrl+L D.Ctrl+ P

    L : 表示左边

    8、在RGB色彩模式中,某点RGB取值为(255,0,0),则表示该点为(C)
    A. 黑色 B.白色 C.红色 D.蓝色

    RGB(255,0,0)表示的是红色

    Red(红)、Green(绿)、Blue(蓝)

    9、仅支持256种颜色的数字图像文件的扩展名为 (GIF)
    A. .gif B. .bmp C. .tif D.png

    10、用"钢笔"工具绘制简单的直线路径时,为使绘制的点上一个点保持45°整数倍夹角。需要按 (A)
    A. Ctrl键 B. Alt键 C.Enter键 D.Shift键

    11、Photoshop CS3中"合并图层"的快捷组合键 是(B)
    A. Ctrl+C B.Ctrl+E C.Ctrl+Alt D.Ctrl+V

    12、与制作Flash动画密切相关的术语不包括 (B)
    A. 元件 B. 艺术字典 C.实例 D.时间轴

    13、属于三维动画创作软件的是()
    A. Flash B.TOONZ C.Opus Dmya.

    3DS MAX和Maya

    14关于数字视频和模拟视频,说法错误的是 ()C
    A. 模拟视频可以转化数字视频 B.模拟视频不失真复制存在困难 C.数字视频可以长时间保存 D.数字视频无法转换模拟视频

    15、不属于实时视频通信领域标准的是 (D)
    A. H.261 B. H.263 C.H.264 D.H.738

    H.261、H.263和(4)

    16、在Internet中,使用较多的流媒体视频文件格式是 (B)
    A. ASF B.AVI C.MP3 D.MPEG-2

    17、面向对象的程序设计产生于 (B)
    A. 20世纪50年代 B. 20世纪60年代 C. 20世纪80年代 D.近5年

    18、Adobe Flase CS3的元件类型有(C)
    A. 2种 B.3种 C. 4种 D.5种

    影片剪辑 、按钮 、图形

    19、所谓媒体是指 : ( B )
    A. 二进制代码 B. 表示和传播信息的载体 C.计算机输入于输出的信息 D.计算机屏幕显示的信息

    20、帧频率为 25 帧/ 秒的电视制式有( )。 B
    A. PAL 、NTSC B. PAL 、SECAM C. SECAM、NTSC D. PAL 、YUV

    21、在以下音频编码方法和标准中,( )属于混合编码方法,它从人的听觉系统出发,利用掩蔽效应,设计心理声学模型,从而实现更高效率的数字音频压缩。 B
    A.APCM编码 B. MPEG音频编码 C .DPCM编码吧 D.LPC编码

    22、一般说来,声音的质量要求越高,则( )。 B
    A. 量化位数越低和采样频率越低 B.量化位数越高和采样频率越高
    C. 量化位数越低和采样频率越高 D. 量化位数越高和采样频率越低

    23、以下叙述正确的是( )。 B
    A. 编码时删除一些无关紧要的数据的压缩方法称为无损压缩
    B. 解码后的数据与原始数据不一致称为有损压缩编码
    C. 编码时删除一些重复数据以减少存储空间的方法称为有损压缩
    D.解码后的数据与原始数据不一致称无损压缩编码

    24、在音频处理中,人耳所能听见的最高声频大约可设定为 22kHz。所以,在音频处理中对音频的最高标准采样频率可取为 22kHz 的( )倍。 D
    A. 0.5 B. 1 C. 1.5 D. 2

    25、人们在实施音频数据压缩时,通常应综合考虑的因素有( )。 B
    A. 音频质量、数据量、音频特性
    B. 音频质量、计算复杂度、数据量
    C. 计算复杂度、数据量、音频特性
    D. 音频质量、计算复杂度、数据量、音频特性

    26、彩色可用( )来描述。 A
    A. 亮度,饱和度,色调 B. 亮度,饱和度,颜色
    C. 亮度,对比度,颜色 D. 亮度,色调,对比度

    27、以下关于图形图像的叙述,不正确的是:( )C
    A. 矢量图的一个优点是,图形无论放大缩小都不会变失真
    B. 被计算机接受的数字图像有位图图像和矢量图形两种。
    C. 矢量图形是由像素组成的,适用于逼真图片或要求精细细节的图像。
    D. 位图图像像素之间没有内在联系,而且它的分辨率是固定的

    28、使用图像处理软件可以对图像进行:( )C
    ① 放大 . 缩小 ② 上色 . 裁剪 ③ 扭曲 . 变形 ④ 叠加 . 分离
    A. ②③④ B. ②④ C. ①②③④ D. ①②

    29、某同学运用 photoshop 加工自己的照片,照片未能加工完毕,他准备下次接着做,他将照片保存的格式应该是:( )C
    A. .BMP B. .SWF C. .PSD D. .GIF

    30、声音加工可以完成以下制作:( )A
    ① 分割 ② 合成 ③ 淡入淡出 ④ 降噪
    A. ①②③④ B. ①②④ C. ②③④ D. ①④

    31、下列可以把 WAVE格式的音频文件转换为 MP3格式的软件是:( )B
    A. Photoshop B. GoldWave C. PowerPoint D. Excel

    32、采用下面哪种标准采集的声音质量最好:( )D
    A. 单声道、 8 位量化、 22.05kHz 采样频率
    B. 双声道、 8 位量化、 44.1kHz 采样频率
    C. 单声道、 16 位量化、 22.05kHz 采样频率
    D. 双声道、 16 位量化、 44.1kHz 采样频率

    33、视频加工可以完成以下制作:( )C
    ①将两个视频片断连在一起 ②为影片添加字幕
    ③为影片另配声音 ④为场景中的人物重新设计动作。
    A. ①② B. ①③④ C. ①②③ D. ①②③④

    34、PAL制式是我国采用的彩色电视广播标准。它使用的帧频率为的 : ( )D
    A. 12 帧/秒 B.20 帧/秒 C. 24 帧/秒 D. 25 帧/秒

    35、下述声音分类中质量最好的是( )。 A
    A. 数字激光唱盘 B. 调频无线电广播 C. 调幅无线电广播 D. 电话

    36、以下可用于多媒体作品集成的软件是:( )B
    A. PowerPoint B. Windows Media Player
    C. Acdsee D. Goldwave

    37、在数字视频信息获取与处理过程中,下述顺序( )是正确的。 C
    A. A/D 变换、采样、压缩、存储、解压缩、 D/A 变换
    B. 采样、压缩、 A/D 变换、存储、解压缩、 D/A 变换
    C. 采样、 A/D变换、压缩、存储、解压缩、 D/A 变换
    D. 采样、 D/A变换、压缩、存储、解压缩、 A/D 变换

    38、图象序列中的两幅相邻图象,后一幅图象与前一幅图象之间有较大的相关,这是:( ) B
    A. 空间冗余 B. 时间冗余 C. 信息熵冗余 D. 视觉冗余

    39、下列关于计算机图形图像的描述中,不正确的是( )。 B
    A. 图像都是由一些排成行列的点(像素)组成,通常称为位图或点阵图
    B. 图像的最大优点是容易进行移动、缩放、旋转和扭曲等变换
    C. 图形是用计算机绘制的画面,也称矢量图
    D. 在图形文件中只记录生成图的算法和图上的某些特征点,数据量较少

    40、MPC(Multimedia Personal Computer )与 PC的主要区别是增加了( )。 B
    A. 存储信息的实体 B. 视频和音频信息的处理能力
    C. 光驱和声卡 D. 大容量的磁介质和光介质

    41、CD光盘上记录信息的轨迹叫光道,信息存储在( )的光道上。 C
    A. 一条圆形 B. 多条同心环形 C. 一条渐开的螺旋形 D. 多条螺旋形

    42、DVD-ROM的光盘最多可存储 17GB的信息,比 CD-ROM光盘的 650MB大了许多。 DVD-ROM光盘是通过
    ( )来提高存储容量的。 B
    A. 减小读取激光波长,减小光学物镜数值孔径
    B. 减小读取激光波长,增大光学物镜数值孔径
    C. 增大读取激光波长,减小光学物镜数值孔径
    D. 增大读取激光波长,增大光学物镜数值孔径

    43、为保证用户在网络上边下载边观看视频信息,需要采用( )技术。 A
    A. 流媒体 B. 数据库 C. 数据采集 D. 超链接

    44、( )通过手指上的弯曲传感器、扭曲传感器和手掌上的弯度传感器、弧度传感器,来确定手及关节的位置和方向,从而实现环境中的虚拟手及其对虚拟物体的操纵。 B
    A. 跟踪球 B. 数据手套 C. 头盔显示器 D. 立体眼镜

    45、Internet 应用中的虚拟现实语言是( )。 B
    A. Java B.VRML C. HTML D. C#

    46、在显存中,表示黑白图像的像素点数据最少需( )位。 A
    A. 1 B. 2 C. 3 D. 4

    47、双层双面的只读 DVD盘片的存储容量可以达到( )。 C
    A. 4.7GB B. 8.5GB C. 17GB D. 6.6GB

    48、在对彩色电视信号进行数字化的过程中,图像子采样能够减少( )的采样频率,从而达到减少数据量的目的。 B
    A.亮度信号 B.色差信号 C.同步型号 D. 消隐信号

    49、人眼看到的任一色彩都是亮度、色调和饱和度 3 个特性的综合效果,其中( )反映的是颜色种类。A
    A.色调 B.饱和度 C.灰度 D.亮度

    50、图像文件格式分为静态图像文件格式和动态图像文件格式,( )属于静态图像文件格式。 C
    A.MPG文件格式 B. AVS文件格式 C.JPG文件格式 D.AVI 文件格式

    51、图像序列中的两幅相邻图像,后一幅图像与前一幅图像之间有较大的关联,这是( )。 B
    A. 空间冗余 B. 时间冗余 C. 信息熵冗余 D. 视觉冗余

    52、在数字音频信息的获取与处理过程中,下述流程哪个是正确的( )。 C
    A. A/D 变换、采样、压缩、存储、解压缩、 D/A 变换
    B. 采样、压缩、 A/D 变换、存储、解压器、 D/A 变换
    C. 采样、 A/D变换、压缩、存储、解压缩、 D/A 变换
    D. 采样、 D/A变换、压缩、存储、解压缩、 A/D 变换

    53、下列哪种说法不正确( )。 A
    A. 预测编码是一种只能针对空间冗余进行压缩的方法
    B. 预测编码是根据某一模型进行的
    C. 预测编码需要将预测的误差进行存储或运输
    D. 预测编码中典型的压缩方法有 DPCM、ADPCM

    54、在 MPEG中为了提高数据压缩比,采用的方法有( )。 C
    A. 运动补偿的运动估计 B. 减少时域冗余与空间冗余
    C. 帧内图像数据与帧间图像数据压缩 D. 向前预测与向后预测

    55、视频卡中的信号获取部分包括 A/D 变换和数字解码、窗口控制器以及存储器系统,其中帧存储器存储的信号为( )A
    A.数字的 YUV信号 B.模拟的 RGB信号
    C.模拟的 YUV信号 D.数字的 RGB信号

    56、视频采集卡能支持多种视频源输入,下列哪些是视频采集卡支持的视频源( )。 C
    ① 放像机 ② 摄像机 ③ 影碟机 ④ CD-ROM
    A. ① B. ①② C. ①②③ D. 全部

    57、常用的压缩编码方法分为无损压缩和有损压缩,以下属于无损压缩的是( )。 D
    A. 矢量量化编码 B. 子带编码 C. 模型编码 D. 哈夫曼编码

    58、某音频信号的采样频率为 44.1kHz ,每个样值的比特数是 8 位,则每秒存储数字音频信号的字节数是( )。 C
    A.344.531k B. 43.066k C.44.1k D.352.8k

    59、使用 300dpi 的扫描分辨率扫描一副 6×8 英寸的彩色图像,可以得到一副( )像素的图像。 C
    A. 300 B. 6 ×8 C. 1800 ×2400 D.300×6×8

    60、30 秒钟双声道、 16 位采样位数、 22.05kHz 采样频率声音的不压缩的数据量? ( ) B
    A. 1.26MB B. 2.52MB C. 3.52MB D. 25.20MB

    61、20 秒钟 NTSC制 640×480 分辨率 24 位真彩色数字视频的不压缩的数据量是多少? ( ) A
    A. 527.34MB B. 52.73MB C. 500.20MB D. 17.58MB

    所以共有26025640480*24=22118400000位dao=2764800000字节zhidao=2700000千字节=2636.72MB
    换算法则:
    8bit(位)=1Byte(字节)
    1024Byte(字节)=1KB
    1024KB=1MB

    62、一幅分辨率为 640×480 的真彩色图像占用的存储空间为( )。 D
    A. (640×480×8)/8 B B. (640×480×3×8) B
    C. (640×480×3×8)/2 B D. (640×480×3×8) /8 B

    63、使用 200dpi 的扫描分辨率扫描一副 2×2.5 英寸的黑白图像,可以得到一副( )像素的

    A.200×2
    B.2×2.5
    C.400×500
    D.800×1000

    正确答案
    C

    64、某数码相机的分辨率设定为 1600×1200 像素,颜色深度为 24 位,若不采用压缩存储技术,则 32MB的存储卡最多可以存储( )张照片。 B

    一张照片大小 :(1600×1200 ×3×8)x24÷2=552 960 000 = 5.5M。≈6M
    32÷6=5(张)

    A. 3 B. 5 C. 10 D. 17

    65、以下不是静态图像文件格式的是( )。 C
    A. BMP B. GIF C. MPG D. TIFF

    66、哈夫曼编码采用的是( )编码原理。 C
    A. 平均码长 B. 自适应码长 C. 字变长 D. 等字长

    67、在多媒体制作过程中,不同媒体类型的数据收集需要不同的设备和技术手段,动画一般通过( )生成。 D
    A. 字处理软件 B. 视频卡采集 C. 声卡剪辑 D. 专用绘图软件

    68、下列说法中正确的是( )。 B
    ① 图像都是由一些排成行列的像素组成的,通常称为位图或点阵图
    ② 图形是用计算机绘制的画面,也称矢量图
    ③ 图像的最大优点是容易进行移动、缩放、旋转和扭曲等变换
    ④ 图形文件中只记录生成图的算法和图上的某些特征点,数据量较小
    A. ①②③ B. ①②④ C. ①② D. ③④

    69、在 Photoshop 中,以下关于滤波器的说法正确的是( )。 B
    A. Texture (纹理)滤波器可使图像产生照明效果
    B. Sketches (草图)滤波器可使图像产生各种风格的素描效果
    C. Pixelate (颗粒化)滤波器可使图像产生浮雕的效果
    D. Render (渲染)滤波器可使图像产生更为显著的对比效果

    70、在动画制作中,一般帧速选择为( )。 A
    A. 30 帧 /秒 B. 60 帧/ 秒 C. 120 帧/ 秒 D. 90 帧/ 秒

    71、除了 Windows系统外, Authorware 还可以在( )系统下运行。 B
    A. UNLX B. Macintosh C. Linux D. Noware

    72、多媒体应用系统创作软件分为基于程序语言、基于流程图和( )3 类。 A
    A. 基于时间 B. 基于算法 C. 基于方位 D. 基于系统

    73、下列功能( )是多媒体创作工具的标准中应具有的功能和特性。 D
    ① 超级链接能力 ② 编程环境 ③ 动画制作与演播 ④ 模块

    74、张军同学用麦克风录制了一段 WAV格式的音乐,由于文件容量太大,不方便携带。在正常播放音乐的前提下,要把文件容量变小,张军使用的最好办法是 ( ) 。B
    A. 应用压缩软件,使音乐容量变小
    B. 应用音频工具软件将文件转换成 MP3格式
    C. 应用音乐编辑软件剪掉其中的一部分
    D. 应用音频编辑工具将音乐的音量变小

    75、刘丽同学想多种方法获取声音文件,下面哪些方法才是正确获取的 ( ) 。 B
    ①从光盘上获取 ②从网上下载 ③通过扫描仪扫描获取
    ④使用数码相机拍摄 ⑤用录音设备录制 ⑥用软件制作 MIDI 文件
    A. ①②③④ B. ①②⑤⑥ C. ③④⑤⑥ D. ②③⑤⑥

    76、采用工具软件不同,计算机动画文件的存储格式也就不同。以下几种文件的格式那一种不是计算机动画格式 ( ) 。B
    A. GIF 格式 B. MIDI 格式 C. SWF格式 D. MOV格式

    77、用 Flash 制作一个小球沿弧线运动动画。操作步骤如下,正确的是: ( ) D
    ①新建一个“图形元件”,用椭圆工具在元件的第 1 帧处画一个小球
    ② 新建一个 Flash 文件
    ③ 从库中把“小球”拖到“图层 1”的第 1 帧,并跟引导线的一端重合
    ④ 点击“增加运动引导层”按钮,在“图层 1”上新建一个引导层
    ⑤ 用铅笔工具在引导层上画一条平滑的曲线,延长到第 40 帧,并锁定
    ⑥ 测试并保存
    ⑦ 在第 40 帧处按 F6插入关键帧,把小球拖到引导线的另一端,与其重合
    A. ②①⑤④⑦③⑥ B. ①②③⑦④⑤⑥ C. ①②④③⑤⑦⑥ D. ②①④⑤③⑦⑥

    78、关于电子出版物,下列说法错误的是( )。 答案: C
    A. 电子出版物的存储容量大,一张光盘可以存储几百本长篇小说
    B. 电子出版物的媒体种类多,可以集成文本、图形、图像、动画、视频和音频等多媒体信息
    C. 电子出版物不能长期保存
    D. 电子出版物检索信息迅速

    79、"多媒体技术"的集成性表现在多个方面,但它不包括信息(C)

    A. 载体 B.存储 C.组织 D.交互

    80、在下列多媒体辅助设备中,属于输入设备的是(C)
    A.打印机 B.硬磁盘 C.扫描仪 D.投影仪
    在这里插入图片描述
    81、如果语言频率编码在3kHz以下,那么语音数字化采样频率可以取在(D)
    A. 3kHz B.4kHz C.5kHz D.8kHz

    82、关于数据压缩编码,下列说法不恰当的是(C)
    A.数据压缩编码可用软件来实现
    B.数据压缩编码要求能完全恢复原始数据
    C.数据压缩编码可用硬件来实现
    D.数据压缩编码可用软、硬件结合方式 来实现

    83、最多只能支持256色的图像文件是 (A)
    A.word.GIF B.wps.TIF C.jvc.BMP D.hp.JPG

    84、通常人们应该将显示刷新频率设置在 ( B)
    A. 52Hz左右 B.60Hz以下 C.72Hz以上 D.500Hz以上

    一般不是液晶的显示器分辨率为1024×768的时候刷新率为85Hz最好,

    分辨率为800*600的时候可以设定到100Hz 液晶的60Hz

    CRT显示器的话,建议将刷新速率设置为75Hz、85Hz甚至更高

    85、DVD光盘的存储容量可以高达(D)
    A.640KB B.640MB C.4GB D.17GB

    DVD-ROM:一般容量在4.5G左右。是最大的光盘。 CD-ROM:一般容量在700MB
    电影等DVD光盘的最大容量可达17GB

    86、常见的音频处理软件不包括(B)
    A。CoolEditt2000 B.Outlook C.SoundForge D.GoldWave
    office里面的Outlook发邮件的工具

    87、用16位二进制编码,可以表示(C)
    A.16色 B.256色 C.增强色 D.真彩色

    256色 (GIF)
    16位色,2的16次方 65536种
    88、下列说法错误的是()B
    A.Photoshp是Adobe公司研制的
    B.Photoshp 无法运行在WindowsNT上
    C.Photoshp是专业图像处理软件
    D.Photoshp可以运行在Windows95上

    89、不同制式的视频信号帧速度不同,NTFS制式速度为(C)
    A.18帧/秒 B.帧25/秒 C. 30帧/秒 D.50帧/秒

    90\下列说法中不恰当的是 (C)
    A.多媒体应用设计仍属于计算机应用软件设计范畴
    B.多媒体应用设计可借鉴软件工程开发方法
    C.20世纪50年代初,出现了所谓的"软件危机"
    D."软件危机"导致了"软件工程"的问世
    "软件危机"60年代中期

    91、在Director中,用来控制动画进程的是()
    A.Lingo B.Dingo C.Javar D.CGI

    92、VB绘图属性不包括(B)
    A.当前坐标 B.色彩 C.线型 D.速度

    93、在VB中,Timer控件的Interval属性设置为1000,则表示Interval取(C)
    A. 10秒 B.1000微秒 C.1秒 D.1000纳秒

    94、ADSL在用户终端铜线上支持上行速率(B)
    A.64kb/s~128kb/s B.640kb/s C.1Mb/s~10Mb/s D.1Mb/s~100Mb/s

    ADSL在一对铜线上支持上行速率512Kbps~1Mbps,下行速率1Mbps~8Mbps,

    95、FrontPage2000中"打开站点"菜单选项位于()

    A. "编辑"下拉菜单中 B."文件"下拉菜单中 C. “插入” 下拉菜单中 D."视图"下拉菜单中

    96、多媒体计算机中的媒体信息是指? ( D)
    (1)文字、音频 (2)音频、图形 (3)动画、视频 (4)视频、音频
    (A)(1) (B)(2) (C)(3) (D)全部

    97、多媒体技术未来发展的方向是什么? ( D)
    (1)高分辨率,提高显示质量 (2)高速度化,缩短处理时间
    (3)简单化,便于操作 (4)智能化,提高信息识别能力
    (A)(1)(2)(3) (B)(1)(2)(4) (C)(1)(3)(4) (D)全部

    98、3下列采集的波形声音质量最好的是。 (C )
    (A)单声道、 8 位量化、 22.05kHz 采样频率
    (B)双声道、 8 位量化、 44.1kHz 采样频率
    (C)双声道、 16 位量化、 44.1kHz 采样频率
    (D)单声道、 16 位量化、 22.05kHz 采样频率

    99、4.帧频率为 25 帧/ 秒的制式为。 ( B)
    (1)PAL (2)SECAM
    (3)NTSC (4)YUV
    (A)仅( 1) (B)(1)(2)
    (C)(1)(2)(3) (D)全部

    100、5.在 MPEG中使用了哪两种熵编码方法? ( A)
    (A)哈夫编码和自适应二进制算术编码 (B)PCM编码和 DPCM编码
    (C)预测编码和变换编码 (A)统计编码和算术编码

    101、6.下面哪些是 MMX技术的特点? (D )
    (1)打包的数据类型 (2)与 IA 结构完全兼容
    (3)64 位的 MMX寄存储器组 (4)增强的指令系统
    (A)(1)(2)(4) (B)(2)(3)(4)
    (C)(1)(2)(3) (D)全部

    102、7.15 分钟双声道、 16 位采样位数、 44.1KHz采样频率声音的不压缩的数据量? ( B)
    (A)75.7MB (B)151.4MB
    (C)2.5MB (D)120.4MB

    103、8.15 秒 NTSC制 640×480分辨率 24 位真彩色数字视频的不压缩的数据量是多少? ( A)
    (A)395.5MB (B)329.6MB
    (C)13.2MB (D)218.6MB

    104、9.超文本和超媒体体系结构主要由三个层次组成,它们分别是? ( C)
    (1)用户接口层 (2)超文本抽象机层
    (3)数据库层 (4)应用层
    (A)(1)(2)(4) (B)(2)(3)(4)
    (C)(1)(2)(3) (D)(1)(3)(4)

    105、10.多媒体创造过程可分为那些步骤? ( A)
    (A)应用目标分析、脚本编写、设计框架、各种媒体数据准备、制成合成、测试
    (B)应用目标分析、设计框架、脚本编写、各种媒体数据准备、制成合成、测试
    (C)应用目标分析、脚本编写、各种媒体数据准备、设计框架、制成合成、测试
    (D)应用目标分析、各种媒体数据准备、脚本编写、设计框架、制成合成、测试

    106、多媒体技术的主要特性有( D)。

    (1)多样性 (2)集成性 (3)交互性 (4)实时性
    A.仅(1) B. (1)( 2) C. (1)(2)(3) D. 全部

    107、一般认为,多媒体技术研究的兴起,从(B )开始。
    A.1972 年,Philips 展示播放电视节目的激光视盘
    B.1984 年,美国 Apple 公司推出 Macintosh 系统机
    C.1986 年,Philips 和 Sony公司宣布发明了交互式光盘系统 CD-I
    D.1987 年,美国 RCA公司展示了交互式数字视频系统 DVI

    109、3. 请根据多媒体的特性判断以下哪些属于多媒体的范畴( B)。
    (1)交互式视频游戏 (2)有声图书 (3)彩色画报 (4)彩色电视
    A.仅(1) B. (1),( 2) C. (1),(2),( 3) D. 全部

    110、4. 超文本是一个(B )结构。
    A.顺序的树形 B. 非线性的网状 C. 线性的层次 D. 随机的链式

    111、5. 两分钟双声道、 16 位采样位数、 22.05kHz 采样频率声音的不压缩的数据量是(A )。
    A.10.09MB B.10.58MB C.10.35KB D.5.05MB

    112、什么时候需要使用 MIDI,( B)。
    (1)没有足够的硬盘存储波形文件时
    (2)用音乐伴音,而对音乐质量的要求又不是很高时
    (3)想连续播放音乐时
    (4)想音乐质量更好时
    A.仅(1) B. (1),(2) C. (1),( 2),(3) D. 全部

    113、7. 下述声音分类中质量最好的是( A)。
    A.数字激光唱盘 B. 调频无线电广播
    C.调幅无线电广播 D. 电话

    114、8. 在数字视频信息获取与处理过程中,下述顺序( C)是正确的。
    A.A/D 变换、采样、压缩、存储、解压缩、 D/A 变换
    B.采样、压缩、 A/D变换、存储、解压缩、 D/A 变换
    C.采样、A/D变换、压缩、存储、解压缩、 D/A 变换
    D.采样、D/A变换、压缩、存储、解压缩、 A/D 变换

    115、9下列关于 Premiere 软件的描述(C )是正确的。
    (1)Premiere 软件与 Photoshop 软件是一家公司的产品
    (2)Premiere 可以将多种媒体数据综合集成为一个视频文件
    (3)Premiere 具有多种活动图像的特技处理功能
    (4)Premiere 是一个专业化的动画与数字视频处理软件
    A.(1),( 3) B. (2),( 4)
    C.(1),( 2),( 3) D. 全部

    116、10. 下列多媒体创作工具( B)是属于以时间为基础的著作工具。
    (1)Micromedia Authorware (2)Micromedia Action
    (3)Tool Book (4)Micromedia Director
    A.(1),( 3) B. (2),(4)
    C.(1),( 2),(3) D. 全部

    117、11. 下列(B )是 Authorware 的功能特点。B
    (1)跨平台体系结构 (2)高效的多媒体集成环境
    (3)面向对象的脚本语言 Lingo (4)灵活的交互方式
    A.(1),( 3),(4) B. (1),( 2),(4)
    C.(1),( 2),(3) D. 全部

    118、12. 数字视频的重要性体现在( C)。
    (1)可以用新的与众不同的方法对视频进行创造性编辑
    (2)可以不失真地进行无限次拷贝
    (3)可以用计算机播放电影节目
    (4)易于存储
    A.仅(1) B. (1),( 2)
    C.(1),( 2),( 3) D. 全部

    119、13. 要使 CD-ROM驱动器正常工作,必须有(B )软件。
    (1)该驱动器装置的驱动程序( 2)Microsoft 的 CD-ROM扩展软件
    (3) CD-ROM测试软件 (4) CD-ROM应用软件
    A.仅(1) B. (1),( 2) C. (1),(2),( 3) D. 全部

    120、14. 下列关于数码相机的叙述( C)是正确的。
    (1)数码相机的关键部件是 CCD(2)数码相机有内部存储介质
    (3)数码相机拍照的图像可以通过串行口、 SCSI或 USB接口送到计算机
    (4)数码相机输出的是数字或模拟数据
    A.仅(1) B. (1),( 2) C. (1),(2),( 3) D. 全部

    121、15. 多媒体的引入,对多媒体数据库会产生的影响是( B)。
    (1)影响数据库的组织和存储方法
    (2)种类繁多的媒体类型,增加了数据处理的困难
    (3)改变了数据库的操作形式,其中最重要的是查询机制和查询方法,但不改变数据库的接口
    (4)必须增加处理长事务的能力
    A.(1),( 2),(3) B. (1),( 2),(4)
    C.(2),( 3),(4) D. 全部

    122、下面关于多媒体技术地描述中,正确的是: ( C)

    A. 多媒体技术只能处理声音和文字 B. 多媒体技术不能处理动画
    C. 多媒体技术就是计算机综合处理声音、文本、图像等信息的技术
    D. 多媒体技术就是制作视频

    123、下列各组应用不属于多媒体技术应用的是 (B ) 。
    A. 计算机辅助教学 B. 电子邮件 C. 远程医疗 D. 视频会议

    124、3、多媒体技术的产生与发展正是人类社会需求与科学技术发展相结合的结果,那么多媒体技术诞生于 ( C) 。
    A. 20 世纪 60 年代 B. 20 世纪 70 年代 C. 20 世纪 80 年代 D. 20 世纪 90 年代

    125、4、下列配置中哪些是 MPC(多媒体计算机 )必不可少的硬件设备? ( C)
    ①CD-ROM 驱动器 ②高质量的音频卡 ③高分辩率的图形图像显示卡
    ④高质量的视频采集卡
    A.① B.①、② C.①、②、③ D.全部

    126、5、下列关于多媒体技术主要特征描述正确的是: ( D)
    ①多媒体技术要求各种信息媒体必须要数字化 ; ②多媒体技术要求对文本,声
    音,图像,视频等媒体进行集成 ; ③多媒体技术涉及到信息的多样化和信息载
    体的多样化 ; ④交互性是多媒体技术的关键特征 ; ⑤多媒体的信息结构形式是
    非线性的网状结构 ;
    A. ①②③⑤ B. ①④⑤ C. ①②③ D. ①②③④⑤

    127、6、媒体技术能够综合处理下列哪些信息 ( B)
    ①龙卷风 .mp3 ②荷塘月色 .doc ③发黄的旧照片④泡泡堂 .exe ⑤一卷胶卷
    A. ①②④ B. ①② C. ①②③ D. ①④

    128、7、(C ) 是将声音变换为数字化信息,又将数字化信息变换为声音的设备。
    A. 音箱 B. 音响 C. 声卡 D. PCI 卡

    129、8、把时间连续的模拟信号转换为在时间上离散,幅度上连续的模拟信号的过程称为( B)
    A.数字化 B.信号采样 C.量化 D.编码

    130、9、(A )是分析多媒体作品开发的必要性和可行性的步骤。
    A.需求分析 B.规划设计 C.素材采集与加工 D.作品发布与评价

    131、10、对多媒体体作品的运行环境给出说明,要求制作者按照这一环境进行开发制作,是在多媒体作品开发的 (A ) 阶段。
    A.需求分析 B. 规划设计 C. 作品的集成 D. 测试

    132、多媒体作品界面的设计要遵循一定的原则和方法,它们是: ( C) ①注意突出主题信息 ②界面布局要简明清晰 ③界面布局应该有整体上的一致性④注意文字显示的效果
    A.①②③ B. ①②④ C. ①②③④ D. ②③④133、

    134、12、制作多媒体作品的直接依据是 ( A)
    A. 制作脚本 B. 结构设计 C. 文字稿本 D. 需求分析

    135、13、静态图像压缩标准是 ( D) 。
    A. JPAG B. JPBG C. PDG D.JPEG

    136、14、以下列文件格式存储的图象,在图象缩放过程中不易失真的是 ( B) 。
    A. BMP B. WMF C. JPG D. GIF

    137、15、下列哪个文件格式既可以存储静态图像,又可以存储动画 ( D)
    A. bmp B. jpg C. tif D. gif

    138、16、下面文件格式不是矢量图文件格式的是 (B ) 。
    A.cdr B.jpg C.wmf D.A

    139、17、一幅彩色静态图像( RGB),设尺寸为 256×512,每一种颜色用 8bit 表示,则该彩色静态图像的数据量为(C )。
    A、512×512×3×8bit B 、256×256×3×8bit
    C、256×512×3×8bit D 、512×512×3×8×25bit

    140、18、一张容量为 640M的光盘,可以贮存 ( B) 张分辨率为 1024×768 的真彩 (24位)相片。
    A.568 B.284 C.1137 D. 以上都不是

    141、19、当利用扫描仪输入图像数据时,扫描仪可以把所扫描的照片转化为 (A ) 。
    A.位图图像 B. 矢量图 C. 矢量图形 D. 三维图

    142、20、在进行素材采集的时候,要获得图形图像,下面哪种方法获得的不是位图图像( D) 。
    A.使用数码相机拍得的照片
    B. 使用 PhotoShop制作的图片
    C.使用扫描仪扫描杂志上的照片
    D. 在 Office 中联机从网络中获得的剪贴画(wmf )文件

    143、21、某同学从网上下载了若干幅有关奥运会历史的老照片,需要对其进行旋转、裁切、色彩调校、滤镜调整等加工,可选择的工具是 ( B) 。
    A.Windows自带的画图程序 B.Photoshop C.Flash D.CooL3D

    144、23、以下哪个软件不是常用的图形图像处理软件。 D
    A.Painter B.Freehand C.CorelDraw D.FrontPage145、

    146、24、以下关于图形图像的说法哪个是正确的: (B )
    A. 位图图像的分辨率是不固定的
    B. 矢量图形放大后不会产生失真
    C. 位图图象是以指令的形式来描述图像的
    D. 矢量图形中保存有每个像素的颜色值

    147、25、在 Photoshop中,以下哪种工具不能帮助我们抽出图像 (抠图)?(A )
    A.仿制图章 B.磁性套索 C.魔棒工具 D.抽出虑镜

    148、26、Windows所用的标准音频文件扩展名为 ( A) 。
    A.WAV B.VOC C.MID D.MOD

    149、27、在音频数字化的过程中,对模拟语音信号处理的步骤依次为 (A ) 。
    A.抽样、量化、编码
    B. 量化、抽样、编码
    C.抽样、编码、量化
    D. 编码、量化、抽样

    150、28、下列不是声音处理软件的是 (D ) 。
    A.GlodWave B.Sound Forge C.CoolEdit D.RealOn

    151、29、李明买了一款杂牌 MP3,想往机器里添加一些歌曲,于是到网上下载了一些非常喜欢的歌曲,有 rm、mp3、wav 等格式,结果有些特别喜欢的歌曲在电脑里播放的好好的。 传到 MP3 中却不能播放,你认为可能是什么原因? (B )
    A.传到 mp3 前必须对音频文件进行格式转换
    B.MP3 播放器不支持某些音频文件格式
    C.MP3 播放器不支持除 MP3 格式外的其他音频文件
    D.以上都对

    152、30、MPEG是数字存储 (B ) 图像压缩编码和伴音编码标准。
    A.静态 B. 动态 C. 点阵 D. 矢量

    153、31、1分钟声音,双声道、8位采样位、原始声音频率为 11.025kHz,数据量为 (C ) 。
    A.0.66MB B.2.6MB C.1.26MB D.20.7MB

    154、32、采用下面哪种标准采集的声音质量最好? (D ) 。
    A. 单声道、 8 位量化、 22.05kHz 采样频率
    B. 双声道、 8 位量化 ,44.1kHz采样频率
    C. 单声道、16 位量化、22.05kHz 采样频率
    D. 双声道、16 位量化、44.1kHz采样频率

    155、33、小明在一本彩色杂志上看到一个很可爱的企鹅图片,他想用来做多媒体素材,但是它并不想要任何的背景元素,小明的操作步骤如下,正确的是(B )
    ① 利用多边形套索工具把企鹅从背景中勾出来,并通过 CTRL+C复制到剪贴板中
    ② 使用扫描仪将杂志上的企鹅扫描到电脑中
    ③ 将新图像保存为 GIF 格式文件
    ④ 新建一个透明背景的图像,并通过 CTRL+V粘贴过来
    ⑤ 启动 Photoshop,打开企鹅图片
    A.⑤②①④③ B.②⑤①④③ C.②⑤③①④ D.⑤②③①④

    156、34、下列关于电脑录音的说法,正确的是(B )
    A、录音时采样频率越高,则录制的声音音量越大
    B、录音时采样频率越高,则录制的声音音质越好
    C、Windows自带的“录音机”工具可以进行任意长度时间的录音
    D、音乐 CD中存储的音乐文件可以直接拷贝到计算机中使用

    157、35、小强从学校赶回家时,爷爷将父亲出国前对小强的嘱托用录音笔录了下来,可惜声音很小。小强急切的用刚学到的声音处理技术把声音本身固有的音量调
    高了,操作步骤如下,正确的是 ( B )
    ① 启动 GoldWave ,打开录音文件
    ② 把录音从录音笔导入电脑中
    ③ 点击菜单“效果 / 音量/定型”
    ④ 在录音结束的地方点击鼠标右键, 从弹出的下拉菜单中选择 “设置结束标记”
    ⑤ 在录音开始的地方点击鼠标右键, 从弹出的下拉菜单中选择 “设置开始标记”
    ⑥ 试听,如果声音不够大,继续调整音量线大于 1.0 ,最后保存文件
    ⑦ 在音量控制面板中调
    A.①②③⑤④⑦⑥ B.②①⑤④③⑦⑥
    C.②①③⑦⑤④⑥ D.①②③④⑤⑥⑦

    158、36、在 GoldWave中,可以完成从 CD盘上获取音频文件的功能,其生成文件的格式是( A ) 。
    A.WAV B. MIDI C. MP4 D. MP3

    159、37、张军同学用麦克风录制了一段 WAV格式的音乐,由于文件容量太大,不方便携带。在正常播放音乐的前提下,要把文件容量变小,张军使用的最好办法是( b ) 。
    A.应用压缩软件,使音乐容量变小 B. 应用音频工具软件将文件转换成MP3格式
    C.应用音乐编辑软件剪掉其中的一部分 D. 应用音频编辑工具将音乐的音量变小

    160、38、刘丽同学想多种方法获取声音文件,下面哪些方法才是正确获取的( B ) 。
    ①从光盘上获取 ②从网上下载 ③通过扫描仪扫描获取 ④使用数码相
    机拍摄 ⑤用录音设备录制 ⑥用软件制作 MIDI 文件
    A. ①②③④ B. ①②⑤⑥ C. ③④⑤⑥ D. ②③⑤⑥

    161、39、王芳同学利用 Goldwave要制作一段配乐诗朗诵,她首先打开音乐文件和朗诵诗歌的声音文件,选取诗歌声音文件后,她需要在音乐文件的适当位置进行下面那个操作 ( C )
    A.选择粘贴命令 B. 选择回声命令 C. 选择混音命令 D. 选择复制命令

    162、40、采用工具软件不同,计算机动画文件的存储格式也就不同。以下几种文件的格式那一种不是计算机动画格式 ( B )
    A. GIF 格式 B. MIDI 格式 C. SWF 格式 D. MOV 格式

    163、41、小华做了一个多图层的 FLASH,她以第一层为背景, 但是在播放的过程中,背景却只在第一帧出现一瞬间就没再出现了。请问她操作的时候可能在哪个环节出错了? ( C )
    A.她锁定了背景层 B.多个图层叠加,挡住了背景层
    C.她没有在背景层的最后一帧按 F5 D.她在背景层的最后一帧按了 F7

    164、42、以下关于 Flash 遮罩动画的描述,哪项是正确的? ( C )
    A. 遮罩动画中,被遮住的物体在遮罩层上
    B. 遮罩动画中,遮罩层位于被遮罩层的下面
    C. 遮罩层中有图形的部分就是透明部分
    D. 遮罩层中空白的部分就是透明部分

    165、43. 按钮元件默认有 ______帧 ( C )
    A.2 B.3 C.4 D.5

    166、44、用 Flash 制作一个小球沿弧线运动动画。操作步骤如下,正确的是
    ( D ) : ① 新建一个“图形元件”,用椭圆工具在元件
    的第 1 帧处画一个小球 ; ② 新建一个 Flash 文件; ③ 从库中把“小球”拖到
    “图层 1”的第 1 帧,并跟引导线的一端重合 ; ④ 点击“增加运动引导层”按
    钮,在“图层 1”上新建一个引导层 ; ⑤ 用铅笔工具在引导层上画一条平滑的
    曲线,延长到第 40 帧,并锁定 ; ⑥ 测试并保存 ; ⑦ 在第 40 帧处按 F6 插入关
    键帧,把小球拖到引导线的另一端,与其重合 ;
    A. ②①⑤④⑦③⑥ B. ①②③⑦④⑤⑥ C. ①②④③⑤⑦⑥ D. ②①
    ④⑤③⑦⑥

    167、45、适合制作三维动画的工具软件是 ( D )
    A. Authorware B. Photoshop C. Auto CAD D. 3D MAX

    168、46、计算机获取视频信息的方法有 ( A )。
    ① 截取现有的视频文件。
    ② 通过视频采集卡采集视频信息。
    ③ 利用软件把静态图像文件序列组合成视频文件。
    ④ 将计算机生成的电脑动画转换成视频文件。
    A.①②③④ B. ①②③ C. ①③④ D. ②③④

    169、47、在学校的文艺汇演中,张敏班上要排练一出英语剧,文娱委员让她帮忙从已有的 VCD光盘中截取一个片段,操作步骤如下,正确的是 ( C )
    ①在需要截取片段的起止处分别单击起点按钮和结束按钮
    ②单击循环 / 结束按钮
    ③单击录制 MPG按钮,开始截取录像
    ④利用超级解霸播放需要截取的 VCD
    A.①②③④ B.②①③④ C.④②①③ D.④①②③

    170、48、利用会声会影软件对视频加工,设置过度效果时要把相应的效果拖到( A ) 。
    A.两视频之间 B. 第一个视频的开头 C. 第二个视频的结尾 D. 任何地

    171、49、Authorware 是基于( D ) 的多媒体集成软件。
    A.幻灯片 B. 页面和卡片 C. 时间线 D. 图标

    172、50、在 Authorware 中实现模块化的设计, 将多个图标集成为一个模块需要使用到( A ) 。
    A.组图标 B. 计算图标 C. 交互图标 D. 等待图标

    173、53. Authorware 中,跳转语句 GoTo(IconID@“ ”)放在( A )图标内。
    A.移动图标 B.计算图标 C.交互图标 D.显示图标

    174、55、Authorware 片头动画运行到某一画面时停下来,要按任意键或按鼠标才继续运行下去,这是因为 ? 流程线上设置了 ( B )
    A.声音图标 B. 等待图标 C. 移动图标 D. 删除图标

    175、56、Authorware 的“一键发布”是指? ( D )
    A.将作品发布到网站上 B. 将作品发布到光盘上
    C. 将作品发布到本地硬盘上D.将作品发布到网站、光盘、本地硬盘或局域网

    176、57、在网上浏览故宫博物馆,如同身临其境一般感知其内部的方位和物品,这是( B ) 技术在多媒体技术中的应用。
    A.视频压缩 B. 虚拟现实 C. 智能化 D. 图像压缩

    58、虚拟现实是一项与多媒体密切相关的边缘技术,它结合了 ( C ) 等多
    种技术。 ; ① 人工智能 ②流媒体技术 ③计算机图形技术 ④传感技术 ; ⑤
    人机接口技术 ⑥计算机动画 ;
    A. ①②③④⑤⑥ B. ①②③④⑤ C. ①③④⑤⑥ D. ①③④⑤
    59、虚拟现实系统的特点是沉浸感、交互性、和 ( D ) 。
    A.多元性 B. 真实性 C. 实时性 D. 多感知性

    60、(C )技术大大地促进了多媒体技术在网络上的应用,解决了传统多
    媒体手段由于数据传输量大而与现实网络传输环境发生的矛盾。
    A.人工智能 B. 虚拟现实 C. 流媒体 D. 计算机动画

    177、1. 不属于流媒体特点的是: ( D)
    A 启动延时大幅度缩短 B 对系统缓存容量的需求大大降低
    C 流式传输的实现有特定的实时传输协议 D 一种新的媒体

    1. 流媒体的核心技术是: B
      A 流媒体的网络传输 B 数据压缩 / 解压缩技术
      C 媒体文件在流式传输中的版权保护问题 D 视音频技术

    2. 不属于流媒体传输的网络协议的是: B
      A RTP B HTTP C RTSP D RTCP

    3. 下列描述中正确的是: A
      A 视频数据由 RTP传输,视频质量由 RTCP控制,视频控制由 RTSP提供。
      B 视频数据由 RTCP传输,视频质量由 RTP控制,视频控制由 RTSP提供。
      C 视频数据由 RTP传输,视频质量由 RTSP控制,视频控制由 RTCP提供。
      D 视频数据由 RTSP传输,视频质量由 RTCP控制,视频控制由 RTP提供。

    4. 不属于数字音频格式的是: D
      A MIDI 格式 B CD 格式 C WAVE格式 D AVI 格式

    5. 不属于流式传输方式与传统下载方式相比的优点的是: A
      A 成本低廉 B 启动延时短
      C 对系统缓存容量的需求大大降低 D 流式传输的实现有特定的实时传输协议

    6. 下面四个选项中哪一个不是常见的流媒体应用: ( D )
      A 电视上网 B 在线电台 (C )视频会议 D 文件传输

    7. 流媒体的特点不包括:( B )
      A 缩短启动延时 B 只需占用很小带宽
      C 对系统缓存要求低 D 流式传输有特定的实时传输协议

    9.windows media 的组件不包括以下四个中的哪一个 : ( C )
    A windows media 工具 B windows media 服务器
    C windows media 编码器 D windows media 播放器

    10.IPTV 关键技术不包括( D )
    A音视频编码技术 B 流媒体传送技术
    C数字版权管理技术 D移动流媒体技术

    1. 下列格式不属于流媒体格式的是: ( C)
      A *.mp3 B *.mpg C *.exe D *.avi

    2. 与单纯的下载方式相比,流媒体的特点不包括: ( D )
      A 启动延时大幅度缩短
      B 流式传输的实现有特定的实时传输协议
      C 对系统缓存容量的需求大大降低
      D 传输过程中占用大量的空间

    3. 常见的流媒体的应用不包括( C )
      A 视频点播 B 电视上网 C 网络游戏 D 远程教学

    4. 对 RTCP解释正确的是( D )
      A 实时传输协议 B 实时流协议 C 资源预留协议 D 实时传输控制协议

    15.Internet 上针对多媒体数据流的一种传输协议是( A)
    A RTP B RTSP C RTCP D RSVP

    16 以下不属于音频格式的是 C
    A CD格式 B WAVE 格式 C RMVB格式 D RA 格式

    1. 与 MP3相比,以下不属于 MP4的特点的是 C
      A.支持版权保护
      B 有独特的数字水印
      C 体积大
      D 比较完善的播放功能

    2. 以下不属于视频频格式的是 D
      A AVI 格式 B ASF 格式 C MKV 格式 D AV 格式

    3. 下面不是流媒体网络发布形式的是 (C )
      A 网络点播 B 网络实时广播 C 散播 D 网络非实时广播

    4. 创建一个 RealText 文档, 并在网络上发布的一般步骤为 ( B )
      A (1)(2)(3)(5)(4) B (1)(4)(2)(5)(3)
      C (3)(2)(5)(1)(4) D (1)(3)(2)(4)(5)
      (1) 选择一种窗口风格;
      (2) 保存为.Rt 文件
      (3) 在网页上建立和 SMIL文件的超链接,并进行测试
      (4) 输入文本内容
      (5) 如果要将 RealText 文件和其他媒体同时发布, 可以建立一个 SMIL文
      件来控制整个播放行为

    5. 传输 RealText 文件只需要很少的网络带宽,通常小于( A )
      A:1Kbps B :2Kbps C:3Kbps D :4Kbps

    6. 以下哪个不是流媒体技术的特点? C
      A 启动延时大幅度缩短 B 对系统缓存容量的需求大大降低
      C 对带宽要求大大降低 D 流式传输的实现由特定的实时传输协议

    20.RM是 A 公司的流式文件格式。
    A RealNetworks B Microsoft C QuickTime D Flash

    1. 以下哪些不是 Mindows Media 版权管理器的基本工作过程 B
      A 打包 B 传输
      C 发布 D 获取许可证

    2. 下面不属于流媒体网络的传输特点的是: D
      A 启动延时短
      B对系统缓存容量需求降低
      C具有特定的实时传输协议
      D由网络视频服务器向用户计算机非连续、实时传送。

    3. 在以下的实时流传输协议中,视频数据主要由哪个协议传输: A
      A RTP B RTCP C RTSP D RSVP

    4. 下面哪个不是流媒体转换用的软件 B
      A狂雷视频转换 B 酷狗
      C超级转换秀 D MediaCoder

    5. 利用 Microsoft Producer 制作流媒体课件中,导入 PowerPoint 幻灯片用到
      以下哪个文件夹: ( D)
      A Video B Audio C Images D Sliders

    26.MPEG—2 为更好地表示编码数据,用句法为视频编码码流规定了一个层次性的 结 构 , 共 分 为 六 个 层 次 , 层 层 打 包 , 从 上 至 下 依 次 为
    ( D)
    (1) 图像层 (2)图像组层 (3)视频序列层 (4)像条层 (5) 像块层
    (6)宏块层
    A 3 5 6 2 4
    B 2 6 5 4 1 3
    C 5 4 1 3 2 6
    D 3 2 1 4 6 5

    1. 以下哪个不是音频格式? A
      A MKV B CD C WAVE D AIF

    2. 下列哪个不是流媒体网络发布形式? ( D)
      A网络点播 B 网络实时广播 C 网络非实时广播 D 网络组播

    3. 下列哪个是流媒体视频格式? A
      A DivX B MP3 C MP4 D RA

    4. 创建一个 RealText 文档,并在网络上发布的一般步骤, 不包括下面哪一项?D
      A选择一种窗口风格 B 输入文本内容 C 保存为 .rt 文件 D 测试

    5. 下面不属于流媒体传输的网络协议的是 ( D )
      A RTP B RTCP C RTSP D FTP

    6. 以下不属于典型流媒体应用系统的是 D
      A Windows Media B RealSystem C QuikTime D 暴风影音

    32.流媒体技术有两个关键特征:数据压缩及 D
    A 格式转换方便 B 兼容性好 C 灵活度高 D 流失传输

    1. 以下不属于流媒体传输的网络协议的的是 B
      A RTP B SJMP C RTCP D RTSP

    2. 下列选项与下载方式相比属于流式传输特点的是 A
      A 启动延时短 B 对系统缓存容量的需求较大
      C流式传输的实现不需要特定的实时传输协议 D 需要较大的网络带宽

    3. 以下不属于数字音频格式的 D
      A MIDI B CD C AIF D WMV

    4. 为了编辑 RelText 文件和测试其播放和网络传输效果不需要具备的工具是 C
      A 文本编辑器 B RealPlayer
      C 音频播放器 D Real 服务器或 Web服务器

    5. 下列哪些格式不是流媒体文件格式? D
      A rm B asf C flv D mp3

    6. 以下哪个是 MPEG-4关键技术? A
      A 视频对象提取技术 B DCT C 量化 D 信道缓存

    7. 下列关于 MPEG-4的说法错误的是 D
      A MPEG-4标准的基本内容就是 AV对象的编码 . 存储. 传输和组合 .
      B MPEG-4制定的目标是低比特率的多媒体通信
      C MPEG-4是多工业的多媒体通信的综合
      D MPEG-4关键技术不包括 VOP视频编码技术

    8. 不是流媒体关键技术的是 C
      A 数据压缩技术 B 媒体文件在流式传输中的版权保护问题
      C MPEG 压缩技术 D 流媒体的网络传输

    9. 以下哪个选项不是 RealMedia 文件的报头部分 B
      A 文件报头 B 流组织报头 C 属性报头 D 媒体属性报头

    10. 当使用 MMS协议连接到发布点时, MMS协议按照下列顺序自动查找流媒体的最佳传输途径中不包括 D
      A .UDP B TCP C HTTP D DNS

    11. 下列哪个不是流媒体传输的网络协议 ? D
      A RTP B RTCP C RTSP D ICMP

    12. 下列哪个是流媒体视频播放格式 ? (B)
      A MP3 B SWF C AVI D RMVB

    178、在运用色彩的感知性创意设计中,把一个颜色与它的补色配合起来的设计方式称为【B 】
    A .无色设计 B .冲突设计 C .单色设计 D .二次色设计

    展开全文
  • 实验1 基于MFC的多媒体播放器的设计与实现 word文档下载 一、实验目的: 利用MFC在VC++或其它语言环境下设计一个多媒体播放器,进一步熟悉与掌握多媒体编程的基本技术与方法。 二、实验要求: 1、制作一个如下图的...

    实验1  基于MFC的多媒体播放器的设计与实现

    • 实验目的:

    利用MFC在VC++或其它语言环境下设计一个多媒体播放器,进一步熟悉与掌握多媒体编程的基本技术与方法。

    • 实验要求:

    1、制作一个多媒体播放器界面,并尽量实现全部或绝大部分功能。

    2、用.mp3、.avi等格式文件进行播放测试,并获取播放效果图。

    3、完成ABOUTBOX的版权信息

    4、完成并测试程序后将源程序文件夹压缩后上传网络课堂,请确保程序的正确性与可执行性,老师通过执行你的程序从而给你计算本次实验成绩。

    5、认真完成实验报告,必须包括实验目的,实验工具、设计框图、实验步骤、所完成的主要设计内容与方法、实验分析与总结等内容。
    实验指导与基本步骤:

    使用VC++6.0的AppWizard、ClassWizard和其中的各种控件可以方便地建立各种应用程序。但是想要实现更高级更复杂的功能,就要借助丰富的ActiveX控件资源。本实验计划使用VC++6.0自带的一个ActiveX控件——ActiveMovieControl Object,来设计多媒体播放器。此多媒体具有一般的播放功能,能播放:*.mp3,*.wma,*.mdi,*.wav,*.avi,*.dat等文件,还有Repeat功能。

    1、注册控件:在windows“运行”里写入:regsvr32 msdxm.ocx 单击确定。

    2、打开VC6.0,在Projects下选择MFC AppWizard(exe),并取名VedioPlayer,然后建立基于对话框的应用程序。最后删除“确定”按钮,保留“取消”按钮。

    3、打开Resource View,选择其中的对话框,打开其中的主对话框,去掉对话框上的“确定”按钮,保留“取消”,将Caption改为“退出”。然后再在上面加上几个按钮,ID和Caption分别为

    IDC_OPEN,打开;

    IDC_PLAY,播放;

    IDC_PAUSE,暂停;

    IDC_STOP,停止;

    IDC_CLOSE,关闭;

    IDC_LOWER,-;

    IDC_UPPER,+;

    IDC_FULLSCREEN,全屏;

    。。。。。。

    4、加入ActiveMovieControl控件。打开Projects->Add to Project->Components and Controls->Registered ActiveX Controls对话框,选择其中的ActiveMovieControl Object, Insert,OK之后,会发现控件面板上多了一项ActiveMovieControl Object,将它选中,直接放在对话框上,并拖成合适大小。

    5、ActiveMovieControl控件设置变量m_ActiveMovie。点中它,按Ctrl+W打开ClassWizard为它添加变量m_ActiveMovie。

    6、为程序添加消息处理函数。打开ClassWizard,为各个按钮加入消息处理函数。在MediaPlayerDlg.cpp文件里为各消息处理函数添加代码,部分代码如下:

    void CVediorDlg::OnClose()

    {

    m_ActiveMovie.CloseWindow();//关闭窗口

    }

    void CVedioPlayerDlg::OnOpen()

    {

    char szFileFilter[]=

    "Mp3 File(*.mp3)|*.mp3|"

    "Wma File(*.wma)|*.wma|"

    "Video File(*.dat)|*.dat|"

    "Wave File(*.wav)|*.wav|"

    "AVI File(*.avi)|*.avi|"

    "Movie File(*.mov)|*.mov|"

    "Media File(*.mmm)|*.mmm|"

    "Mid File(*.mid;*,rmi)|*.mid;*.rmi|"

    "MPEG File(*.mpeg)|*.mpeg|"

    "All File(*.*)|*.*||";//文件类型过滤

    CFileDialog dlg(TRUE,NULL,NULL,OFN_HIDEREADONLY,szFileFilter);

    if(dlg.DoModal()==IDOK){

    CString PathName=dlg.GetPathName();

    PathName.MakeUpper();//这个函数可以将CString字符转化为一个大写的字符串

    m_ActiveMovie.SetFileName(PathName);

    }

    }

    void CVedioPlayerDlg::OnPlay()

    {

    m_ActiveMovie.Run();//播放文件

    SetTimer(0,20,NULL);//设置定时器

    //0:计时器的名称;20:时间间隔,单位是毫秒;NULL:使用OnTimer函数。

    }

    void CVedioPlayerDlg::OnStop()

    {

    m_ActiveMovie.Stop();//停止播放文件

    KillTimer(0);//关掉定时器

    }

    void CVedioPlayerDlg::OnPause()

    {

    m_ActiveMovie.Pause();//暂停播放

    }

    void CVedioPlayerDlg::OnUpper()//增加音量

    {

    long Volume=m_ActiveMovie.GetVolume();

    m_ActiveMovie.Pause();

    m_ActiveMovie.SetVolume(Volume+100);

    m_ActiveMovie.Run();

    }

    void CVedioPlayerDlg::OnLower()//减少音量

    {

    long Volume=m_ActiveMovie.GetVolume();

    m_ActiveMovie.Pause();

    m_ActiveMovie.SetVolume(Volume-100);

    m_ActiveMovie.Run();

    }

    void CVedioPlayerDlg::OnFulscreeen()//全屏播放

    {

    m_ActiveMovie.Pause();

    m_ActiveMovie.SetFullScreenMode(true);

    m_ActiveMovie.SetMovieWindowSize(SW_SHOWMAXIMIZED);

    m_ActiveMovie.Run();

    }

    这里需要注意的是,下面的函数OnTimer()需通过ClassWizard(Ctrl+W)来添加,不能直接复制:

     

    void CVedioPlayerDlg::OnTimer(UINT nIDEvent)

    {

    double CurrentPos=m_ActiveMovie.GetCurrentPosition();

    if(CurrentPos==0&&isRepeat)//如果当前是文件的起始位置而且为重复播放状态

    m_ActiveMovie.Run();

    CDialog::OnTimer(nIDEvent);

    }

    7、为使播放器具有重复播放功能,需在头文件VedioPlayerDlg.h 加入控制变量BOOL isRepeat;类型可为Private。

    同时修改OnInitDialog()函数:

    BOOL CMediaPlayerDlg::OnInitDialog()

    {

    CDialog::OnInitDialog();

    isRepeat=FALSE;

    ……

    }

    本文实现的MFC播放器如下图所示

    所有功能均已实现,点击获取代码和文档 

    展开全文
  • 多媒体理论

    2020-01-02 22:38:47
    多媒体理论媒体媒体的含义媒体的种类多媒体多媒体的定义多媒体数据处理过程多媒体技术多媒体技术的定义多媒体技术的特征多媒体系统结构多媒体系统的定义多媒体系统的层次结构多媒体系统的基本组成多媒体硬件系统声音...

    媒体

    媒体的含义

    1. 储存信息的实际载体
      在这里插入图片描述
    2. 表示信息的逻辑载体
      在这里插入图片描述

    媒体的种类

    1. 感觉媒体(接触信息的感觉形式)
      在这里插入图片描述
    2. 表示媒体(处理感觉媒体人为构造的一种媒体)
      在这里插入图片描述
    3. 显示媒体(表现和获取信息的物理设备)
    • 输入显示媒体
      在这里插入图片描述
    • 输出显示媒体
      在这里插入图片描述
    1. 存储媒体(用来存放表示媒体)
      在这里插入图片描述
    2. 传输媒体(传输数据的物理载体)
      在这里插入图片描述

    多媒体

    多媒体的定义

    在这里插入图片描述

    • 多媒体是融合两种或两种以上表示媒体的一种人机交互式信息交流和传播的媒体。

    多媒体数据处理过程

    在这里插入图片描述

    多媒体技术

    多媒体技术的定义

    • 将多媒体信息通过计算机进行数字化采集、编码、存储、传播、处理和再现等,使多媒体信息简历逻辑连接,并集成一个具有交互性的系统。
    • 综合处理—>图、文、声、像

    多媒体技术的特征

    1. 多样性(综合处理多媒体信息,将计算机处理的信息空间扩大)
    2. 集成性(多种媒体信息的集成,以及与这些媒体相关的设备集成)
    3. 交互性(能为用户提供有效的控制和使用信息的手段)
    4. 实时性(能对静态媒体,尤其是动态媒体进行实时处理能力)

    多媒体技术的发展历程

    多媒体技术的标准进展

    1. 静态图像压缩标准
      • JPEG
      • JPEG 2000
    2. 动态图像压缩标准
      • MPEG-1(视频存储和回放VCD/MP3)
      • MPEG-2(数字电视DVD/HDTV)
      • MPEG-4(基于媒体对象的存储)
      • MPEG-7(多媒体的内容描述标准)
      • MPEG-21(多媒体框架标准)

    多媒体系统结构

    多媒体系统的定义

    • 能对文本、音频、图形、图像、动画和视频等多媒体信息进行逻辑互连、获取、编辑、存储和播放的一种具有交互性的计算机系统。

    多媒体系统的层次结构

    在这里插入图片描述

    多媒体系统的基本组成

    在这里插入图片描述

    多媒体硬件系统

    *由计算机主机以及可以接收和播放多媒体信息的各种多媒体外部设备及其接口板卡组成

    1. 计算机
      在这里插入图片描述
    2. 多媒体板卡
      在这里插入图片描述
    3. 多媒体外部设备
      在这里插入图片描述

    多媒体软件系统

    多媒体系统软件

    在这里插入图片描述

    多媒体开发工具
    1. 多媒体素材制作工具
      • 文字特效制作软件
        在这里插入图片描述
      • 音频处理软件
        在这里插入图片描述
      • 图形图像软件
        在这里插入图片描述
      • 动画制作软件
        在这里插入图片描述
      • 视频编辑软件
        在这里插入图片描述
    2. 多媒体著作工具
      在这里插入图片描述
    3. 多媒体编程语言
      在这里插入图片描述

    多媒体存储技术

    1. 主流存储技术
      磁记录(硬盘、光盘、闪存等)
      在这里插入图片描述
    2. 光存储技术原理
      • 光存储技术又称为激光存储技术,它是继磁记录之后的又一种重要的信息存储技术,它包括信息写入和读出两个过程
      • 光盘上激光刻出的小坑代表二进制“1”,光滑代表二进制“0”
        在这里插入图片描述
    3. 光存储技术的发展方向
    • 要提高光盘的存储密度和容量,首先考虑的是缩小光盘上的信息点的宽度,使一定面积的盘面能容纳更多的信息点
      在这里插入图片描述
    • 新方向:三维光存储技术、超分辨率存储技术

    多媒体技术的应用领域

    1. 教育与培训
    2. 出版与图书
    3. 商业与咨询
    4. 通信与网络
    5. 军事与娱乐

    数字音频技术

    声音的基本概念

    声音的定义

    • 声音是通过一定介质传播的连续波
    • 声波:
      在这里插入图片描述在这里插入图片描述

    声音的重要指标

    1. 振幅: 音量的大小
    2. 周期:重复出现的时间间隔
    3. 频率:信号每秒变化次数(f=1/T)

    声音按频率分类

    • 语音信号频率范围:300Hz~3kHz
      在这里插入图片描述

    声音质量的频率范围

    • 频带
      在这里插入图片描述

    声音的听觉特性

    • 响度:人耳对声波强弱程度的主观感觉,它主要取决于声强,也与频率有关系
    • 音调:人耳对声音调子高低的主观感觉,它主要取决于声音的频率,频率高则声音尖锐,频率低则声音低沉
    • 音色:人在主观感觉上区别相同响度和音调的两种声音不同的特性

    声音的元素

    • 语音:分成对白、旁白、独白、群白
    • 音乐:音的高低、强弱、长短等变化
    • 音响:分为动作、自然、机械、军事、动物、交通等

    声音的数字化

    声音信号的类型

    1. 模型信号——自然界、物理
      在这里插入图片描述
    2. 数字信号——
      在这里插入图片描述

    声音数字化过程

    在这里插入图片描述

    数字音频质量三要素

    采样频率 量化位数 声道数
    每秒钟抽取声波幅度样本的次数 每个采样点用多少二进制位表示数据范围 使用声音通道的个数
    采样频率越高,声音质量越好,数据量也越大 量化位数越多,音质越好,数据量也越大 立体声比单声道的表现力丰富,但数据量翻倍
    11.025kHz,22.05kHz,44.1kHz 8位 = 256,16位=65536 单声道,立体声

    声音数字化的数据量

    • 音频数据量=采样频率量化位数声道数/8(B/s)
      在这里插入图片描述

    音频的文件格式

    1. WAV文件(声音层次丰富,还原音质好)
      WAV是Microsoft/IBM共同开发的PC波形文件,因未压缩,文件数量量很大。
    2. MP3文件(高压缩比11:1,优美的音质)
      MP3(MPEG Audio Layer3)是一种按MPEG标准的音频压缩技术制作的音频文件。
    3. WMA文件(压缩到MP3一半而音质不变)
      WMA(Windows Media Audia)是Windows Media格式中的一个子集(音频格式)
    4. MIDI文件(数据量很小,缺乏重现自然音)
      MIDI(乐器数字接口)是一组声音或乐器符号的集合

    音频信号压缩编码的分类

    1. 无损压缩(熵压缩)
      霍夫曼编码、算术编码、行程编码
    2. 有损压缩
      波形编码——PCM、DPCM、ADPCM、子带编码
      参数编码——LPC、通道声码器
      混合编码——MPLPC、CELP

    音频压缩技术标准

    在这里插入图片描述

    数字图像技术

    图像的基本概念

    光与颜色

    1. 光的本质
      光是一种电磁波
      在这里插入图片描述
    2. 颜色内涵
      1. 色调(光的颜色)
      2. 饱和度(颜色的深浅,指彩色中白光含量多少)
      3. 亮度(颜色的明暗程度)
    3. 颜色模型
      1. RGB模型(红色、绿色、蓝色)
        在这里插入图片描述
      2. CMYK模型(青色、洋红、黄色、黑色)
        因为字母B表示为蓝色,所以此处黑色(black)用K表示
        在这里插入图片描述

    图形与图像

    1. 图像(位图图像、点阵图像)
    2. 图形(矢量图形、几何图形)
    3. 图像与图形的比较
    - 图像 图形
    文件大小 与图像的尺寸和颜色有关,较大 与图形的复杂程度有关,较小
    文件内容 图像点阵数据 图形指令
    缩放特点 有失真 无失真
    处理技术 获取、复制和技巧性 绘制、创造和艺术性
    适合范围 表现自然和细节景物层次、色彩较丰富 表现变化的曲线简单图案、运算结果

    图像的数字化

    1. 图像的主要参数
      1. 分辨率(显示分辨率、图像分辨率、像素分辨率)
      2. 颜色深度
        在这里插入图片描述

    图像的文件格式

    1. BMP格式
      • Windows标准图像文件
      • 只有4位或8位才能进行压缩
      • 每个文件只能存放一幅图像
      • 多种颜色存储格式
    2. GIF格式
      • 网络传输和BBS用户使用的图像格式
      • 世界通用的图像格式
      • 采用改进的LZW压缩算法处理数据
      • 最多存储256色,不支持24bit
      • 一个文件可存放多幅图像
    3. JPG格式
      • 一种高效率的压缩格式
      • 表达自然景观的图片,JPEG编码方式具有非常好的处理效果
      • 计算机绘制的具有明显边界的图形,JPEG编码方式的处理效果不佳
    4. PNG格式
      • 一种流式网络图形格式
      • 支持24位颜色深度图形
      • 存储灰度图像时,图像深度达16位
      • 存储彩色图像时,图像深度达48位
    5. TIFF格式
      • 通用的位映射图像文件格式
      • 可移植性好
    6. PSD格式
      • Photoshop的专用文件格式,它包含图层、通道、蒙版等制作效果
      • 保存各种信息,占用空间较大
      • 压缩比与JPEG差不多,且不失真
      • 支持RGB、CMYK等色彩模式
      • PSD存取速度比其他格式快

    图像压缩方法概述

    1. 图像压缩依据
      1. 图像数据的冗余性(空间冗余、结构冗余、知识冗余、视觉冗余)
      2. 图像数据的相关性(前后帧的相似度)
    2. 图像压缩技术
      1. 无失真编码
      2. 有失真编码

    JPEG图像压缩标准

    1. JPEG标准(ISO和ITU-T共同组建的联合图像专家组)
      国际标准:连续色调的静态图像编码
      在这里插入图片描述
    2. JPEG压缩步骤
      在这里插入图片描述
    3. JPEG 2000标准(JPEG升级标准)
      在这里插入图片描述
    4. JPEG 2000应用与说明
      在这里插入图片描述
    5. JPEG与JPEG 2000的比较
      在这里插入图片描述
    展开全文
  • HTML多媒体

    2018-03-19 19:46:32
    web上的多媒体是指音效、音乐、视频和动画,现代网络浏览器已经支持很多多媒体格式。 在HTML5之前,主要提供两种元素进行多媒体的展示,一个是&lt;embed&gt;标签,另一个是&lt;object&gt;标签。 ...
  • 多媒体框架

    千次阅读 2014-05-27 15:53:05
    多媒体框架
  • Android多媒体应用开发实战详解

    千次下载 热门讨论 2014-07-10 21:57:31
    《Android多媒体应用开发实战详解:图像、音频、视频、2D和3D》 提醒:假如百度云分享链接失效,请联系站长,我会补上的。 《Android多媒体应用开发实战详解:图像、音频、视频、2D和3D》 提醒:假如百度云分享...
  • Python玩转各种多媒体,视频、音频到图片

    万次阅读 多人点赞 2020-04-07 19:33:19
    Python玩转各种多媒体操作,视频、音频到图片 我们经常会遇到一些对于多媒体文件修改的操作,像是对视频文件的操作:视频剪辑、字幕编辑、分离音频、视频音频混流等。又比如对音频文件的操作:音频剪辑,音频格式...
  • 多媒体重定向

    千次阅读 2015-06-26 09:43:47
    桌面云视频播放的一种方式,多媒体重定向。  远程桌面连接的多媒体重定向功能在客户端和主机端都支持时启用,其主要作用为在主机端播放的文件在客户端进行解码播放,而不是直接传送bitmap。其主要优势在于: ...
  • 多媒体API

    千次阅读 2012-05-09 23:07:27
    多媒体API 包括 播放和录制音频和视频, 拍照。 Android 支持的媒体格式可从网址 http://developer.android.com/guide/appendix/media-formats.html 找到. 一 . 在了解多媒体之前,需要先了解SD卡, 你可能注意...
  • 多媒体编程

    千次阅读 2016-07-11 14:10:26
    多媒体编程 文字、图片、音频、视频(这里仅仅对银频和视频详解) 音频播放器创建方法方式一、 MediaPlayer mediaPlayer = MediaPlayer.create(context, R.raw.sound_file_1); mediaPlayer.start(); // no need to ...
  • html多媒体标签

    2019-01-14 11:27:31
    三种多媒体标签的使用 embed:标签定义嵌入的内容 audio:播放音频 video:播放视频 多媒体embed embed可以可以用来插入各种多媒体,格式可以是Midi、Wav、AIFF、AU、MP3等等。url为音频或视频文件及其路径,可以...
  • 多媒体定时器

    2016-09-04 18:29:16
    多媒体定时器 转自 这里写链接内容Windows定时器 在以Windows以平台的实时控制系统中,常常需要定时或周期性的完成某个动作,采样时间的精度是系统得以正常运行的关键,对以Dos为平台的控制系统,可以通过对硬件的...
  • Android多媒体开发

    千次阅读 2016-10-02 12:38:29
    Android多媒体开发系列文章 Android多媒体开发:录音机 Android多媒体开发:照相机 Android多媒体开发:第三方框架 一、什么是多媒体 多媒体(duō méi tǐ) 的英文单词是Multimedia,它由media和multi两部分组成...
  • 7.1多媒体简介多媒体材质:CD-ROM->DVD(5-17G)->Blu-ray(25G/50G)/HD DVD(15G/30G)多媒体应用方向: 1. 从网上下载多媒体 2. 视频本身 3. 游戏制作 4. 视频点播:一个或多个视频服务器、一个分布式网络以及一个...
  • 交互式多媒体

    2020-03-25 09:16:14
    交互式多媒体(interactive multimedia)是在传统媒体的基础上加入了交互功能,通过交互行为并以多种感官来呈现信息,受众不仅可以看得到、听得到还可以触摸到、感觉到、闻到而且还可以与之相互作用,它带给人们全新...
  • 多媒体技术的前景

    2020-02-23 21:00:12
    多媒体技术的前景   多媒体技术是计算机技术和通信技术,以及社会需求相结合的产物,多媒体让我们获取和交互信息的方式发生了质的变化,它已经渗透入我们生活的点点滴滴。利用多媒体是计算机发展的必然趋势。   ...
  • FFmpeg之FFprobe检测多媒体格式

    万次阅读 2020-01-12 23:43:50
    FFmpeg里面有一个模块FFprobe(https://ffmpeg.org/ffprobe.html)专门用来检测多媒体格式数据,它的作用类似Android中的MediaMetadataRetriever。FFprobe支持检测format、streams、frames,用法与FFmpeg类似,我们...
  • 通过对Android多媒体实战开发技术,如图像、音频、视频、2D和3D的详细讲解,让读者学会如何在应用开发中应用多媒体技术为自己的APP增加炫酷的效果,特别是Android5.0新出现的API这些特性是目前市面上的一些书籍所...
  • android 播放局域网共享多媒体文件

    千次下载 热门讨论 2013-03-31 22:52:56
    android 播放局域网共享多媒体文件
  • flash多媒体课件获奖作品

    热门讨论 2012-09-13 10:07:56
    flash多媒体课件获奖作品,flash多媒体课件获奖作品
  • Android多媒体开发技术

    千次阅读 2018-05-06 18:20:09
    周末参加了线下安卓巴士论坛组织的“安卓开发者的修炼之道”,几位嘉宾分享的...第二位嘉宾何俊林,前爱奇艺多媒体开发,据说活动现场很多他的粉丝,都是慕名而来见大神的。分享的主题是《Android多媒体开发技术》。...
  • 1 多媒体技术概述  媒体:  存储信息的载体  表示信息的逻辑载体  静态媒体  动态媒体  媒体的种类  感觉媒体:  视觉 听觉 -----> 多媒体  触觉 嗅觉 味觉 ----> 虚拟现实  表示媒体  文本 ...
  • CSS3多媒体查询

    2019-06-18 08:07:33
    这次我们来讲一下多媒体查询,刚刚接触多媒体查询的时候,就会冒出一些什么是多媒体查询,多媒体查询有什么作用,多媒体又该怎么用? 其实我们学习新知识的时候,无非就是要知道新知识是什么,有什么作用,应该怎么...
  • Android 设置多媒体静音

    千次阅读 2019-07-01 09:26:06
    最近因为开发了一个音量进度条的seekbar,客户要求点击音量图标能够使正在播放的多媒体静音,百度上找的方法基本上都是设置系统铃声静音的,可以通过下面的方法设置当前多媒体静音。 booleanmuteFlag=audioManager....
  • Android多媒体总纲

    2016-08-20 15:31:15
    由于现在的工作是多媒体相关,所以准备系统的学习一下Android的多媒体。我对多媒体的理解分为以下几点: 1. Media System 2. Media Data 3. Media ModuleMedia System对于Media System,我的理解是关于Media的...
  • html嵌入多媒体文件

    2017-05-26 06:25:27
    嵌入多媒体文件 嵌入多媒体文件
  • 多媒体数据库系统

    千次阅读 2018-04-25 09:19:07
    一般认为,数据模型化是数据库技术的基础和核心。广义地理解,数据模型化包括了概念模型、逻辑模型和物理模型的建立。其中概念模型是数据库设计者...多媒体数据库依托的是多媒体数据模型,首先需要把各种媒体所建立...
  • 多媒体计算与通信

    2020-06-21 19:48:54
    1. 多媒体通信 研究多媒体信息在各种网络环境下传输的问题,以及各种网络之间的无缝切换技术。 1.1 通信 通信原理 :信息、信源、信道、调制解调 通信原理 :基带、低频/高频、射频、天线 数据通信 : 电路/包...
  • Android多媒体浅析

    2012-12-29 19:29:11
    1. 系统如何选择多媒体引擎 2. 引擎如何选择编解码器 3. 分离器如何分离音视频 4. 视频解码播放过程如何使用OMX IL 5. 音频解码播放过程与ALSA的关系 1. 系统如何选择多媒体引擎 多媒体系统...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 50,782
精华内容 20,312
关键字:

多媒体