多媒体技术有以下几个主要特性： 
（1）集成性
能够对信息进行多通道统一获取、存储、组织与合成。 
（2）控制性
多媒体技术是以计算机为中心，综合处理和控制多媒体信息，并按人的要求以多种媒体形式表现出来，同时作用于人的多种感官。 
（3）交互性
交互性是多媒体应用有别于传统信息交流媒体的主要特点之一。传统信息交流媒体只能单向地、被动地传播信息，而多媒体技术则可以实现人对信息的主动选择和控制。 
（4）非线性
多媒体技术的非线性特点将改变人们传统循序性的读写模式。以往人们读写方式大都采用章、节、页的框架，循序渐进地获取知识，而多媒体技术将借助超文本链接（Hyper Text Link）的方法，把内容以一种更灵活、更具变化的方式呈现给读者。 
（5）实时性
当用户给出操作命令时，相应的多媒体信息都能够得到实时控制。 
（6）互动性
它可以形成人与机器、人与人及机器间的互动，互相交流的操作环境及身临其境的场景，人们根据需要进行控制。人机相互交流是多媒体最大的特点。 
特点：
数据量大、数据类型多、数据类型间区别大、输入和输出复杂。

1.3.1多媒体存储概述
1.多媒体数据的特点：
@数据大
@并发性
@实时性
考虑储存介质与储存策略
 
2.主流存储技术：
@磁记录的硬盘
@光记录的光盘
@Flash Memory(闪存)
 
3.光存储技术原理：
@基本概念：光存储技术，又称为激光存储技术，它是继磁记录之后的又一种重要的信息存储技术
@光信息存储包括：信息的写入和读出两个过程
@定义：光盘上激光刻出的小坑代表二进制的“1”，平坦代表二进制的“0”
         
4.光存储介质（采用二进制存储方法）：
@CD光盘
@DVD光盘
@蓝光光盘
 
5.光存储技术的发展方向：
要提高光盘的存储密度和容量，首先考虑的是缩小光盘上信息点的宽度，使一定面积的盘面能容纳更多的信息点
 
6.光存储技术的发展方向：
新方向：三维光存储技术、超分辨率存储技术
1.3.2光盘记录技术
1.LD（激光光盘）->CD->DVD->蓝光
 
2.光盘的特点：
@数据存储密度高、容量大
@存储寿命长，携带方便
@生产成本低廉，数据复制工艺简单、效率高
 
3.光盘数据标准：
目前的光盘可以存放文字、影像、音乐、计算机程序和数据，都可以用数字信号记录并在计算机系统中读取
@数字音频光盘（CD-DA红皮书）
@只读数据光盘（CD-ROM黄皮书）
@交互式光盘（CD-I绿皮书）
@可刻录可擦除光盘（CD-R橙皮书）
@视频光盘（VCD白皮书）
@数字多功能光盘（DVD）
1.3.3CD光盘系统
@CD-ROM的结构
 CD-ROM主要由保护层、反射层、记录层（刻槽）、盘基（聚碳酸酯衬垫）组成
@CD-R
 只写一次性光盘（可写一次，写过后不能修改，只能读）用于信息存档或备份大型系统
@CD-RW
 可擦写型光盘（可读、可擦除、可重写）
 
1.光盘驱动器：
光盘系统：光盘驱动器、光盘盘片
光盘驱动器包括；光驱头、聚焦伺服系统、径向光道跟踪伺服系统、光盘转速控制系统
 
 
1.3.4DVD光盘
1.DVD光盘的分类：
@DVD-ROM(只读写DVD光盘)
@DND-R（可一次写型DVD光盘）
@DVD-RAM（可擦写型DVD光盘）
 
2.DVD刻录机有三种标准
@DVD-RAM
@DVD-R/RW
@DVD+R/RW

     多媒体技术是计算机处理多种媒体信息的综合性技术。

     Delphi具有多媒体信息处理能力，包括在组件上绘制各种图形、图像的显示和处理，以及音频和视频文件的播放等多媒体设计。
本章主要内容

&       多媒体技术

&       图形设计

&       图像处理

&       视频播放组件

 
10.1 多媒体技术
10.1.1 多媒体技术的基本概念
1．多媒体与多媒体技术

    在多媒体技术中，媒体（medium）是指信息的表现形式或载体，包括文本、图形、图像、声音、动画和视频等。

   
多媒体（Multimedia）是多种媒体信息的有机组合。

多媒体技术是计算机处理多种媒体信息的综合性技术，通过计算机对各种不同类型的媒体信息进行数字化采集、获取、压缩/解压缩、编辑、存储等加工处理，使多种媒体信息建立逻辑连接，形成一个可组织、存储、传送、操纵和控制多媒体信息的集成环境和交互系统。

多媒体技术具有多样性、集成性、交互性和数字化特性。
2．多媒体信息的类型

计算机能处理的多媒体信息从时效上可分为以下两大类：
·   静态媒体，包括文本、图形、图像。
·   动态媒体，包括声音、动画、视频。

（1）文本。

文本（text）是计算机中基本的信息表示方式，包含字母、数字以及各种专用符号。

（2）图形。

在计算机中，图形与图像是一对既有联系又有区别的概念。它们都是一幅图，但图的产生、处理、存储方式不同。

图形（graphics）是指通过绘图软件绘制的由直线、圆、圆弧、任意曲线等图元组成的画面，称为矢量图形。每个图元具有大小、位置、形状、颜色、维数等属性，不同的图元之间有明确的界限，多个图元可以组合或分解。

矢量图形由特定的绘图软件绘制，以矢量图形文件形式存储。矢量图形文件中存储的是一组描述各个图元属性的指令集合，通过相应的绘图软件读取这些指令，可将其转换为输出设备上显示的图形。矢量图形的最大优点是对图形中的各个图元进行缩放、移动、旋转而不失真，而且它占用的存储空间小。

计算机辅助设计（CAD）系统中常用矢量图形来描述复杂的机械零件、房屋结构等。

（3）图像。

图像（image或picture）是由扫描仪、数字照相机、摄像机等输入设备捕捉的真实场景画面产生的映像，经A/D转换变成二进制代码，并以专门的图像格式文件存储。输出时，以数字方式控制显示设备实现原来景物的重现。

（4）动画。

动画（animation）是利用人眼的视觉暂留特性得到的，当一系列图形或图像的画面按一定时间间隙在人的视线中经过时，人脑就会产生物体运行的印象。

（5）音频。

音频（audio）包括语音、音乐以及各种动物和自然界（如风、雨、雷等）发出的各种声音。音乐和解说词可使文字和画面更加生动。在计算机中的音频处理技术，主要包括声音的采集、数字化、压缩/解压缩、播放等。

（6）视频。

视频（video）图像来自录像带、摄像机、影碟机等视频信号源，是对自然景物的捕捉，数字化后以视频格式文件存储。视频的处理技术有视频信号导入、数字化、压缩/解压缩、视频和音频编辑、特效处理、输出到磁盘、光盘等，音视频的同步使视频影像具有真实的效果。
10.1.2 多媒体信息的数字化

在计算机系统中，所有多媒体信息都是按数字化格式存储、处理和传输的，不同类型的多媒体信息存储成不同格式的文件。

文本文件通常存储成.txt、.rtf、.doc等格式。

由于图像、视频、音频信号的数据量非常大，给多媒体信息的存储、处理和传输造成极大的困难。因此，减少存储量就成为多媒体技术中的一个关键问题，最有效的解决方法是数据压缩编码。

本节先介绍用于数据压缩的两个国际标准，再介绍图形图像、音视频信息的文件格式。
1．数据压缩的国际标准

20世纪80年代，国际标准化组织（ISO）和国际电信联盟（ITU）联合成立了两个专家组：联合图像专家组（Joint
 Photographic Experts Group，JPEG）和运动图像专家组（Moving Picture Experts Group，MPEG），分别制定了静态和动态图像压缩的工业标准。

（1）JPEG标准。

JPEG标准适用于连续色调和多级灰度的静态图像。一般对单色和彩色图像的压缩比通常分别为10∶1和15∶1。常用于CD-ROM、彩色图像传真和图文管理。

（2）MPEG标准。

MPEG标准不仅适用于运动图像，也适用于音频信息，它包含了三部分：MPEG视频、MPEG音频、MPEG系统（视频和音频的同步），MPEG视频是MPEG标准的核心。MPEG已指定了MPEG-1、MPEG-2、MPEG-4、MPEG-7和MPEG-21等多种标准。
2．图形图像文件格式

（1）BMP（.bmp）文件格式。

BMP（bitmap位图）格式存储构成图像的每个像素点的亮度和颜色等属性，BMP格式是Windows使用的基本位图格式。

显示器上的每一个光点就是一个像素。在数字化彩色显示器中，一个像素由一个二进制控制。若用一位二进制控制，“1”表示发光，“0”表示不发光，则只能是黑白显示；若用4位控制，可显示16种颜色；若用8位控制，可显示256种颜色。目前普遍使用的真彩色图像，由红、绿、蓝三基色通过不同的强度混合而成，当强度分为256级（值为0～255）时，占24位，就构成了224=16777216种颜色的“真彩色”图像。

BMP格式不进行压缩，放大和缩小时会失真。图像的分辨率和像素的颜色深度决定了图像文件的大小，计算公式如下：

位图文件容量（字节数）=列数×行数×颜色深度÷8

图像的分辨率和像素的颜色深度决定位图图像文件的容量示例见表10-1。
表10-1 位图文件容量



分 辨 率



颜色深度（位）



颜   色



位图文件容量（KB）



640×480



1



单色，黑白



38



640×480



4



16色



150



640×480



8



256色



300



640×480



24



真彩色



900



800×600



24



真彩色



1,406



1024×768



24



真彩色



2,304



由此可见，对于24位真彩色图像，一幅640×480像素的图像文件需要900KB，而一幅1024×768像素的图像文件则需要2.3MB，占用存储空间较大，即使是空白图像也需要这么大的容量，必须采用编码技术来压缩信息。

（2）JPEG（.jpg）文件格式。

JPEG格式是根据JPEG标准压缩的图像格式，具有良好的压缩性能，能够存储256色以上的真彩图像。JPEG格式文件是目前保存照片等图像的常用格式。

（3）WMF（.wmf）文件格式。

WMF是比较特殊的图元文件，属于矢量图形。Windows中许多剪贴画图像是以该格式存储的，广泛应用于桌面出版印刷领域。

（4）GIF（.gif）文件格式。

GIF（Graphics Interchange Format，图形交换格式）是针对Internet应用而设计的图像格式，GIF格式的压缩比高，磁盘空间占用较少，但不能存储超过256色的图像。

GIF格式既可以存储单幅静止图像，也可以同时存储若干幅静止图像进而形成连续的动画。GIF格式具有渐显方式，即在图像传输过程中，先显示图像的大致轮廓，再逐步显示图像的各细节部分，“从朦胧到清楚”。
3．数字音频的文件格式

（1）WAV（.wav）文件格式。

WAV是Microsoft公司采用的波形声音文件存储格式，主要由外部音频（麦克风、录音机）录制后，经声卡转换成数字化信息以扩展名.wav存储，播放时还原成模拟信号由扬声器输出。WAV文件直接记录了真实声音的二进制采样数据，通常文件较大，多用于存储简短的声音片段。

记录每秒钟存储声音容量的公式为：

存储量（字节/秒）=采样频率×量化精度×声道数÷8

例如，用44.1kHz的采样频率，每个采样点用16位的精度存储，则录制1秒钟的立体声（双声道）节目，其WAV格式文件所需的存储量为：

44100×16×2÷8=176400（byte）

（2）MIDI（.mid）文件格式。

MIDI是乐器数字化接口（Musical Instrument Digital Interface）的缩写，是为了把电子乐器与计算机相连而制定的一个规范，是数字音乐的国际标准。

与WAV文件不同的是，MIDI（扩展名为.mid）文件存放的不是采样信息，而是将乐器弹奏的每个音符记录为一连串的数字，然后由声卡上的合成器根据这些数字代表的含义进行合成后由扬声器播放声音。相对于保存真实采样数据的WAV文件，MIDI文件显得更加紧凑，其文件尺寸通常比声音文件小得多。

（3）MPEG（.mp1/.mp2/.mp3）文件格式。

MPEG指的是采用MPEG音频压缩标准进行压缩的文件。MPEG音频文件的压缩是一种有损压缩，根据压缩质量和编码复杂程度的不同可分为3层（MPEG-1
 Audio Player 1/2/3），分别对应MP1、MP2、MP3三种音频文件，压缩比分别为4∶1、6∶1～8∶1、10∶1～12∶1。MP3因其压缩比较高、音质接近CD、制作简单、便于交换等优点，是目前使用最多的音频格式文件。WAV和MIDI格式文件均可以压缩成MPEG格式文件。

（4）RA（.ra）文件格式。

RA（Real Audio）是Real Network公司制定的音频压缩规范，有较高的压缩比，采用流媒体的方式在网上实时播放。
4．数字视频的文件格式

视频文件是由一系列的静态图像按一定的顺序排列组成，每一幅称为帧（frame）。电影、电视通过快速播放每帧画面，再加上人眼视觉效应便产生了连续运动的效果。当帧速率达到12帧/秒（12fps）以上时，可以产生连续的视频显示效果。通常视频图像还配有同步的声音，所以，视频信息需要巨大的存储容量。

视频有两类：模拟视频和数字视频。数字视频文件可以分为两大类：一类是影像文件，如VCD等，影像文件不仅包含大量图像信息，同时还容纳大量音频信息；另一类是流式视频文件，这是随着Internet的发展而诞生的后起之秀，如在线实况转播，就是构架在流式视频技术之上的。以下介绍影像视频文件格式。

（1）AVI（.avi）文件格式。

AVI（Audio-Video Interleaved，音频-视频交错）文件格式将视频与音频信息交错地保存在一个文件中，较好地解决了音频与视频的同步问题，是Video
 for Windows视频应用程序使用的格式，目前已成为Windows视频标准格式文件。该文件数据量较大，要压缩。AVI格式文件用于保存电影、电视等各种影像信息。

（2）MOV（.mov）文件格式。

MOV文件格式是Apple公司在QuickTime for Windows视频应用程序中使用的视频文件。原在Macintosh系统中运行，现已移植到Windows平台。利用它可以合成视频、音频、动画、静止图像等多种素材。该文件数据量较大，要压缩。

（3）MPG/MPEG（.mpg/.mpeg）文件格式。

MPEG文件是按照MPEG标准压缩的全屏视频的标准文件。MPEG文件需要由特殊的硬件设备产生，而产生后的影片文件，就可以在装有MPEG解压缩功能的计算机上欣赏。新一代显卡已经有MPEG解压缩的能力，可直接观看这类影片，否则需要安装影片播放卡，才能解压缩MPEG文件。

（4）DAT（.dat）文件格式。

DAT（Digital Audio Tape，数字音频磁带）是VCD（Video
 CD）专用的格式文件，文件结构与MPEG文件格式基本相同。

流媒体：流媒体（streaming media）是指将一连串的媒体数据压缩后，经过网络分段发送数据，在网络上即时传输影音以供观赏的一种技术与过程，此技术使得数据报文得以像流水一样发送；如果不使用此技术，就必须在使用前下载整个媒体文件。流媒体文件一般定义在bit层次结构，因此流数据包并不一定必须按照字节对齐，虽然通常的媒体文件都是按照这种字节对齐的方式打包的。流媒体的三大操作平台是微软公司、RealNetworks、苹果公司提供的。

 

MPEG-2是MPEG工作组于1994年发布的视频和音频压缩国际标准。MPEG-2通常用来为广播信号提供视频和音频编码，包括卫星电视、有线电视等。MPEG-2经过少量修改后，也成为DVD产品的核心技术。MPEG-2图像压缩的原理是利用了图像中的两种特性：空间相关性和时间相关性。这两种相关性使得图像中存在大量的冗余信息。如果我们能将这些冗余信息去除，只保留少量非相关信息进行传输，就可以大大节省传输频带。而接收机利用这些非相关信息，按照一定的解码算法，可以在保证一定的图像质量的前提下恢复原始图像。

MPEG-4是一套用于音频、视频信息的压缩编码标准，MPEG-4格式的主要用途在于网络上流、光盘、语音发送（视频电话），以及电视广播。而MPEG-4比MPEG-2更先进的其中一个特点，就是不再使用宏区块做视频分析，而是以视频上个体为变化记录，因此尽管视频变化速度很快、码率不足时，也不会出现方块画面。

 

 

SIP协议，英文为 Session Initiation Protocol,  中文翻译为会话发起协议。顾名思义，就是在网络上发起会话。协议(Protocol)是计算机与计算机之间的语言。SIP协议的目的就是在IP网络中实现电话功能。在IP网络中，通话两端的不是电话机，而是运行在计算机上的软件电话（软电话）。同传统电话，用SIP协议打一个电话，过程是一样的。两个软电话之间，也有电话号码，也需传递信号。这时的电话号码是SIP帐号。这时的信号不是一个电磁波信号，而是一个IP数据包（称为SIP消息）。

 

虚拟现实（英语：virtual reality，缩写VR），简称虚拟技术，也称虚拟环境，是利用计算机模拟产生一个三维空间的虚拟世界，提供用户关于视觉等感官的模拟，让用户感觉仿佛身历其境，可以即时、没有限制地观察三维空间内的事物。用户进行位置移动时，计算机可以立即进行复杂的运算，将精确的三维世界视频传回产生临场感。该技术集成了计算机图形、计算机仿真、人工智能、感应、显示及网络并行处理等技术的最新发展成果，是一种由计算机技术辅助生成的高技术模拟系统。

 

增强现实（Augmented Reality，简称AR），也有对应VR虚拟实境一词的翻译称为实拟虚境或扩张现实，是指透过摄影机视频的位置及角度精算并加上图像分析技术，让显示屏上的虚拟世界能够与现实世界场景进行结合与交互的技术。这种技术于1990年提出。随着随身电子产品运算能力的提升，增强现实的用途也越来越广。

 

所谓实时就是在人的感官系统允许的情况下, 进行多媒体交互, 就好像面对面(Face To Face)一样, 图像和声音都是连续的。实时多媒体分布系统是把计算机的交互性、通信的分布性和电视的真实性有机地结合在一起。

 

 

空间冗余：图像内部相邻像素之间存在较强的相关性多造成的冗余。
	
时间冗余：视频图像序列中的不同帧之间的相关性所造成的冗余。
 

多媒体数据库相对传统数据库，区别在于存储的内容更加丰富，但是这些视频、音频、图像的数据库操作用传统的字符匹配操作方法是不适用的。数据量巨大且媒体之间量的差异十分明显，而使得数据在库中的组织方法和存储方法复杂。媒体的复合、分散、时序性质及其形象化的特点，使得查询不再只是通过字符查询，查询的结果也不仅是一张表，而是多媒体的一组“表现”。接口的多媒体化将对查询提出更复杂、更友好的设计要求。

 

 

便携式移动设备得到越来越广泛的应用，结合学到的知识和自身的体验，请论述移动设备上开发UI需要注意的方面有哪些？
文字、图标之间风格的统一性。
	
适当的留白空间。无论是文字部分的行间距与字间距，还是各内容版块之间的混排距离都要适当留出间隙。不要将界面设计得太满。
	
巧用渐变色和阴影优化界面视觉效果。渐变色和阴影的处理将在一定程度上增加界面交互菜单的立体感，从而使整个界面变得更加高级。
	
让用户在体验瞬间感受到人性化的设计，提高可用性和互动性。
	
注意要对用户操作作适当反馈。如：让用户了解当前状态、位置、 是否成功、进度如何、减少用户不确定性。
	
一致性和标准化。设计者应遵循一致性原则，统一标准能确保用户理解各个元素在设计中，并且知道去哪里寻找哪些功能。
	
让用户选择而不是输入。自动读取、记录信息、减少操作路径。
 

 

 

 

 

 

 

移动端增强现实特点和应用前景。
移动增强现实技术除了要具备传统增强现实的虚实结合、 实时交互和三维注册的特点外， 还需要具备较高的自由移动性， 不会因为环境因素而只能固定在一个较小范围内活动。前景：可应用于旅游、教学、游戏、导航、科研勘探等方面。如：穿戴设备、Vyking - 人体扫描技术，洛天依 - 全息投影虚拟人物演唱会，Meta - 通过手和物体的距离和景深做虚拟物体的自然抓取、信息可视化下的内容平台、treetmuseum 是伦敦博物馆出的一个AR应用， 实现了时间回溯等。

 

 

在多媒体数字视频中，影响视频图像质量的因素有哪些：
比特率，分辨率，编码类型，帧速，原图像质量。。。光照强度，光照方向，目标距离，焦距，采样率，曝光时间和增益，暗漏电流， 像素密度，分辨率（像素数量）

 

移动设备软件开发和传统计算机软件开发有什么不同？
1.android中java可以加载c/c++编写的so库文件，web中不可以；web中只能将c/c++翻译成wasm文件，然后进行调用。（分析：web中之所以不能加载so文件的原因应该是浏览器不能直接操作文件系统）

2.android是c/s架构，web是b/s架构

android的市场机会已经结束了之前的井喷期，进入了存量阶段。市场的整体需求，尤其是对初级人才的需求已经饱和。Web开发需求方向未艾。

 

5G网络的核心技术是什么，将对移动端多媒体技术产生什么影响？
5G将采用512-QAM或1024-QAM更高的数据压缩密度调制/解调制器，当前4G使用256-QAM或64-QAM的调制以压缩传输数据，因此频谱效率每Mbps/100MHz的利用效率更高提高更多传输速率。
	
5G将采用28GHz毫米波通信，比如当前4G使用700MHz、900MHz、1800Mhz、2600Mhz等低频段，虽然电波衍射能力比较高但是在低频上频谱资源就却相当有限，在高频的毫米波大多是军用战斗机雷达或测速照相等少数设备，频谱宽度更高，而且更容易找到连续频谱，使空白频谱非常容易获取。
	
波束指向配合多输入多输出（Multi-input Multi-output ; MIMO）相控数组天线，MIMO多输入多输出利用电磁波的空分复用和路径不同多天线系统提高传输速率，类似在军用领域的技术将延伸出的商用技术版本
	
波束自适应和波束成形，能够提高特定方向的波瓣优化传输距离[3]
	
新材料将使用GaN氮化镓或是GaAs砷化镓材料的RF射频天线和功率放大器，此材料的RF射频天线能在更高的频段有更高的能源效率，设备会比较省电。
	
为了适应工业物联网、无人驾驶汽车、商用无人机等新技术的应用，网络延迟时间将降低到1毫秒以下[7]
 

影响：对移动多媒体硬件要求增加，万物互联时代到来，5G+8K超高清视频，推动VR技术落地，VR高清直播。5G时代的到来，将VR、AR技术与物联网的M2M(Machine-tO-Machine)技术结合，结合人工智能和信息融合技术，将会引爆下一轮产业革新。

 

CMMB（中国移动多媒体广播）特点是什么，采用了哪些相关的技术？
可提供数字广播电视节目、综合信息和紧急广播服务，实现卫星传输与地面网络相结合的无缝协同覆盖，支持公共服务。
	
支持手机、PDA、MP3、MP4、数码相机、笔记本电脑以及在汽车、火车、轮船、飞机上的小型接收终端，接收视频、音频、数据等多媒体业务。
	
采用具有自主知识产权的移动多媒体广播电视技术，系统可运营、可维护、可管理，具备广播式、双向式服务功能，可根据运营要求逐步扩展。
	
支持中央和地方相结合的运营体系，具备加密授权控制管理体系，支持统一标准和统一运营，支持用户全国漫游。
	
系统安全可靠,具有安全防范能力，具有良好的可扩展性，能够适应移动多媒体广播电视技术和业务的发展要求。
采用卫星和地面网络相结合的方式实现“天地一体”协同覆盖，信道传输采用STiMi技术。
	
全国节目通过S波段卫星对全国实现覆盖，卫星遮挡地区可采取地面同频增补方式，在城市人口密集区域采用U波段增补。
	
地方节目采用U波段地面网络实现覆盖。
	
电视业务视频压缩编码采用AVS、H.264/AVC，伴音压缩编码采用MPEG-4 HE AAC；广播业务音频压缩编码采用DRA。
	
数据广播采用可扩展的多协议封装复用传输，支持流模式、文件模式传输。
	
加密授权系统对音视频流和数据广播流采用ISMACryp进行加扰，系统前端支持同密，终端采用多密，系统支持单向、双向和基于电子钱包的授权管理方式。
	
运营支撑系统原则上采用两级架构体系，对内容统一加密，统一管理，支持公共服务、基本服务和扩展服务，实现各类终端用户的合法注册。