编码原理：

具体过程：

1. 将原始图像分为8*8的小块, 每个block里有64pixels：
   
2. 将图像中每个88的block进行DCT变换：
   数据压缩中有很多变换，比如KLT（Karhunen-Loeve Transform），这里我们用的是DCT离散余弦变换。和FFT一样，DCT也是将信号从时域到频域的变换，不同的是DCT中变换结果没有复数，全是实数。每88个original pixels都变成了另外88个数字，变换后的每一个数都是由original 64 data通过basis function组合而得的，如下图所示为DCT谱中6个元素的由来。
   
   将低频部分集中在每个88块的左上角，高频部分在右下角，所谓JPEG的有损压缩，损的是量化过程中的高频部分。为什么呢？因为有这样一个前提：低频部分比高频部分要重要得多，romove 50%的高频信息可能对于编码信息只损失了5%。
   
3. 量化：

所谓量化就是用像素值÷量化表对应值所得的结果。由于量化表左上角的值较小，右上角的值较大，这样就起到了保持低频分量，抑制高频分量的目的（人的视觉特性对低频成分更加敏感）。JPEG使用的颜色是YUV格式。我们提到过，Y分量代表了亮度信息，UV分量代表了色差信息。相比而言，Y分量更重要一些（人的视觉特性对亮度信息更加敏感）。我们可以对Y采用细量化，对UV采用粗量化，可进一步提高压缩比。所以上面所说的量化表通常有两张，一张是针对Y的；一张是针对UV的。

通过量化可以reducing the number of bits and eliminating some of the components，达到通低频减高频的效果，如下图所示就是两张量化表的例子.

比如左边那个量化表，最右下角的高频÷16，这样原先DCT后[-127,127]的范围就变成了[-7,7]，固然减少了码字（从8位减至4位）。

4. 编码：

编码信息分两类，一类是每个88格子F中的[0,0]位置上元素，这是DC（直流分量），代表88个子块的平均值，JPEG中对F[0,0]单独编码，由于两个相邻的8×8子块的DC系数相差很小，所以对它们采用差分编码DPCM，可以提高压缩比，也就是说对相邻的子块DC系数的差值进行编码。

另一类是8×8块的其它63个子块，即交流(AC)系数，采用行程编码（游程编码Run-length encode,RLE）。这里出现一个问题：这63个系数应该按照怎么样的顺序排列？为了保证低频分量先出现，高频分量后出现，以增加行程中连续“0”的个数，这63个元素采用了“之”字型(Zig-Zag)的排列方法，如下图所示。

JPEG过程的最后步骤是编码量化了的图像。JPEG的编码阶段由压缩图像的三个不同步骤组成。
（1）第一步是将（0，0）处的直流系数由绝对值变为相对值，因为图像中相邻的块表现出了高度的相关。用与前一个直流元素的差来编码直流元素，就回产生一个非常小的数值。
（2）第二步是将图像系数安排成"zig-zag"序列。
（3）最后一步是用两种不同的机制编码。第一个机制是0值的行程编码。第二个是JPEG所称作的熵编码（Entropy Coding），这是根据现实者的选择，用霍夫曼代码或算术编码送出系数代码的一步。
---------熵编码
讲直流元素转换成与上一个之差之后，接下来将DCT块重新排序成Zig-Zag序列，再后，JPEG用一个熵编码机制送出元素，输出带有建立在其中的RLE，它是编码机制的主要部分，基本上，熵编码输出包括三个单词的序列，不断重复直到块结束，三个单词如下：

1. 行程长度-DCT输出矩阵中，当前元素之前的连续0的个数
2. 位计数-后面跟着的幅度值所用的位数
3. 幅度-DCT系数的幅度

MPEG4于1998 年11 月公布，原预计1999 年1月投入使用的国际标准MPEG4不仅是针对一定比特率下的视频、音频编码，更加注重多媒体系统的交互性和灵活性。MPEG专家组的专家们正在为MPEG-4的制定努力工作。MPEG-4标准主要应用于视像电话(Video Phone)，视像电子邮件(Video Email)和电子新闻(Electronic News)等，其传输速率要求较低，在4800-64000bits/sec之间，分辨率为176X144。MPEG-4利用很窄的带宽，通过帧重建技术，压缩和传输数据，以求以最少的数据获得最佳的图像质量。

一、MPEG-4简介

　　与 MPEG-1和 MPEG-2相比， MPEG-4的特点是其更适于交互AV服务以及远程监控。MPEG-4是第一个使你由被动变为主动(不再只是观看，允许你加入其中，即有交互性)的动态图像标准，它的另一个特点是其综合性。从根源上说，MPEG-4试图将自然物体与人造物体相溶合(视觉效果意义上的)。MPEG-4的设计目标还有更广的适应性和更灵活的可扩展性。　　MPEG全称是Moving Pictures Experts Group，它是“动态图象专家组”的英文缩写，该专家组成立于1988年，致力于运动图像及其伴音的压缩编码标准化工作，原先他们打算开发MPEG1、MPEG2、MPEG3和MPEG4四个版本，以适用于不同带宽和数字影像质量的要求。　　目前，MPEG1技术被广泛的应用于VCD，而MPEG2标准则用于广播电视和DVD等。MPEG3最初是为HDTV开发的编码和压缩标准，但由于MPEG2的出色性能表现， MPEG3只能是死于襁褓了。而我们今天要谈论的主角——MPEG4于1999年初正式成为国际标准。它是一个适用于低传输速率应用的方案。与MPEG1和MPEG2相比，MPEG4更加注重多媒体系统的交互性和灵活性。下面就让我们一起进入多彩的MPEG4世界。

二、MPEG-4目标

　　( 一)、 低比特率下的多媒体通信；　　( 二)、 是多工业的多媒体通信的综合。　　据此目标，MPEG4 引入AV 对象（Audio/Visual Objects）， 使得更多的交互操作成为可能。　　MPEG-4是为在国际互联网络上或移动通信设备（例如移动电话）上实时传输音/视频讯号而制定的最新MPEG标准，MPEG4采用Object Based方式解压缩，压缩比指标远远优于以上几种，压缩倍数为450倍(静态图像可达800倍)，分辨率输入可从320 ×240到1280 ×1024，这是同质量的MPEG1和MJEPG的十倍多。　　MPEG4使用「图层」(layer)方式，能够智能化选择影像的不同之处，是可根据图像内容，将其中的对象（人物、物体、背景）分离出来分别进行压缩，使图文件容量大幅缩减，而加速音/视频的传输，这不仅仅大大提高了压缩比，也使图像探测的功能和准确性更充分的体现出来。　　在网络传输中可以设定MPEG4的码流速率，清晰度也可在一定的范围内作相应的变化，这样便于用户根据自己对录像时间、传输路数和清晰度的不同要求进行不同的设置，大大提高了系统使用时的适应性和灵活性。也可采用动态帧测技术，动态时快录，静态时慢录，从而减少平均数据量，节省存储空间。而且当在传输有误码或丢包现象时，MPEG4受到的影响很小，并且能迅速恢复。　　MPEG4的应用前景将是非常广阔的。 它的出现将对以下各方面产生较大的推动作用：数字电视、动态图像、万维网（WWW）、实时多媒体监控、低比特率下的移动多媒体通信、于内容存储和检索多媒系统、Internet/Intranet上的视频流与可视游戏、基于面部表情模拟的虚拟会议、DVD上的交互多媒体应用、基于计算机网络的可视化合作实验室场景应用、演播电视等。　　当然，除了MPEG 4外，还有更先进的下一个版本MPEG 7 ，准确来说， MPEG-7并不是一种压缩编码方法，而是一个多媒体内容描述接口。继MPEG4之后，要解决的矛盾就是对日渐庞大的图像、声音信息的管理和迅速搜索。MPEG 7就是针对这个矛盾的解决方案。MPEG7力求能够快速且有效地搜索出用户所需的不同类型的多媒体材料。预计这个方案于2001年初最终完成并公布。按照以往 MPEG-4的经验，MPEG-7起码要再过两年才能进入实际应用阶段。

三、多媒体视频编码

　　运动图像专家组MPEG 于1999年2月正式公布了MPEG-4(ISO/IEC14496)标准第一版本。同年年底MPEG-4第二版亦告底定，　　且于2000年年初正式成为国际标准。　　MPEG-4与MPEG-1和MPEG-2有很大的不同。MPEG-4不只是具体压缩算法，它是针对数字电视、交互式绘图应用(影音合成内容)、交互式多媒体(WWW、资料撷取与分散)等整合及压缩技术的需求而制定的国际标准。MPEG -4标准将众多的多媒体应用集成于一个完整的框架内，旨在为多媒体通信及应用环境提供标准的算法及工具，从而建立起一种能被多媒体传输、存储、检索等应用领域普遍采用的统一数据格式。　　MPEG-4的编码理念是：MPEG-4标准同以前标准的最显著的差别在于它是采用基于对象的编码理念，即在编码时将一幅景物分成若干在时间和空间上相互联系的视频音频对象，分别编码后，再经过复用传输到接收端，然后再对不同的对象分别解码，从而组合成所需要的视频和音频。这样既方便我们对不同的对象采用不同的编码方法和表示方法，又有利于不同数据类型间的融合，并且这样也可以方便的实现对于各种对象的操作及编辑。例如，我们可以将一个卡通人物放在真实的场景中，或者将真人置于一个虚拟的演播室里，还可以在互联网上方便的实现交互，根据自己的需要有选择的组合各种视频音频以及图形文本对象。　　MPEG-4系统的一般框架是：对自然或合成的视听内容的表示；对视听内容数据流的管理，如多点、同步、缓冲管理等；对灵活性的支持和对系统不同部分的配置。

四、MPEG-4的优点

(1) 基于内容的交互性

　　MPEG-4提供了基于内容的多媒体数据访问工具，如索引、超级链接、上传、下载、删除等。利用这些工具，用户可以方便地从多媒体数据库中有选择地获取自己所需的与对象有关的内容，并提供了内容的操作和 位流编辑功能，可应用于交互式家庭购物，淡入淡出的数字化效果等。MPEG-4提供了高效的自然或合成的多媒体数据编码方法。它可以把自然场景或对象组合起来成为合成的多媒体数据。

(2) 高效的压缩性

　　MPEG-4基于更高的编码效率。同已有的或即将形成的其它标准相比，在相同的比特率下，它基于更高的视觉听觉质量，这就使得在低带宽的信道上传送视频、音频成为可能。同时MPEG-4还能对同时发生的数据流进行编码。一个场景的多视角或多声道数据流可以高效、同步地合成为最终数据流。这可用于 虚拟三维游戏、三维电影、飞行仿真练习等。

(3) 通用的访问性

　　MPEG-4提供了易出错环境的鲁棒性，来保证其在许多无线和有线网络以及存储介质中的应用，此外，MPEG-4还支持基于内容的的可分级性，即把内容、质量、复杂性分成许多小块来满足不同用户的不同需求，支持具有不同带宽，不同存储容量的传输信道和接收端。　　这些特点无疑会加速多媒体应用的发展，从中受益的应用领域有：因特网多媒体应用；广播电视；交互式视频游戏；实时可视通信；交互式存储媒体应用；演播室技术及电视后期制作；采用面部动画技术的虚拟会议；多媒体邮件；移动通信条件下的多媒体应用；远程视频监控；通过ATM网络等进行的远程数据库业务等。

(4)MPEG4的技术特点

　　MPEG1、MPEG2技术当初制定时，它们定位的标准均为高层媒体表示与结构，但随着计算机软件及网络技术的快速发展，MPEG1.MPEG2技术的弊端就显示出来了：交互性及灵活性较低，压缩的多媒体文件体积过于庞大，难以实现网络的实时传播。而MPEG4技术的标准是对运动图像中的内容进行编码，其具体的编码对象就是图像中的音频和视频，术语称为“AV对象”，而连续的AV对象组合在一起又可以形成AV场景。因此，MPEG4标准就是围绕着AV对象的编码、存储、传输和组合而制定的，高效率地编码、组织、存储、传输AV对象是MPEG4标准的基本内容。　　在视频编码方面，MPEG4支持对自然和合成的视觉对象的编码。（合成的视觉对象包括2D、3D动画和人面部表情动画等）。在音频编码上，MPEG4可以在一组编码工具支持下，对语音、音乐等自然声音对象和具有回响、空间方位感的合成声音对象进行音频编码。　　由于MPEG4只处理图像帧与帧之间有差异的元素，而舍弃相同的元素，因此大大减少了合成多媒体文件的体积。应用MPEG4技术的影音文件最显著特点就是压缩率高且成像清晰，一般来说，一小时的影像可以被压缩为350M左右的数据，而一部高清晰度的DVD电影, 可以压缩成两张甚至一张650M CD光碟来存储。对广大的“平民”计算机用户来说， 这就意味着, 您不需要购置  DVD-ROM就可以欣赏近似DVD质量的高品质影像。而且采用MPEG4编码技术的影片，对机器硬件配置的要求非常之低，300MHZ 以上CPU，64M的内存和一个 8M显存的显卡就可以流畅的播放。在播放软件方面，它要求也非常宽松，你只需要安装一个 500K左右的 MPEG4 编码驱动后，用 WINDOWS自带的媒体播放器就可以流畅的播放了（下面我们会具体讲到）。

编辑本段五、视频编码研究与MPEG标准演进

　　人类获取的信息中70%来自于视觉，视频信息在多媒体信息中占有重要地位；同时视频数据冗余度最大，经压缩处理后的视频质量高低是决定多媒体服务质量的关键因素。因此数字视频技术是多媒体应用的核心技术，对视频编码的研究已成为信息技术领域的热门话题。　　视频编码的研究课题主要有数据压缩比、压缩/解压速度及快速实现算法三方面内容。以压缩/解压后数据与压缩前原始数据是否完全一致作为衡量标准，可将数据压缩划分为无失真压缩（即可逆压缩）和有失真压缩（即不可逆压缩）两类。　　传统压缩编码建立在香农信息论基础之上的，以经典集合论为工具，用概率统计模型来描述信源，其压缩思想基于数据统计，因此只能去除数据冗余，属于低层压缩编码的范畴。　　伴随着视频编码相关学科及新兴学科的迅速发展，新一代数据压缩技术不断诞生并日益成熟，其编码思想由基于像素和像素块转变为基于内容 （content-based）。它突破了仙农信息论框架的束缚，充分考虑了人眼视觉特性及信源特性，通过去除内容冗余来实现数据压缩，可分为基于对象（object-based）和基于语义（semantics-based）两种，前者属于中层压缩编码，后者属于高层压缩编码。　　与此同时，视频编码相关标准的制定也日臻完善。视频编码标准主要由ITU-T和ISO/IEC开发。ITU-T发布的视频标准有H.261、 H.262、 H.263、 H.263+、H.263++，ISO/IEC公布的MPEG系列标准有MPEG-1、MPEG-2 、MPEG-4 和MPEG-7，并且计划公布MPEG-21。　　MPEG即Moving Picture Expert Group（运动图像专家组），它是专门从事制定多媒体视音频压缩编码标准的国际组织。MPEG系列标准已成为国际上影响最大的多媒体技术标准，其中MPEG-1和MPEG-2是采用以仙农信息论为基础的预测编码、变换编码、熵编码及运动补偿等第一代数据压缩编码技术；MPEG-4（ISO/IEC 14496）则是基于第二代压缩编码技术制定的国际标准，它以视听媒体对象为基本单元，采用基于内容的压缩编码，以实现数字视音频、图形合成应用及交互式多媒体的集成。MPEG系列标准对VCD、DVD等视听消费电子及数字电视和高清晰度电视（DTV&&HDTV）、多媒体通信等信息产业的发展产生了巨大而深远的影响。

六、MPEG-4视频编码核心思想及关键技术

　　MPEG-4视频编码核心思想及技术研究"

摘要

　　MPEG-4是新一代基于内容的多媒体数据压缩编码国际标准，它与传统视频编码标准的最大不同在于第一次提出了基于对象的视频编码新概念。基于内容的交互性是MPEG-4标准的核心思想，这对于视频编码技术的发展方向及广泛应用都具有特别重要的意义。　　刘达　毛加轩 文章来源：中国数据通信

关键词

　　MPEG-4 数据压缩 视频编码 视听对象 基于内容编码 视频对象提取  运动估计与补偿

1 引言

　　当今时代，信息技术和计算机互联网飞速发展，在此背景下，多媒体信息已成为人类获取信息的最主要载体，同时也成为电子信息领域技术开发和研究的热点。多媒体信息经数字化处理后具有易于加密、抗干扰能力强、可再生中继等优点，但同时也伴随海量数据的产生，这对信息存储设备及通信网络均提出了很高要求，从而成为阻碍人们有效获取和使用信息的重大瓶颈。　　因此研究高效的多媒体数据压缩编码方法，以压缩形式存储和传输数字化的多媒体信息具有重要意义。作为多媒体技术的核心及关键，多媒体数据压缩编码近年来在技术及应用方面都取得了长足进展，它的进步和完善正深刻影响着现代社会的方方面面。

2 视频编码研究与MPEG标准演进

　　人类获取的信息中70%来自于视觉，视频信息在多媒体信息中占有重要地位；同时视频数据冗余度最大，经压缩处理后的视频质量高低是决定多媒体服务质量的关键因素。因此数字视频技术是多媒体应用的核心技术，对视频编码的研究已成为信息技术领域的热门话题。　　视频编码的研究课题主要有数据压缩比、压缩/解压速度及快速实现算法三方面内容。以压缩/解压后数据与压缩前原始数据是否完全一致作为衡量标准，可将数据压缩划分为无失真压缩（即可逆压缩）和有失真压缩（即不可逆压缩）两类。　　传统压缩编码建立在仙农信息论基础之上的，以经典集合论为工具，用概率统计模型来描述信源，其压缩思想基于数据统计，因此只能去除数据冗余，属于低层压缩编码的范畴。　　伴随着视频编码相关学科及新兴学科的迅速发展，新一代数据压缩技术不断诞生并日益成熟，其编码思想由基于像素和像素块转变为基于内容 （content-based）。它突破了仙农信息论框架的束缚，充分考虑了人眼视觉特性及信源特性，通过去除内容冗余来实现数据压缩，可分为基于对象（object-based）和基于语义（semantics-based）两种，前者属于中层压缩编码，后者属于高层压缩编码。　　与此同时，视频编码相关标准的制定也日臻完善。视频编码标准主要由ITU-T和ISO/IEC开发。ITU-T发布的视频标准有H.261、 H.262、 H.263、 H.263+、H.263++，ISO/IEC公布的MPEG系列标准有MPEG-1、MPEG-2 、MPEG-4 和MPEG-7，并且计划公布MPEG-21。　　MPEG即Moving Picture Expert Group（运动图像专家组），它是专门从事制定多媒体视音频压缩编码标准的国际组织。MPEG系列标准已成为国际上影响最大的多媒体技术标准，其中MPEG-1和MPEG-2是采用以香农信息论为基础的预测编码、变换编码、熵编码及运动补偿等第一代数据压缩编码技术；MPEG-4（ISO/IEC 14496）则是基于第二代压缩编码技术制定的国际标准，它以视听媒体对象为基本单元，采用基于内容的压缩编码，以实现数字视音频、图形合成应用及交互式多媒体的集成。MPEG系列标准对VCD、DVD等视听消费电子及数字电视和高清晰度电视（DTV&&HDTV）、多媒体通信等信息产业的发展产生了巨大而深远的影响。

3 MPEG-4视频编码核心思想及关键技术

　　3.1 核心思想　　在MPEG-4制定之前，MPEG-1、MPEG-2、H.261、H.263都是采用第一代压缩编码技术，着眼于图像信号的统计特性来设计编码器，属于波形编码的范畴。第一代压缩编码方案把视频序列按时间先后分为一系列帧，每一帧图像又分成宏块以进行运动补偿和编码，这种编码方案存在以下缺陷：　　· 将图像固定地分成相同大小的块，在高压缩比的情况下会出现严重的块效应，即马赛克效应；　　· 不能对图像内容进行访问、编辑和回放等操作；　　· 未充分利用人类视觉系统（HVS，Human Visual System）的特性。　　MPEG-4则代表了基于模型/对象的第二代压缩编码技术，它充分利用了人眼视觉特性，抓住了图像信息传输的本质，从轮廓、纹理思路出发，支持基于视觉内容的交互功能，这适应了多媒体信息的应用由播放型转向基于内容的访问、检索及操作的发展趋势。　　AV对象（AVO，Audio Visual Object）是MPEG-4为支持基于内容编码而提出的重要概念。对象是指在一个场景中能够访问和操纵的实体，对象的划分可根据其独特的纹理、运动、形状、模型和高层语义为依据。在MPEG-4中所见的视音频已不再是过去MPEG-1、MPEG-2中图像帧的概念，而是一个个视听场景（AV场景），这些不同的AV场景由不同的AV对象组成。AV对象是听觉、视觉、或者视听内容的表示单元，其基本单位是原始AV对象，它可以是自然的或合成的声音、图像。原始AV对象具有高效编码、高效存储与传输以及可交互操作的特性，它又可进一步组成复合AV对象。因此MPEG-4标准的基本内容就是对AV对象进行高效编码、组织、存储与传输。AV对象的提出，使多媒体通信具有高度交互及高效编码的能力，AV对象编码就是MPEG-4的核心编码技术。　　MPEG-4不仅可提供高压缩率，同时也可实现更好的多媒体内容互动性及全方位的存取性，它采用开放的编码系统，可随时加入新的编码算法模块，同时也可根据不同应用需求现场配置解码器，以支持多种多媒体应用。　　MPEG-4 采用了新一代视频编码技术，它在视频编码发展史上第一次把编码对象从图像帧拓展到具有实际意义的任意形状视频对象，从而实现了从基于像素的传统编码向基于对象和内容的现代编码的转变，因而引领着新一代智能图像编码的发展潮流。　　3.2 关键技术　　MPEG-4除采用第一代视频编码的核心技术，如变换编码、运动估计与运动补偿、量化、熵编码外，还提出了一些新的有创见性的关键技术，并在第一代视频编码技术基础上进行了卓有成效的完善和改进。下面重点介绍其中的一些关键技术。　　1.  视频对象提取技术　　MPEG-4实现基于内容交互的首要任务就是把视频/图像分割成不同对象或者把运动对象从背景中分离出来，然后针对不同对象采用相应编码方法，以实现高效压缩。因此视频对象提取即视频对象分割，是MPEG-4视频编码的关键技术，也是新一代视频编码的研究热点和难点。　　视频对象分割涉及对视频内容的分析和理解，这与人工智能、图像理解、模式识别和神经网络等学科有密切联系。目前人工智能的发展还不够完善，计算机还不具有观察、识别、理解图像的能力；同时关于计算机视觉的研究也表明要实现正确的图像分割需要在更高层次上对视频内容进行理解。因此，尽管MPEG-4 框架已经制定，但至今仍没有通用的有效方法去根本解决视频对象分割问题，视频对象分割被认为是一个具有挑战性的难题，基于语义的分割则更加困难。　　目前进行视频对象分割的一般步骤是：先对原始视频/图像数据进行简化以利于分割，这可通过低通滤波、中值滤波、形态滤波来完成；然后对视频/图像数据进行特征提取，可以是颜色、纹理、运动、帧差、位移帧差乃至语义等特征；再基于某种均匀性标准来确定分割决策，根据所提取特征将视频数据归类；最后是进行相关后处理，以实现滤除噪声及准确提取边界。　　在视频分割中基于数学形态理论的分水岭（watershed）算法被广泛使用，它又称水线算法，其基本过程是连续腐蚀二值图像，由图像简化、标记提取、决策、后处理四个阶段构成。分水岭算法具有运算简单、性能优良，能够较好提取运动对象轮廓、准确得到运动物体边缘的优点。但分割时需要梯度信息，对噪声较敏感，且未利用帧间信息，通常会产生图像过度分割。　　2.  VOP视频编码技术　　视频对象平面（VOP，Video Object Plane）是视频对象（VO）在某一时刻的采样，VOP是MPEG-4视频编码的核心概念。MPEG-4在编码过程中针对不同VO采用不同的编码策略，即对前景VO的压缩编码尽可能保留细节和平滑；对背景VO则采用高压缩率的编码策略，甚至不予传输而在解码端由其他背景拼接而成。这种基于对象的视频编码不仅克服了第一代视频编码中高压缩率编码所产生的方块效应，而且使用户可与场景交互，从而既提高了压缩比，又实现了基于内容的交互，为视频编码提供了广阔的发展空间。　　MPEG-4支持任意形状图像与视频的编解码。对于任意形状视频对象。对于极低比特率实时应用，如可视电话、会议电视，MPEG-4则采用VLBV（Very Low Bit-rate Video，极低比特率视频）核进行编码。　　传统的矩形图在MPEG-4中被看作是VO的一种特例，这正体现了传统编码与基于内容编码在MPEG-4中的统一。VO概念的引入，更加符合人脑对视觉信息的处理方式，并使视频信号的处理方式从数字化进展到智能化，从而提高了视频信号的交互性和灵活性，使得更广泛的视频应用及更多的内容交互成为可能。因此VOP视频编码技术被誉为视频信号处理技术从数字化进入智能化的初步探索。　　3.  视频编码可分级性技术　　随着因特网业务的巨大增长，在速率起伏很大的IP（Internet Protocol）网络及具有不同传输特性的异构网络上进行视频传输的要求和应用越来越多。在这种背景下，视频分级编码的重要性日益突出，其应用非常广泛，且具有很高的理论研究及实际应用价值，因此受到人们的极大关注。　　视频编码的可分级性（scalability）是指码率的可调整性，即视频数据只压缩一次，却能以多个帧率、空间分辨率或视频质量进行解码，从而可支持多种类型用户的各种不同应用要求。　　MPEG-4通过视频对象层（VOL，Video Object Layer）数据结构来实现分级编码。MPEG-4提供了两种基本分级工具，即时域分级（Temporal Scalability）和空域分级（Spatial Scalability），此外还支持时域和空域的混合分级。每一种分级编码都至少有两层VOL，低层称为基本层，高层称为增强层。基本层提供了视频序列的基本信息，增强层提供了视频序列更高的分辨率和细节。　　在随后增补的视频流应用框架中，MPEG-4提出了FGS（Fine Granularity Scalable，精细可伸缩性）视频编码算法以及PFGS（Progressive Fine Granularity Scalable，渐进精细可伸缩性）视频编码算法。　　FGS编码实现简单，可在编码速率、显示分辨率、内容、解码复杂度等方面提供灵活的自适应和可扩展性，且具有很强的带宽自适应能力和抗误码性能。但还存在编码效率低于非可扩展编码及接收端视频质量非最优两个不足。　　PFGS则是为改善FGS编码效率而提出的视频编码算法，其基本思想是在增强层图像编码时使用前一帧重建的某个增强层图像为参考进行运动补偿，以使运动补偿更加有效，从而提高编码效率。　　4. 运动估计与运动补偿技术　　MPEG-4采用I-VOP、P-VOP、B-VOP三种帧格式来表征不同的运动补偿类型。它采用了H.263中的半像素搜索（half pixel searching）技术和重叠运动补偿（overlapped motion compensation)技术，同时又引入重复填充（repetitive padding）技术和修改的块（多边形）匹配（modified block （polygon）matching）技术以支持任意形状的VOP区域。　　此外，为提高运动估计算法精度，MPEG-4采用了MVFAST（Motion Vector Field Adaptive Search Technique）和改进的PMVFAST（Predictive MVFAST）方法用于运动估计。对于全局运动估计，则采用了基于特征的快速顽健的FFRGMET（Feature-based Fast and Robust Global Motion Estimation Technique）方法。　　在MPEG-4视频编码中，运动估计相当耗时，对编码的实时性影响很大。因此这里特别强调快速算法。运动估计方法主要有像素递归法和块匹配法两大类，前者复杂度很高，实际中应用较少，后者则在H.263和MPEG中广泛采用。在块匹配法中，重点研究块匹配准则及搜索方法。目前有三种常用的匹配准则：　　（1）绝对误差和（SAD, Sum of Absolute Difference）准则；　　（2）均方误差（MSE, Mean Square Error）准则；　　（3）归一化互相关函数（NCCF, Normalized Cross Correlation Function）准则。　　在上述三种准则中，SAD准则具有不需乘法运算、实现简单方便的优点而使用最多，但应清楚匹配准则的选用对匹配结果影响不大。　　在选取匹配准则后就应进行寻找最优匹配点的搜索工作。最简单、最可靠的方法是全搜索法（FS, Full Search），但计算量太大，不便于实时实现。因此快速搜索法应运而生，主要有交叉搜索法、二维对数法和钻石搜索法，其中钻石搜索法被MPEG-4校验模型（VM, Verification Model）所采纳，下面详细介绍。　　钻石搜索（DS, Diamond Search）法以搜索模板形状而得名，具有简单、鲁棒、高效的特点，是现有性能最优的快速搜索算法之一。其基本思想是利用搜索模板的形状和大小对运动估计算法速度及精度产生重要影响的特性。在搜索最优匹配点时，选择小的搜索模板可能会陷入局部最优，选择大的搜索模板则可能无法找到最优点。因此DS算法针对视频图像中运动矢量的基本规律，选用了两种形状大小的搜索模板。　　· 大钻石搜索模板（LDSP, Large Diamond Search Pattern），包含9个候选位置；　　· 小钻石搜索模板（SDSP, Small Diamond Search Pattern），包含5个候选位置。　　DS算法搜索过程如下：开始阶段先重复使用大钻石搜索模板，直到最佳匹配块落在大钻石中心。由于LDSP步长大，因而搜索范围广，可实现粗定位，使搜索不会陷于局部最小，当粗定位结束后，可认为最优点就在LDSP 周围8 个点所围菱形区域中。然后再使用小钻石搜索模板来实现最佳匹配块的准确定位，以不产生较大起伏，从而提高运动估计精度。　　此外Sprite视频编码技术也在MPEG-4中应用广泛，作为其核心技术之一。Sprite又称镶嵌图或背景全景图，是指一个视频对象在视频序列中所有出现部分经拼接而成的一幅图像。利用Sprite可以直接重构该视频对象或对其进行预测补偿编码。　　Sprite视频编码可视为一种更为先进的运动估计和补偿技术，它能够克服基于固定分块的传统运动估计和补偿技术的不足，MPEG-4正是采用了将传统分块编码技术与Sprite编码技术相结合的策略。

4 结束语

　　多媒体数据压缩编码的发展趋势是基于内容的压缩，这实际上是信息处理的高级阶段，更加向人自身的信息处理方式靠近。人的信息处理并不是基于信号的，而是基于一个比较抽象的、能够直接进行记忆和处理的方式。　　MPEG-4作为新一代多媒体数据压缩编码的典型代表，它第一次提出了基于内容、基于对象的压缩编码思想。它要求对自然或合成视听对象作更多分析甚至是理解，这正是信息处理的高级阶段，因而代表了现代数据压缩编码技术的发展方向。　　MPEG-4实现了从矩形帧到VOP的转变以及基于像素的传统编码向基于对象和内容的现代编码的转变，这正体现了传统视频编码与新一代视频编码的有机统一。基于内容的交互性是MPEG-4的核心思想，这对于视频编码技术的发展方向及广泛应用都具有特别重要的意义。

MPEG-4的应用

（1)应用于因特网视音频广播

　　由于上网人数与日俱增，传统电视广播的观众逐渐减少，随之而来的便是广告收入的减少，所以现在的固定式电视广播最终将转向基于TCP/IP的因特网广播，观众的收看方式也由简单的遥控器选择频道转为网上视频点播。视频点播的概念不是先把节目下载到硬盘，然后再播放，而是流媒体视频(streaming video)，点击即观看，边传输边播放。　　现在因特网中播放视音频的有：Real Networks公司的 Real Media，微软公司的 Windows Media，苹果公司的 QuickTime，它们定义的视音频格式互不兼容，有可能导致媒体流中难以控制的混乱，而MPEG-4为因特网视频应用提供了一系列的标准工具，使视音频码流具有规范一致性。因此在因特网播放视音频采用MPEG-4，应该说是一个安全的选择。

（2)应用于无线通信

　　MPEG-4高效的码率压缩，交互和分级特性尤其适合于在窄带移动网上实现多媒体通信，未来的手机将变成多媒体移动接收机，不仅可以打移动电视电话、移动上网，还可以移动接收多媒体广播和收看电视。

（3)应用于静止图像压缩

　　静止图像（图片）在因特网中大量使用，现在网上的图片压缩多采用JPEG技术。 MPEG-4中的静止图像(纹理)压缩是基于小波变换的，在同样质量条件下，压缩后的文件大小约是JPEG压缩文件的十分之一。把因特网上使用的JPEG 图片转换成MPEG-4格式，可以大幅度提高图片在网络中的传输速度。

（4)应用于电视电话

　　传统用于窄带电视电话业务的压缩编码标准，如H261，采用帧内压缩、帧间压缩、减少象素和抽帧等办法来降低码率，但编码效率和图像质量都难以令人满意。MPEG-4的压缩编码可以做到以极低码率传送质量可以接受的声像信号，使电视电话业务可以在窄带的公用电话网上实现。

（5)应用于计算机图形、动画与仿真

　　MPEG-4特殊的编码方式和强大的交互能力，使得基于MPEG-4的计算机图形和动画可以从各种来源的多媒体数据库中获取素材，并实时组合出所需要的结果。因而未来的计算机图形可以在MPEG-4语法所允许的范围内向所希望的方向无限发展，产生出今天无法想象的动画及仿真效果。

（6)应用于电子游戏

　　MPEG-4可以进行自然图像与声音同人工合成的图像与声音的混合编码，在编码方式上具有前所未有的灵活性，并且能及时从各种来源的多媒体数据库中调用素材。这可以在将来产生象电影一样的电子游戏，实现极高自由度的交互式操作。

（7）硬件产品上面的应用

　　目前，MPEG4技术在硬件产品上也已开始逐步得到应用。特别是在视频监控、播放上，这项高清晰度，高压缩的技术得到了众多硬件厂商的钟爱，而市场上支持MPEG4技术的产品也是种类繁多。下面笔者就列举一些代表性的产品，旨在让读者了解MPEG4技术在今天应用范围之广。　　（1）、摄像机：日本夏普公司推出过应用在互联网上的数字摄像机VN－EZ1。这台网络摄像机利用MPEG4格式，可把影像文件压缩为ASF（高级流格式），用户只要利用微软公司的MediaPlayer播放程序，就可以直接在电脑上进行播放。　　（2）、播放机：飞利浦公司于今年八月份推出了一款支持DivX的DVD播放机DVD737。它可以支持DivX 3.11、4.xx、5.xx等MPEG4标准，而对于新标准的支持则可以通过升级固件来实现。（3）、数码相机：日本京瓷公司在11月中旬发售其最新款数码相机Finecam L30，这款是采用300万像素、3倍光学变焦设计的数码相机产品， L30采用了MPEG4格式动态视频录制，可以让动态视频录制画面效果比传统数码相机更出色。　　（4）、手机：在手机领域，MPEG4技术更是得到了广泛的应用，各大手机厂商也都推出了可拍摄MPEG4动态视频的手机型号，如西门子ST55、索尼爱立信P900/P908、LG 彩屏G8000等。　　(5)、MPEG4数字硬盘：在今年深圳举行的安防展览会上，开发数字录像监控产品的厂家纷纷推出了他们的最新产品，而支持MPEG4的DVR压缩技术也成为改展会上的亮点。

综述

　　如北京华青紫博科技推出的"E眼神MPEG4数字视频王"便是一款基于网络环境的高清晰数字化监控报警系统。内置多画面处理器，集现场监控、监听、多路同时数字录像与回放等多种功能为一体。　　其实，市场上还有许多基于MPEG4技术的硬件产品，笔者这里就不一一列举了，不过笔者相信，随着视频压缩技术的不断发展，MPEG4技术的产品会越来越多的出现在我们生活，工作中。

 

在过去十年中，随着模式识别方法的增加和数据集大小的增加，医学图像分析领域的研究越来越多。这些研究促进了对图像定量特征高通量提取过程的发展，从而将图像转换为可挖掘数据特征，并随后对这些数据进行分析，以提供临床决策支持；这种做法被称为影像组学。这与将医学图像仅视为用于视觉解释的图片的传统做法形成了对比。影像组学特征包含一阶、二阶和高阶统计量。这些数据与其他患者数据相结合，并结合复杂的生物信息学方法进行挖掘，以开发能够提高诊断、预后和预测准确性的模型。由于影像组学分析旨在使用标准图像进行，因此将数字图像转换为可分析的数据最终将成为常规做法。本文描述了影像组学的流程、面临的挑战以及发挥更好的临床决策的潜在能力，尤其是在癌症患者的预后方面。本文发表在Radiology杂志。

通过高通量计算，现在可以从断层图像（计算机断层扫描[CT]、磁共振[MR]或正电子发射断层扫描[PET]图像）中快速提取大量定量特征。将数字医学图像转换为可挖掘的高维数据，这一过程被称为影像组学，其目的是通过定量图像分析，可以揭示生物医学图像包含反映潜在的病理生理学的信息。尽管影像组学是计算机辅助诊断和检测（CAD）系统的自然延伸，但它与计算机辅助诊断和检测（CAD）系统有着显著的不同。CAD系统通常是独立的系统，由食品和药物管理局指定用于检测或诊断疾病：(1). CAD的早期成功在乳腺癌成像方面最为显著。与CAD系统不同，CAD系统的目标是提供单一答案（即，是否存在病变或癌症），影像组学是一个明确的过程，旨在从数字图像中提取大量定量特征，将这些数据放入共享数据库，随后，挖掘数据以生成假设、进行检验或两者兼而有之。Radiomics旨在开发决策支持工具；因此，它涉及将影像数据与其他患者特征（如可用）相结合，以提高决策支持模型的能力。由于影像组学旨在从标准图像中提取最大信息，因此可以预见将数百万患者的大量影像组学数据（以及理想情况下的其他补充数据）结合起来的数据库的创建。

尽管影像组学可以应用于许多情况，但由于国家癌症研究所（NCI）定量成像网络（QIN）的支持以及NCI癌症成像项目的其他举措，影像组学在肿瘤学领域得到了最充分的发展。正如本文后续章节所述，随着知识和分析工具的发展，影像组学在肿瘤学决策支持方面的潜力也在增长。基于强度、形状、大小或体积以及纹理的定量图像特征提供了有关肿瘤表型和微环境的信息，这些信息不同于临床报告、实验室测试结果以及基因组或蛋白质组分析所提供的信息。这些特征，连同其他信息，可以与临床结果数据相关联，并用于临床决策支持（图1）。影像组学似乎提供了几乎无限的成像生物标记物，可能有助于癌症的检测、诊断和治疗，预后评估、治疗反应预测和疾病状态监测。

图1，流程图显示了影像组学过程以及在决策支持中的使用。

患者检查需要将来自不同来源的信息合并到一个连贯的模型中，以描述病变的位置、部位和作用。影像组学从获取高质量图像开始。从这些图像中，可以识别包含整个肿瘤或肿瘤内的子区域的感兴趣区域（ROI）。这些图像通过分割，最终以三维（3D）形式呈现。从这些感兴趣区中提取定量特征以生成特征，该特征与其他数据（如临床和基因组数据）一起放置在数据库中。然后对这些数据进行挖掘，为感兴趣的结果开发诊断、预测或预后模型。

挖掘影像数据以检测与基因组模式的相关性被称为影像基因组学，它在研究界引起了特别大的兴趣。为避免混淆，应注意，影像基因组学一词也用于影像肿瘤学领域，旨在基于全基因组分析来确定影像敏感性变异的遗传原因。此后，在本文中，我们将仅将影像基因组学称为影像特征与基因组数据的结合，以实现决策支持。影像基因组学的价值源于这样一个事实：尽管几乎所有癌症患者在治疗期间都会在某个时间点进行成像，而且往往是多次，但并不是所有患者都对其疾病进行了基因组分析。此外，当进行基因组分析时，固定位置进行，并且易受样本误差影响。因此，影像基因组学有两种潜在用途，将在影像基因组学结果部分的示例中详细描述。首先，影像数据的一个子集可以用来提示基因表达或突变状态，这可能需要进一步的检测。这一点很重要，因为影像数据来自整个肿瘤（或多个肿瘤），而不仅仅是样本。因此，影像组学可以提供有关样本基因组学的重要信息，并可用于交叉验证。其次，影像特征的一个子集与基因表达或突变数据没有显著相关性，因此有可能提供额外的独立信息。这一影像特征子集与基因组数据的结合可能会提高诊断、预后和预测能力。

虽然影像组学最初起源于基础研究，但最近它也引起了临床研究人员以及日常临床实践人员的兴趣。对于临床影像科医生来说，影像组学有可能帮助诊断常见和罕见的肿瘤。肿瘤异质性的可视化对于评估肿瘤的侵袭性和预后可能至关重要。例如，研究已经表明，影像组学分析有助于区分前列腺癌和良性前列腺组织，或增加有关前列腺癌侵袭性的信息。在肺癌和多形性胶质母细胞瘤的评估中，影像组学已被证明是评估患者预后的工具。为影像组学开发的工具可以帮助日常临床工作，而影像科医生可以在持续构建的用于未来决策支持的数据库方面发挥关键作用。

XX-组学是源于分子生物学学科的一个术语，用于描述生物分子的详细特征，如DNA（基因组学）、RNA（转录组学）、蛋白质（蛋白质组学）和代谢物（代谢组学）。现在，这个术语也被用于其他医学研究领域，这些领域从单个物体或样本中生成复杂的高维数据。组学数据的优势是这些数据是可挖掘的，因此可以用于探索和假设生成。组学概念很容易应用于多层定量断层成像：来自一名患者的一张多层面或三维图像可能很容易包含数百万个体素。此外，一个肿瘤（或其他异常实体）可能包含数百个描述大小、形状和纹理的可测量特征。影像组学分析是精确医学追求的缩影，在精确医学中，分子和其他生物标志物被用来预测在正确的时间对正确的患者进行正确的治疗。可靠且经过验证的生物标志物的可用性对于推进精准医学至关重要。全世界都在努力提高这类生物标志物的可用性，而在美国，这一努力最显著的是通过精准医学倡议。这项倡议将为一种新的以患者为动力的研究模式提供资金，该模式有望加速生物医学发现，并为临床医生提供新的工具、知识和疗法，从而实现更精确的个性化护理。

针对癌症的影像组学方法的一个主要优点是，几乎每一位癌症患者都能获得数字影像图像，所有这些图像都是潜在的治疗来源的影像组学数据集。仅在美国，每年就有大约160万新的癌症病例。大多数患者将接受多重CT、MR成像和PET检查。在未来，所有这些研究的图像解释都有可能通过使用影像组学来增强，从而建立一个前所未有的大数据源，扩大发现有用相关性的潜力。尽管影像组学将通过基因组学的新应用和改进的分型方法更好地描述患者及其疾病，但它也将增加数据管理的挑战，我们将在本文后面讨论。

影像组学为肿瘤生物学的评估提供了重要的优势。人们现在认识到，大多数临床相关实体瘤在表型、生理学和基因组水平（13-15）上具有高度异质性，并且它们会随着时间的推移不断进化。在这个靶向治疗的新兴时代，值得注意的是，大多数反应都不是持久的，而且效益通常是以月而不是年来衡量的。例如：（a）表皮生长因子受体突变型肺癌患者使用吉非替尼，（b）人类表皮生长因子受体2（或HER2）过度表达乳腺癌患者使用曲妥扎单抗，（c）b-Raf突变型黑色素瘤患者使用维穆拉非尼。同一患者肿瘤内和转移瘤部位的基因组异质性是治疗失败和出现治疗耐药性的主要原因。因此，精确医学不仅需要体外生物标记物和辅助诊断，而且还需要在空间和时间上分辨的肿瘤生物标记物。推动影像组学研究的一个核心假设是，影像组学有可能实现肿瘤内和肿瘤间异质性的定量测量。此外，影像组学提供了在治疗监测和优化或主动监测中纵向使用的可能性。尽管影像组学的此类应用尚待深入探索，但它们可能提供了最具价值的未来。

应该强调的是，影像和影像基因分析可用于确定相关性，而不是病理机制；因此，它们不能仅通过成像对组织的遗传或其他内容进行最终评估。然而，影像学数据与基因组或其他组学数据的相关性不仅可以决定是否检测活检样本中的某些基因改变，还可以决定活检部位的选择。它还可以提供证实性信息，以支持组织病理学发现。这一点很重要，因为据估计，癌症组织病理学的错误率可能高达23%。病理组织学中的错误是由于采样错误和观察者的可变性造成的；因此，非常需要额外的定量诊断信息。

我们相信，影像组学正在迅速超越最佳研究领域，并正在成为一种转化技术。因此，现在是开始建立数据提取、分析和建立标准的适当时机。本报告的目的是向包括影像科医生在内的广大临床医生介绍影像组学的实践，让更广泛的社区参与建立标准。在这样做的过程中，我们将描述影像组学技术所涉及的过程和它提供的独特信息，以及它所面临的挑战和潜在的解决方案。我们还将重点介绍一些最新的重要发现，最后为未来的影像组学提供展望。

影像组学流程

虽然从概念上讲很简单，但影像组学的实践涉及不连续的步骤，每个流程都有相对的挑战。这些步骤如图1所示，包括：（a）获取图像，（b）识别感兴趣的体积（即，可能包含预后价值的体积），（c）分割体积（即，用计算机辅助轮廓描绘体积的边界），（d）从体积中提取和确认描述性特征，（e）使用这些数据填充可搜索的数据库，以及（f）挖掘这些数据以构建分类器模型，单独或结合其他信息（如人口统计学、临床、共病或基因组数据）预测结果。我们将依次讨论这些过程。

图像获取

现代CT、MR成像和PET/CT组合使得在采集和图像重建协议方面有很大的差异，而医疗成像中心通常缺乏这些协议的标准化。在临床实践中使用的常规影像学特征的识别中，这通常不是问题。然而，当对图像进行数值分析以提取有意义的数据时，采集和图像重建参数的变化可能会导致非潜在生物效应引起的变化。这一点在新兴的定量成像领域得到了广泛认可，该领域的目的是生成具有可描述的偏差和方差限制的医学图像。换句话说，仅仅报告一个或一组从图像中提取的数字是不够的；相反，我们还必须能够提供误差标准，就像其他所有可靠的实验室测量一样。

在过去的15年里，为推进定量成像做出了多项努力，包括确定采集和重建标准（26,27）。QIN是NCI发起的一个合作网络，其目标是开发定量成像方法，以提高新癌症疗法临床试验的有效性。“QIN”是NCI的一项重大倡议，可以被视为新成像方法的前沿，包括影像组学。并且北美影像学会（RSNA）和美国国家生物医学成像和生物工程研究所（National Institute for Biomedical Imaging and Bioengineering）赞助了定量成像生物标记物联盟（QIBA），这是定量成像领域的一项重大努力（29）。QIBA的目标是通过将参与其开发和实施的所有团队聚集在一起，实现定量成像的标准化。QIBA的主要产品是一种新型文件，称为剖面图，该文件就特定用途的定量成像生物标记物的测量精度以及达到该测量精度水平所需的要求和程序达成共识。超过100名参与者参与创建了最初的齐巴氟脱氧葡萄糖PET/CT档案，该档案于2014年发布（30,31）。美国医学物理学家协会（American Association of Physicals in Medicine）正在以成像仪操作和测试的模式相关报告的形式提供定量成像的技术指南。最后，相关专业协会，如美国影像学会、RSNA、核医学和分子成像学会、国际医学磁共振学会和世界分子成像学会，正在越来越多地将定量成像基础的各个方面纳入其指南。

感兴趣区识别

确定具有预后价值的组织体积是肿瘤学影像学实践的核心。虽然在诊断时可以在一个或多个肿瘤部位检测到癌症，但大多数癌症转移患者都有多个病灶。在这两种情况下，我们都需要将肿瘤和疑似肿瘤确定为感兴趣的体积。然而，由于数字图像的空间和对比度限制，影像学报告中通常没有对可能具有预后价值的肿瘤内亚体积（肿瘤异质性的表现）进行详细分析。虽然异质性不包括在固体肿瘤1.1版（32）的反应评估标准中，但一些纹理描述符已被纳入更复杂的诊断成像报告和数据系统，如乳腺成像报告和数据系统（BI-RADS）（33）、前列腺成像报告和数据系统（PI-RADS）（34），以及肺成像报告和数据系统（Lung RADS）（35）。在影像组学的实践中，可以捕获所谓的感兴趣的子体积，并将其添加到分析中。在过程中其基本理念是在前端捕获尽可能多的数据，并使用数据库挖掘来识别具有最高预后价值的特征。

最近，使用图像数据识别病变在生理上不同区域的特征概念已经被发表（36）。在这种方法中，具有不同采集参数的图像（例如，对比T1WI磁共振成像、扩散加权和流体衰减序列）可以组合，以产生具有定量图像数据特定组合的区域。值得注意的是，当执行此操作时，组合位于肿瘤的空间明确区域（图2）。我们之所以称这些区域为感兴趣区，是因为它们在生理上代表不同的体积都有特定的血流、细胞密度、坏死和水肿组合。可以从每个感兴趣区提取额外的影像特征，以获得癌症病变的高粒度描述。例如，在多形性胶质母细胞瘤患者中，这些感兴趣区的分布可以使我们区分进展迅速的癌症（存活400天）和更缓慢的癌症（37）。此外，这些感兴趣区在治疗后发生变化（例如，用放疗和替马唑胺治疗），观察到的变化模式可以预测反应。

图2：多形性胶质母细胞瘤患者。

通过结合平扫和对比增强T1加权、T2加权和液体衰减反转恢复（FLAIR）图像来确定感兴趣区。通过直方图分析，将每次采集的数据分为低值和高值，得出八种不同组合的可能性。实际上，只观察到四种不同的组合。它们对应于红色（低T1、高T2和FLAIR）、黄色（低T1和T2、高FLAIR）、蓝色（高T1和FLAIR、低T2）和绿色（高T1、低FLAIR和T2）区域。值得注意的是，虽然单个体素是通过数学确定的，但它们在空间上聚集成连续区域，反映不同的生理微环境。

分割

分割是影像组学中最关键、最具挑战性和最具争议的部分。这一点至关重要，因为后续的特征数据是从分割的体积生成的。这很有挑战性，因为许多肿瘤边界模糊。这是一个有争议的问题，因为关于是否寻求基本原理或再现性，以及在多大程度上依赖手动或自动分割，目前仍存在争论。然而，一个共识正在形成，通过计算机辅助边缘检测，然后进行手动处理，可以实现最佳的可重复分割。众所周知，手动轮廓肿瘤的变异性很高（38,39）。正常结构的分割，如骨骼元素和器官，现在可以实现完全自动化。然而，任何疾病，尤其是癌症，都需要医生诊断输入，因为在初始检查时受试者之间和受试者内部的形态学和对比度具有异质性。

特征选择和量化

影像组学的核心是提取高维特征数据，以定量描述感兴趣区的属性。实际上，“语义”和“潜在”特征是影像组学中提取的两种类型的特征。语义特征是影像学词汇中常用于描述感兴趣区域的特征，而不可知特征是那些试图通过定量描述来捕捉病变异质性的特征。

语义特征-虽然影像科医生通常使用语义特征来描述病变，但在本文中，我们使用计算机辅助对其进行量化。基于语义特征具有预后价值，影像组学的早期研究开发了影像学词汇，与BI-RAD、PI-RAD和Lung-RAD的描述非常相似。Segal等人在这方面发表了一篇权威的文章，他在影像基因组学的早期例子中，使用了一系列有限的影像科医生评分的定量特征来预测肝细胞癌的基因表达模式（40）。这种方法仍然具有很高的价值，并且有一种趋势，即在计算机的帮助下捕获此类语义数据，以实现更高的组间一致性、更快的诊断量和更小的差异。

潜在特征-图像上的不可知影像特征是通过数学方法提取的定量描述符，通常不属于影像科医生的词汇。这些可分为第一、第二或更高阶的统计输出。一阶统计量描述单个体素值的分布，而不考虑空间关系。这些通常是基于直方图的方法，并将感兴趣的区域减少为图像上强度的平均值、中值、最大值、最小值、均匀性或随机性（熵），以及直方图的偏度（不对称）和峰度（平坦度）的单个值。二阶统计描述符通常被描述为“纹理”特征；它们描述了具有相似（或不同）对比度值的体素之间的统计相互关系。1973年，Haralick等人首次引入图像纹理分析（41）。在影像组学中，纹理分析可以很容易地提供肿瘤内异质性的测量。在实践中，有几十种方法和多个变量可用于提取纹理特征，导致数百个值太多，无法在本文中详细阐述。本文参考了一些关于该研究的优秀综述，特别是关于肿瘤内异质性的综述。高阶统计方法对图像施加过滤，以提取重复或非重复特征。这些包括分形分析，其中滤波被施加在图像上，并且包含指定值的体素的计算（44）；Minkowski泛函，用于评估强度高于阈值的体素特征；小波，是将图像乘以复杂线性或径向“波”矩阵的滤波变换；高斯带通滤波器的拉普拉斯变换，可以从图像中提取纹理图案越来越粗糙的区域。

人们一直在努力识别、定义和提取更多的潜在特征。第一个这样的研究使用182个纹理特征和22个语义特征来描述肺癌的CT图像。然后是442个组合的特征集，其中也包含小波。最近，这已经扩展到662个特征，其中还包含高斯拟合的拉普拉斯变换；以及522个特征的组合，其中包括纹理和分形维数特征。这些特征可能可以从个体感兴趣区中提取，从而产生数千个数据元素来描述每个感兴趣的体积，每个患者都有许多感兴趣的体积。

因此，很明显，描述图像特征的数量可以接近通过基因表达谱获得的数据的复杂性，这通常会产生超过30000个不同序列的信息。如此复杂的情况下，存在过度拟合分析的危险，因此，必须通过优先考虑主要特征来降低维度。最系统的方法是首先确定可能是冗余的特征（即那些彼此高度相关的特征）。图3是从143例非小细胞肺癌患者的CT扫描中提取的219个特征的协方差矩阵。那些彼此高度相关（R2.0.95）的特征显示为红色非独角区域。高度相关的特征簇可以折叠成一个具有代表性的特征，通常是主体间可变性最大或动态范围最高的特征。图3还为其他组学领域提供了一个概念桥梁，其中图像的数据内容由假彩色图表示。如果可用，复测数据也非常有用，因为它们可以帮助根据特征的再现性确定特征的优先级。Aerts等人描述的另一个优先级别是，在代表不同潜在和语义特征类别（例如大小、形状和一阶二阶高阶特征）的单独类别中对顺序特征进行排序。然后，可以使用每个类中的两个或三个最高优先级的特征构建分类器模型。归根结底，特征集的价值取决于它们对通过数据库挖掘创建的分类器模型的贡献。

图3：特征的协方差矩阵。

共从235名患者的每个非小细胞肺癌肿瘤中提取了219个特征。在所有肿瘤中，通过使用回归分析将每个特征与所有其他特征单独比较，从而产生相关系数（R2）。然后沿着两个轴对各个特征进行聚类和绘制，R2显示为热图，高相关性区域（R2.0.95）显示为红色。因此，对角线上的每个红色方块都包含一组相互高度相关的特征，因此是冗余的。为了进行数据分析，选择了一个特征来代表这些群体。选择的代表性特征是在整个患者数据集中具有显著（患者间变异性）的特征，明确假设显示最高患者间变异性的特征将是信息量最大的特征。

建立数据库：保证数量和质量

在影像组学和其他领域，预测分类器模型的能力取决于是否有足够的数据。根据我们的经验，合理的经验法则是，基于二元分类器的模型中的每个特征需要10个样本（患者数据）。此外，最好的模型是那些能够容纳额外的临床或基因组协变量的模型，这增加了对大型高质量数据集的需求。尽管更大的数据集提供了更大的准确率，但仅需100名患者就可以进行影像成像。从回顾性数据中获取和整理大型高质量数据集非常耗时。例如，在最近的一项研究中，我们整理了一组具有基因表达谱的非小细胞肺癌腺癌患者的数据。在当地数据库中，285名此类患者很容易被确定为此类队列研究的潜在候选者。需要通过图表和病理学检查来验证这些结果需要188小时，由于数据缺失或组织病理学发现不明确，导致研究队列中失去了50名患者。当组织病理学发现模棱两可时，病理学家检查了图像；这只会增加时间。通过标准化的图像采集和重建系统，需要92小时的标准化图像采集。将特征分割和提取到数据库中需要额外145小时。因此，143名患者的数据集的研究需要285名患者（约50%的损耗）的训练集，需要430小时的处理，或每个患者大约3小时的处理。因为这些患者没有进行医疗或人口统计筛选。在未来，以更高的质量和标准前瞻性地捕获图像和其他数据将减少数据消耗，并使过程更高效。

建模

一旦有了高质量和精心策划的大型数据集，它们就可以用于数据挖掘，即在大型数据集中构建模型的过程。这个过程可以使用人工智能、机器学习或统计方法。一方面，这些方法包括有监督和无监督机器学习方法，如神经网络、支持向量机或贝叶斯网络。尽管这些方法通过训练集使用先验知识，但它们是不可知的，因为它们不对单个特征的含义进行假设。因此，在开始学习时，所有特征都被同等重视。数据挖掘领域的另一端是假设驱动的方法，它们根据预定义的信息内容对特征进行聚类。虽然这两种方法都有优点，但最好的模型是那些根据特定医学背景量身定制的，因此从定义明确的终点开始。

理想情况下，稳健的模型能够适应实验以外的患者特征。协变量包括基因组图谱（表达、突变、多态性）、组织学、血清标记物、病史和符合特定用例的生物标记物（图1）。实际上，并非所有患者都能获得所有信息；因此，模型的设计也应该适应稀疏数据。如前所述，模型的鲁棒性完全取决于数据库中数据的大小和质量。质量不仅取决于图像采集条件，还取决于协变量的可用性和可靠性。例如，总体存活率是许多研究的共同终点，但这包括所有原因的死亡，这可能与正在研究的疾病无关。相对准确的研究终点包括无进展生存和无疾病生存或复发；然而，这些数据并不容易获得，需要通过图表审查进行专门的抽象工作。因此，迫切需要获取此类数据，并在各机构之间共享数据，以积累足够的数据，增强统计能力。这种数据共享是秦的一项重大举措，QIN的成员致力于将精心策划的数据集存入癌症成像档案库，用于公共和私人数据挖掘工作。

影像组学结果举例

在过去10年中，影像组学和影像基因组学在断层成像（CT、MR成像和PET）方面的研究显著增加。两篇写得很好且相对较新的评论描述了2014年的一些进展（42,43）。在接下来的部分中，我们将重点介绍一些显著的发现，其中一些是最近的，这些发现显示了影像组学在多个领域实质性地帮助临床护理的潜力。

辅助诊断

在一项对147名经活检证实患有前列腺癌的男性进行的研究中，Wibmer等人表明，Haralick纹理分析有可能在T2加权MR图像和扩散加权MR图像得出的表观扩散系数（ADC）图上区分癌性前列腺组织和非癌性前列腺组织（图4）。在前列腺周围区域，评估的所有五个特征（熵、惯性、能量、相关性和同质性）在两种类型的图像上的良性组织和癌组织之间存在显著差异；然而，在过渡区，ADC图上的所有五个特征和T2加权图像上的两个特征（惯性和相关性）都存在显著差异。在后续研究中，这些特征被用于自动计算Gleason分级，并被发现能够区分Gleason评分为6（3+3）的癌症和Gleason评分为7或以上的癌症，准确率为93%。此外，这些分析可用于区分两种不同形式的Gleason评分7疾病（4+3 vs 3+4），准确率为92%。

图4：纹理分析在前列腺癌T2加权MR图像和ADC图中的应用。

过渡区的病变在T2加权图像（左上）上几乎看不见，在ADC图（右上）上具有更高的显著性。纹理特征是基于每个体素从手动分割的感兴趣区域计算出来的，识别正常周边区域（蓝色轮廓）和癌症（红色轮廓）。根据计算出的纹理特征，采用机器学习方法来区分正常结构和癌性结构，并对格里森模式进行分级。热图图像显示了健康组织和癌症之间的明显差异，描绘了肿瘤内的异质性，这可能有助于评估肿瘤的侵袭性，并为融合磁共振成像-超声活检提供信息。

肿瘤预后

遗传学研究首次显示了癌症患者的定量图像特征与基因表达模式之间的关系。在第一项研究中，研究人员将从肝细胞癌患者对比增强CT图像中提取的影像科医生定义的语义特征与使用机器学习和神经网络的基因表达模式进行了比较。他们发现，28种成像特征的组合可用于重建78%的整体基因表达谱，而这些基因表达谱又与细胞增殖、肝脏合成功能和患者预后有关。在随后的一项研究中，研究人员采用类似的方法，比较了从MR图像中提取的图像特征，以预测多形性胶质母细胞瘤患者的整体基因表达模式。他们发现，“浸润性”成像表型与显著缩短的生存期相关。

肺癌患者中，有确凿的证据表明肺部CT图像上存在肿瘤内异质性。这些异质性可以通过纹理或熵梯度等特征来捕捉。Grove等人发现，这些指标是早期肺癌患者强有力的预后指标（P，.01）。Aerts等人的一项研究表明，影像特征可用于预测来自两个独立机构的完全独立肺癌患者队列的结果。此外，同样的特征也可以应用于具有同等预后能力的头颈癌患者队列。值得注意的是，该特征由来自四个类别（大小、形状、纹理和小波）的顶级特征组成，这些特征通过使用测试-再测试再现性和主体间范围从442个特征的数据库中进行优先排序。这项研究展示影像组学从一般影像学表型在识别多种癌症预后方面的潜力。

影像学界众所周知，磁共振成像的对比度增强通常是不均匀的，具有复杂的模式。在一篇具有里程碑意义的文章中，Rose等人分析了23例胶质瘤患者的动态对比增强MR图像的增强模态，使用二阶和更高的统计指标来表示增强异质性。他们表明，动态对比增强MR图像的纹理异质性的复杂度量转移系数图可用于区分高级别和低级别胶质瘤，其统计功效（P，.00005）远高于单独的中值转移系数图（P=.005）。在最近的一项研究中，Gevaert等人提取了55例接受基因表达谱分析的胶质瘤患者的大量语义和潜在特征。然后对特征集进行重复性筛选，产生18个特征，并在三个不同的感兴趣区进行评估。在潜在特征中，大部分与语义特征相关；54人中有3人与生存有关，7例与基因表达有关。当通过通路评估基因表达时，大约一半的成像特征显示出与基因组学的强相关性。这些分析表明，基于影像组学的方法可以显著提高预测基因表达模式、预后和胶质瘤分期的能力。

最近，Vignati等人对49例前列腺癌患者的扩散和T2加权磁共振成像检查进行了彻底的前瞻性影像组学分析。将从T2加权图像和ADC图中提取的潜在特征与更传统的ADC截止指标进行比较，以验证纹理有助于区分病理性Gleason评分为6的男性和病理性Gleason评分为7或更高的男性的假设。这是一个重要的临界点，因为病理学Gleason评分为6分的男性可能是积极监测的候选对象。对于标准ADC截止指标，AUC特性曲线下的面积范围为0.82至0.85。当分析ADC和T2图的异质性时，曲线下的面积分别提高到0.92和0.96。尽管这项研究可能数据量不足，但它显示了定量分析肿瘤异质性在评估肿瘤侵袭性和告知重大临床决策（如是否治疗癌症）方面的潜在价值。值得注意的是，其他研究人员也发现，即使在控制了ADC中位数后从ADC图确定的熵与病理性Gleason评分显著相关。

治疗选择

在一项开创性研究中，Kuo等人确定了与阿霉素药物反应基因表达程序相关的肝细胞癌影像学表型。他们的结果表明，影像基因分析可用于指导个体肿瘤的治疗选择。最近，一项对58名接受局部晚期乳腺癌治疗的女性的研究表明，纹理分析动态对比增强磁共振成像可以帮助预测新辅助化疗开始前的反应。

指导活检或切除

图像可以用来指导活检是不言而喻的。我们认为，对区域不同的影像特征进行定量分析也可以准确地确定活检；也就是说，它们可以用于先验地识别复杂肿瘤中最可能包含重要诊断、预后或预测信息的位置。使用PET将功能信息叠加在CT或MR图像上，以更好地指导腹部和骨病患者的活检，已经证明了这一点。图4、图6和图7分别显示了影像组学在前列腺癌、膀胱癌和转移性乳腺癌患者的MR成像、CT和PET/CT中应用的最新实例，并显示了影像组学在更明智地决定在哪里进行活检方面的潜力。

影像组学挑战

在这篇文章中，我们已经讨论了影像医学过程中各个步骤的技术挑战。现在，我们将介绍从整体上看，从影像组学引起的更广泛关注。

再现性

影像组学是一门新兴的学科。与以分子生物学为动机的治疗一样，影像组学在加速精确医学方面具有巨大潜力。然而，影像组学也有可能经历与基于分子生物学的系统诊断技术和治疗相同的缓慢进展。这一缓慢进展可归因于多种原因，包括技术复杂性、糟糕的研究设计（尤其是假设生成与假设检验的混合）和数据拟合过度，缺乏验证结果的标准，结果报告不完整，所用数据库中未识别的混杂变量，尤其是如果数据是回顾性得出的。因此，与任何生物标志物研究一样，回顾性影像组学研究必须根据完全独立的数据集进行验证，最好是来自另一个机构。此外，最严格的生物标志物鉴定要求进行前瞻性多中心试验，其中生物标志物是主要终点之一。

虽然已经开发出了用于基因组分析的标准化工具（前列腺癌的GenomeDx[GenomeDx Biosciences，加利福尼亚州圣地亚哥]、乳腺癌的Oncotype Dx[genomic Health，加利福尼亚州红杉城]），但它们并没有得到普遍认可，也没有在各个医疗中心得到应用，这阻碍了数据共享和结果重现的发展。研究已经在生物医学研究和分子靶向药物开发中记录了这些问题。2009年对生物医学研究报告的分析发现，至少50%的研究太差、不够充分或不完整，无法使用。拜耳医疗保健公司（德国勒沃库森）的科学家报告称，他们仅能成功复制的67项研究中四分之一的已发表结果。此外，当安进（加利福尼亚州千橡园）的科学家试图复制癌症基础科学中53项里程碑式的研究时，他们只复制了6项（67项）的原始结果。这些问题已经变得足够严重，来自30多家高影响因子生物医学期刊的编辑已经联合起来，实施统计测试的共同标准，并改善原始数据的获取。这些标准已被美国国立卫生研究院采用。尽管这些标准是为解决临床前数据而制定的，但它们可以应用于所有研究领域，并可以为解决与影像组学固有的高维数据采集和分析相关的复杂问题提供标准参考。Equator network提供了一个极好的概述，该网络促进了健康研究的质量和透明度。医学研究所2012年的《组学》报告也指出了研究设计的挑战。解决这些挑战的一个明确办法是为影像组学研究的开展及其在文献中的报告建立基准。

大数据

在精确医学时代，每个患者都会收集到千兆字节的数据。患者数量的指数增长以及从中获取的数据元素被通俗地称为“大数据”。大数据倡议的目的是从并非源自精心控制的实验的大数据集中得出推论。虽然观测值之间的相关性可能数量庞大且容易获得，但因果关系更难评估和建立，部分原因是它对于复杂系统来说是一个模糊且缺乏明确规定的结构。在大数据学科中，有一些基本问题：获取海量数据是否是理解基础科学和应用科学基本问题的关键？或者，数据的大量增加是否会混淆分析，产生计算瓶颈，并降低得出有效因果推断的能力？与影像组学技术一样，大数据领域也处于早期阶段。上述问题在美国国家科学院（National Academy of Sciences，71）主办的一次大数据会议上得到了解决，影像医学领域将从这一努力中受益。

数据共享

建立基于影像组学的模型作为用于决策支持的生物标记物的最大挑战是在多个地点共享图像数据和元数据。多站点试验需要询问不同的患者队列，并创建足够大的数据库进行统计分析。数据共享是所有生物医学研究的共同挑战，必须克服文化、行政、监管问题。值得注意的是，像儿童肿瘤学小组这样的社区已经建立了数据共享的历史和文化，因此可以扩大他们的研究，包括影像图像分析。影像组学中的数据共享尤其令人望而生畏，因为共享数据必须包括图像，并且共享必须符合《健康保险便携性和责任法案》，因为构建足够复杂的模型需要大量个人健康信息。应对这一挑战的解决方案有很多，可以包括：

（a）大型集中数据存储库，如癌症成像档案馆和癌症基因组图谱，其中的访问权限仅限于机构审查委员会——批准的用户或数据可以被剥夺个人健康信息；

（b） 联合方法1，其中每个机构维护各自的数据，并发送查询模型以提取相关元数据；

（c）联合方法2，其中所有机构都可以由诚实的经纪人访问（即，拥有多站点机构审查委员会批准访问权限的超级用户）。无论采用哪种解决方案，基础设施成本都可能是巨大的。

标准

虽然在本文中已经提到的许多领域已经存在或正在制定标准，但仍然存在差距。例如，尽管重新测试受试者或患者研究的价值得到了广泛认可，但许多已发表的研究样本量较小。理想情况下，这些研究应该结合起来进行meta分析；然而，如前所述，报告结果的方式往往存在问题。虽然有报告指南，但还没有定量成像结果的报告指南，更不用说更复杂的影像组学结果的报告了。纹理分析核心技术的测试也缺乏标准。如果该领域要实现其潜力，就有必要为影像组学的各个方面提供标准。

影像组学：临床决策的下一个前沿

我们对影像组学的愿景是乐观而明确的。在可预见的未来，我们预计从世界各地的影像学检查中收集的数据将转化为定量特征数据，这些数据将与知识库连接，以提高诊断准确性和决策支持的预测能力。为了使其在临床环境中具有较高的外显率，必须鼓励从业者参与这一过程。我们怎么从这里到那里？显然，解决方案的一部分涉及解决上述标准化和数据共享的挑战。此外，必须前瞻性地收集数据。影像科医生在前端识别和管理数据以及在用户端应用分类器模型以提高诊断和预后准确性方面发挥着核心和关键作用。在此期间，这将是一项涉及信息技术专家、生物信息学家、统计学家和治疗医师的多学科工作。在这里，我们概述了需要在短期和中期内在地方和跨国层面上做些什么。

影像科医生对高质量数据的管理

在当前的一般实践中，影像学检查是定性评估的，生成的报告通常不使用标准词汇，尽管有许多研究采用统一的词汇，如RadLex®。（如果经常使用，带有RadLex®类型图像功能的注释可能会大大有助于挖掘数据库。此外，图像一旦存档，就很少再被访问。尽管存在大量图像存储库，但由于前面所述的限制，它们实际上无法进行管理。解决方案是在站点前瞻性地捕获数据。因此，我们设想从经典影像学过渡到影像科医生积极参与定量图像数据库管理的新范式。高质量图像数据的收集需要复杂的内容专业知识来识别、限定（在计算机协助下）和注释（使用标准化和可挖掘的词典）感兴趣的内容。为了实现高质量的数据整理，我们必须首先让影像从业者相信它的价值，我们必须简化流程，使其能够在临床实践的限制范围内实现。通过在大数据的数据整理和分析中发挥关键作用，影像科医生和内科医生都将能够使影像学成为其领域中一个重要、有价值的新维度。

健康信息

为了获得最大价值，在个体患者的检查和监测过程中获得的各种高质量数据必须相互连接。这是众所周知的，大多数大型医疗中心现在都在投资合适的电子病历系统，以便以可挖掘的形式访问患者数据。目前，影像数据通常不作为该数据流的一部分纳入；然而，随着结构化影像报告的采用，这种情况正在发生变化。未来的挑战将是捕获影像数据，作为结构化报告的一部分。

数据共享

如前所述，分类器模型的质量受到用于创建它们的数据集大小的限制。即使一个机构能够前瞻性地获取其所有影像数据，也需要数年时间才能产生足够的数量。此外，这些数据是一个移动的目标，因为医学图像采集技术在不断改进。图像采集和重建中的差异是必须纳入定量图像数据挖掘中的协变量，因此会增加按数量级排列的建模所需的数据量。解决方案是让多机构、国家或国际财团同意通过集中或分布式（联合）网络共享数据。这些挑战已经在基因表达、测序和蛋白质结构数据库的基础科学中得到了解决。通过共享肿瘤学元数据（http://www.oriencancer.org或儿童肿瘤学小组）开始解决这些问题，癌症成像档案馆（Cancer Imaging Archive，77）已经启用了一些图像文件共享。迄今为止，开发定量图像驱动的生物标记物的合作效果非常显著。影像组学在进一步丰富图像解释、扩大成像范围、提高精确度和提取活体生物信息方面具有巨大潜力。为了充分发挥影像医学的潜力，我们需要接受跨学科的共同愿景，并做出共同承诺。

未来的影像科阅片室

上述场景需要一个阅览室，在这里，执业影像科医生与图片存档和通信系统软件交互，以识别、分割和提取感兴趣区域的特征。如果在同一患者身上获得的先前研究可用，阅读软件将自动识别先前的感兴趣区域。作为读取的一部分，提取的大小、形状、位置和纹理特征将自动上传到共享数据库，并通过算法与之前的图像进行比较，以实现更精确的诊断。由于大多数图片存档和通信系统都能够将当前图像与以前的图像共同配准，并执行用户交互分割，因此这些功能几乎就在眼前。在可预见的未来，影像组学研究领域将集中于改进分类器模型，以提供最准确的诊断，从而改善患者护理和结果。