MPEG4于1998 年11 月公布，原预计1999 年1月投入使用的国际标准MPEG4不仅是针对一定比特率下的视频、音频编码，更加注重多媒体系统的交互性和灵活性。MPEG专家组的专家们正在为MPEG-4的制定努力工作。MPEG-4标准主要应用于视像电话(Video Phone)，视像电子邮件(Video Email)和电子新闻(Electronic News)等，其传输速率要求较低，在4800-64000bits/sec之间，分辨率为176X144。MPEG-4利用很窄的带宽，通过帧重建技术，压缩和传输数据，以求以最少的数据获得最佳的图像质量。
 
 
一、MPEG-4简介
 　　与
MPEG-1和
MPEG-2相比，
MPEG-4的特点是其更适于交互AV服务以及远程监控。MPEG-4是第一个使你由被动变为主动(不再只是观看，允许你加入其中，即有交互性)的动态图像标准，它的另一个特点是其综合性。从根源上说，MPEG-4试图将自然物体与人造物体相溶合(视觉效果意义上的)。MPEG-4的设计目标还有更广的适应性和更灵活的可扩展性。　　MPEG全称是Moving Pictures Experts Group，它是“动态图象专家组”的英文缩写，该专家组成立于1988年，致力于运动图像及其伴音的压缩编码标准化工作，原先他们打算开发MPEG1、MPEG2、MPEG3和MPEG4四个版本，以适用于不同带宽和数字影像质量的要求。　　目前，MPEG1技术被广泛的应用于VCD，而MPEG2标准则用于广播电视和DVD等。MPEG3最初是为HDTV开发的编码和压缩标准，但由于MPEG2的出色性能表现， MPEG3只能是死于襁褓了。而我们今天要谈论的主角——MPEG4于1999年初正式成为国际标准。它是一个适用于低传输速率应用的方案。与MPEG1和MPEG2相比，MPEG4更加注重多媒体系统的交互性和灵活性。下面就让我们一起进入多彩的MPEG4世界。 
二、MPEG-4目标
 　　(
一)、 低比特率下的多媒体通信；　　(
二)、 是多工业的多媒体通信的综合。　　据此目标，MPEG4 引入AV 对象（Audio/Visual Objects）， 使得更多的交互操作成为可能。　　MPEG-4是为在国际互联网络上或移动通信设备（例如移动电话）上实时传输音/视频讯号而制定的最新MPEG标准，MPEG4采用Object Based方式解压缩，压缩比指标远远优于以上几种，压缩倍数为450倍(静态图像可达800倍)，分辨率输入可从320 ×240到1280 ×1024，这是同质量的MPEG1和MJEPG的十倍多。　　MPEG4使用「图层」(layer)方式，能够智能化选择影像的不同之处，是可根据图像内容，将其中的对象（人物、物体、背景）分离出来分别进行压缩，使图文件容量大幅缩减，而加速音/视频的传输，这不仅仅大大提高了压缩比，也使图像探测的功能和准确性更充分的体现出来。　　在网络传输中可以设定MPEG4的码流速率，清晰度也可在一定的范围内作相应的变化，这样便于用户根据自己对录像时间、传输路数和清晰度的不同要求进行不同的设置，大大提高了系统使用时的适应性和灵活性。也可采用动态帧测技术，动态时快录，静态时慢录，从而减少平均数据量，节省存储空间。而且当在传输有误码或丢包现象时，MPEG4受到的影响很小，并且能迅速恢复。　　MPEG4的应用前景将是非常广阔的。 它的出现将对以下各方面产生较大的推动作用：数字电视、动态图像、万维网（WWW）、实时多媒体监控、低比特率下的移动多媒体通信、于内容存储和检索多媒系统、Internet/Intranet上的视频流与可视游戏、基于面部表情模拟的虚拟会议、DVD上的交互多媒体应用、基于计算机网络的可视化合作实验室场景应用、演播电视等。　　当然，除了MPEG 4外，还有更先进的下一个版本MPEG 7 ，准确来说， MPEG-7并不是一种压缩编码方法，而是一个多媒体内容描述接口。继MPEG4之后，要解决的矛盾就是对日渐庞大的图像、声音信息的管理和迅速搜索。MPEG 7就是针对这个矛盾的解决方案。MPEG7力求能够快速且有效地搜索出用户所需的不同类型的多媒体材料。预计这个方案于2001年初最终完成并公布。按照以往 MPEG-4的经验，MPEG-7起码要再过两年才能进入实际应用阶段。 
三、多媒体视频编码
 　　运动图像专家组MPEG 于1999年2月正式公布了MPEG-4(ISO/IEC14496)标准第一版本。同年年底MPEG-4第二版亦告底定，　　且于2000年年初正式成为国际标准。　　MPEG-4与MPEG-1和MPEG-2有很大的不同。MPEG-4不只是具体压缩算法，它是针对数字电视、交互式绘图应用(影音合成内容)、交互式多媒体(WWW、资料撷取与分散)等整合及压缩技术的需求而制定的国际标准。MPEG -4标准将众多的多媒体应用集成于一个完整的框架内，旨在为多媒体通信及应用环境提供标准的算法及工具，从而建立起一种能被多媒体传输、存储、检索等应用领域普遍采用的统一数据格式。　　MPEG-4的编码理念是：MPEG-4标准同以前标准的最显著的差别在于它是采用基于对象的编码理念，即在编码时将一幅景物分成若干在时间和空间上相互联系的视频音频对象，分别编码后，再经过复用传输到接收端，然后再对不同的对象分别解码，从而组合成所需要的视频和音频。这样既方便我们对不同的对象采用不同的编码方法和表示方法，又有利于不同数据类型间的融合，并且这样也可以方便的实现对于各种对象的操作及编辑。例如，我们可以将一个卡通人物放在真实的场景中，或者将真人置于一个虚拟的演播室里，还可以在互联网上方便的实现交互，根据自己的需要有选择的组合各种视频音频以及图形文本对象。　　MPEG-4系统的一般框架是：对自然或合成的视听内容的表示；对视听内容数据流的管理，如多点、同步、缓冲管理等；对灵活性的支持和对系统不同部分的配置。 
四、MPEG-4的优点
 
(1) 基于内容的交互性
 　　MPEG-4提供了基于内容的多媒体数据访问工具，如索引、超级链接、上传、下载、删除等。利用这些工具，用户可以方便地从多媒体数据库中有选择地获取自己所需的与对象有关的内容，并提供了内容的操作和
位流编辑功能，可应用于交互式家庭购物，淡入淡出的数字化效果等。MPEG-4提供了高效的自然或合成的多媒体数据编码方法。它可以把自然场景或对象组合起来成为合成的多媒体数据。 
(2) 高效的压缩性
 　　MPEG-4基于更高的编码效率。同已有的或即将形成的其它标准相比，在相同的比特率下，它基于更高的视觉听觉质量，这就使得在低带宽的信道上传送视频、音频成为可能。同时MPEG-4还能对同时发生的数据流进行编码。一个场景的多视角或多声道数据流可以高效、同步地合成为最终数据流。这可用于
虚拟三维游戏、三维电影、飞行仿真练习等。 
(3) 通用的访问性
 　　MPEG-4提供了易出错环境的鲁棒性，来保证其在许多无线和有线网络以及存储介质中的应用，此外，MPEG-4还支持基于内容的的可分级性，即把内容、质量、复杂性分成许多小块来满足不同用户的不同需求，支持具有不同带宽，不同存储容量的传输信道和接收端。　　这些特点无疑会加速多媒体应用的发展，从中受益的应用领域有：因特网多媒体应用；广播电视；交互式视频游戏；实时可视通信；交互式存储媒体应用；演播室技术及电视后期制作；采用面部动画技术的虚拟会议；多媒体邮件；移动通信条件下的多媒体应用；远程视频监控；通过ATM网络等进行的远程数据库业务等。 
(4)MPEG4的技术特点
 　　MPEG1、MPEG2技术当初制定时，它们定位的标准均为高层媒体表示与结构，但随着计算机软件及网络技术的快速发展，MPEG1.MPEG2技术的弊端就显示出来了：交互性及灵活性较低，压缩的多媒体文件体积过于庞大，难以实现网络的实时传播。而MPEG4技术的标准是对运动图像中的内容进行编码，其具体的编码对象就是图像中的音频和视频，术语称为“AV对象”，而连续的AV对象组合在一起又可以形成AV场景。因此，MPEG4标准就是围绕着AV对象的编码、存储、传输和组合而制定的，高效率地编码、组织、存储、传输AV对象是MPEG4标准的基本内容。　　在视频编码方面，MPEG4支持对自然和合成的视觉对象的编码。（合成的视觉对象包括2D、3D动画和人面部表情动画等）。在音频编码上，MPEG4可以在一组编码工具支持下，对语音、音乐等自然声音对象和具有回响、空间方位感的合成声音对象进行音频编码。　　由于MPEG4只处理图像帧与帧之间有差异的元素，而舍弃相同的元素，因此大大减少了合成多媒体文件的体积。应用MPEG4技术的影音文件最显著特点就是压缩率高且成像清晰，一般来说，一小时的影像可以被压缩为350M左右的数据，而一部高清晰度的DVD电影, 可以压缩成两张甚至一张650M CD光碟来存储。对广大的“平民”计算机用户来说， 这就意味着, 您不需要购置
 DVD-ROM就可以欣赏近似DVD质量的高品质影像。而且采用MPEG4编码技术的影片，对机器硬件配置的要求非常之低，300MHZ 以上CPU，64M的内存和一个 8M显存的显卡就可以流畅的播放。在播放软件方面，它要求也非常宽松，你只需要安装一个 500K左右的 MPEG4 编码驱动后，用 WINDOWS自带的媒体播放器就可以流畅的播放了（下面我们会具体讲到）。 
编辑本段五、视频编码研究与MPEG标准演进
 　　人类获取的信息中70%来自于视觉，视频信息在多媒体信息中占有重要地位；同时视频数据冗余度最大，经压缩处理后的视频质量高低是决定多媒体服务质量的关键因素。因此数字视频技术是多媒体应用的核心技术，对视频编码的研究已成为信息技术领域的热门话题。　　视频编码的研究课题主要有数据压缩比、压缩/解压速度及快速实现算法三方面内容。以压缩/解压后数据与压缩前原始数据是否完全一致作为衡量标准，可将数据压缩划分为无失真压缩（即可逆压缩）和有失真压缩（即不可逆压缩）两类。　　传统压缩编码建立在香农信息论基础之上的，以经典集合论为工具，用概率统计模型来描述信源，其压缩思想基于数据统计，因此只能去除数据冗余，属于低层压缩编码的范畴。　　伴随着视频编码相关学科及新兴学科的迅速发展，新一代数据压缩技术不断诞生并日益成熟，其编码思想由基于像素和像素块转变为基于内容 （content-based）。它突破了仙农信息论框架的束缚，充分考虑了人眼视觉特性及信源特性，通过去除内容冗余来实现数据压缩，可分为基于对象（object-based）和基于语义（semantics-based）两种，前者属于中层压缩编码，后者属于高层压缩编码。　　与此同时，视频编码相关标准的制定也日臻完善。视频编码标准主要由ITU-T和ISO/IEC开发。ITU-T发布的视频标准有H.261、 H.262、 H.263、 H.263+、H.263++，ISO/IEC公布的MPEG系列标准有MPEG-1、MPEG-2 、MPEG-4 和MPEG-7，并且计划公布MPEG-21。　　MPEG即Moving Picture Expert Group（运动图像专家组），它是专门从事制定多媒体视音频压缩编码标准的国际组织。MPEG系列标准已成为国际上影响最大的多媒体技术标准，其中MPEG-1和MPEG-2是采用以仙农信息论为基础的预测编码、变换编码、熵编码及运动补偿等第一代数据压缩编码技术；MPEG-4（ISO/IEC 14496）则是基于第二代压缩编码技术制定的国际标准，它以视听媒体对象为基本单元，采用基于内容的压缩编码，以实现数字视音频、图形合成应用及交互式多媒体的集成。MPEG系列标准对VCD、DVD等视听消费电子及数字电视和高清晰度电视（DTV&&HDTV）、多媒体通信等信息产业的发展产生了巨大而深远的影响。 
六、MPEG-4视频编码核心思想及关键技术
 　　MPEG-4视频编码核心思想及技术研究" 
摘要
 　　MPEG-4是新一代基于内容的多媒体数据压缩编码国际标准，它与传统视频编码标准的最大不同在于第一次提出了基于对象的视频编码新概念。基于内容的交互性是MPEG-4标准的核心思想，这对于视频编码技术的发展方向及广泛应用都具有特别重要的意义。　　刘达　毛加轩 文章来源：中国数据通信 
关键词
 　　MPEG-4 数据压缩 视频编码 视听对象 基于内容编码 视频对象提取
 运动估计与补偿 
1 引言
 　　当今时代，信息技术和计算机互联网飞速发展，在此背景下，多媒体信息已成为人类获取信息的最主要载体，同时也成为电子信息领域技术开发和研究的热点。多媒体信息经数字化处理后具有易于加密、抗干扰能力强、可再生中继等优点，但同时也伴随海量数据的产生，这对信息存储设备及通信网络均提出了很高要求，从而成为阻碍人们有效获取和使用信息的重大瓶颈。　　因此研究高效的多媒体数据压缩编码方法，以压缩形式存储和传输数字化的多媒体信息具有重要意义。作为多媒体技术的核心及关键，多媒体数据压缩编码近年来在技术及应用方面都取得了长足进展，它的进步和完善正深刻影响着现代社会的方方面面。 
2 视频编码研究与MPEG标准演进
 　　人类获取的信息中70%来自于视觉，视频信息在多媒体信息中占有重要地位；同时视频数据冗余度最大，经压缩处理后的视频质量高低是决定多媒体服务质量的关键因素。因此数字视频技术是多媒体应用的核心技术，对视频编码的研究已成为信息技术领域的热门话题。　　视频编码的研究课题主要有数据压缩比、压缩/解压速度及快速实现算法三方面内容。以压缩/解压后数据与压缩前原始数据是否完全一致作为衡量标准，可将数据压缩划分为无失真压缩（即可逆压缩）和有失真压缩（即不可逆压缩）两类。　　传统压缩编码建立在仙农信息论基础之上的，以经典集合论为工具，用概率统计模型来描述信源，其压缩思想基于数据统计，因此只能去除数据冗余，属于低层压缩编码的范畴。　　伴随着视频编码相关学科及新兴学科的迅速发展，新一代数据压缩技术不断诞生并日益成熟，其编码思想由基于像素和像素块转变为基于内容 （content-based）。它突破了仙农信息论框架的束缚，充分考虑了人眼视觉特性及信源特性，通过去除内容冗余来实现数据压缩，可分为基于对象（object-based）和基于语义（semantics-based）两种，前者属于中层压缩编码，后者属于高层压缩编码。　　与此同时，视频编码相关标准的制定也日臻完善。视频编码标准主要由ITU-T和ISO/IEC开发。ITU-T发布的视频标准有H.261、 H.262、 H.263、 H.263+、H.263++，ISO/IEC公布的MPEG系列标准有MPEG-1、MPEG-2 、MPEG-4 和MPEG-7，并且计划公布MPEG-21。　　MPEG即Moving Picture Expert Group（运动图像专家组），它是专门从事制定多媒体视音频压缩编码标准的国际组织。MPEG系列标准已成为国际上影响最大的多媒体技术标准，其中MPEG-1和MPEG-2是采用以香农信息论为基础的预测编码、变换编码、熵编码及运动补偿等第一代数据压缩编码技术；MPEG-4（ISO/IEC 14496）则是基于第二代压缩编码技术制定的国际标准，它以视听媒体对象为基本单元，采用基于内容的压缩编码，以实现数字视音频、图形合成应用及交互式多媒体的集成。MPEG系列标准对VCD、DVD等视听消费电子及数字电视和高清晰度电视（DTV&&HDTV）、多媒体通信等信息产业的发展产生了巨大而深远的影响。 
3 MPEG-4视频编码核心思想及关键技术
 　　3.1 核心思想　　在MPEG-4制定之前，MPEG-1、MPEG-2、H.261、H.263都是采用第一代压缩编码技术，着眼于图像信号的统计特性来设计编码器，属于波形编码的范畴。第一代压缩编码方案把视频序列按时间先后分为一系列帧，每一帧图像又分成宏块以进行运动补偿和编码，这种编码方案存在以下缺陷：　　· 将图像固定地分成相同大小的块，在高压缩比的情况下会出现严重的块效应，即马赛克效应；　　· 不能对图像内容进行访问、编辑和回放等操作；　　· 未充分利用人类视觉系统（HVS，Human Visual System）的特性。　　MPEG-4则代表了基于模型/对象的第二代压缩编码技术，它充分利用了人眼视觉特性，抓住了图像信息传输的本质，从轮廓、纹理思路出发，支持基于视觉内容的交互功能，这适应了多媒体信息的应用由播放型转向基于内容的访问、检索及操作的发展趋势。　　AV对象（AVO，Audio Visual Object）是MPEG-4为支持基于内容编码而提出的重要概念。对象是指在一个场景中能够访问和操纵的实体，对象的划分可根据其独特的纹理、运动、形状、模型和高层语义为依据。在MPEG-4中所见的视音频已不再是过去MPEG-1、MPEG-2中图像帧的概念，而是一个个视听场景（AV场景），这些不同的AV场景由不同的AV对象组成。AV对象是听觉、视觉、或者视听内容的表示单元，其基本单位是原始AV对象，它可以是自然的或合成的声音、图像。原始AV对象具有高效编码、高效存储与传输以及可交互操作的特性，它又可进一步组成复合AV对象。因此MPEG-4标准的基本内容就是对AV对象进行高效编码、组织、存储与传输。AV对象的提出，使多媒体通信具有高度交互及高效编码的能力，AV对象编码就是MPEG-4的核心编码技术。　　MPEG-4不仅可提供高压缩率，同时也可实现更好的多媒体内容互动性及全方位的存取性，它采用开放的编码系统，可随时加入新的编码算法模块，同时也可根据不同应用需求现场配置解码器，以支持多种多媒体应用。　　MPEG-4 采用了新一代视频编码技术，它在视频编码发展史上第一次把编码对象从图像帧拓展到具有实际意义的任意形状视频对象，从而实现了从基于像素的传统编码向基于对象和内容的现代编码的转变，因而引领着新一代智能图像编码的发展潮流。　　3.2 关键技术　　MPEG-4除采用第一代视频编码的核心技术，如变换编码、运动估计与运动补偿、量化、熵编码外，还提出了一些新的有创见性的关键技术，并在第一代视频编码技术基础上进行了卓有成效的完善和改进。下面重点介绍其中的一些关键技术。　　1.
 视频对象提取技术　　MPEG-4实现基于内容交互的首要任务就是把视频/图像分割成不同对象或者把运动对象从背景中分离出来，然后针对不同对象采用相应编码方法，以实现高效压缩。因此视频对象提取即视频对象分割，是MPEG-4视频编码的关键技术，也是新一代视频编码的研究热点和难点。　　视频对象分割涉及对视频内容的分析和理解，这与人工智能、图像理解、模式识别和神经网络等学科有密切联系。目前人工智能的发展还不够完善，计算机还不具有观察、识别、理解图像的能力；同时关于计算机视觉的研究也表明要实现正确的图像分割需要在更高层次上对视频内容进行理解。因此，尽管MPEG-4 框架已经制定，但至今仍没有通用的有效方法去根本解决视频对象分割问题，视频对象分割被认为是一个具有挑战性的难题，基于语义的分割则更加困难。　　目前进行视频对象分割的一般步骤是：先对原始视频/图像数据进行简化以利于分割，这可通过低通滤波、中值滤波、形态滤波来完成；然后对视频/图像数据进行特征提取，可以是颜色、纹理、运动、帧差、位移帧差乃至语义等特征；再基于某种均匀性标准来确定分割决策，根据所提取特征将视频数据归类；最后是进行相关后处理，以实现滤除噪声及准确提取边界。　　在视频分割中基于数学形态理论的分水岭（watershed）算法被广泛使用，它又称水线算法，其基本过程是连续腐蚀二值图像，由图像简化、标记提取、决策、后处理四个阶段构成。分水岭算法具有运算简单、性能优良，能够较好提取运动对象轮廓、准确得到运动物体边缘的优点。但分割时需要梯度信息，对噪声较敏感，且未利用帧间信息，通常会产生图像过度分割。　　2.
 VOP视频编码技术　　视频对象平面（VOP，Video Object Plane）是视频对象（VO）在某一时刻的采样，VOP是MPEG-4视频编码的核心概念。MPEG-4在编码过程中针对不同VO采用不同的编码策略，即对前景VO的压缩编码尽可能保留细节和平滑；对背景VO则采用高压缩率的编码策略，甚至不予传输而在解码端由其他背景拼接而成。这种基于对象的视频编码不仅克服了第一代视频编码中高压缩率编码所产生的方块效应，而且使用户可与场景交互，从而既提高了压缩比，又实现了基于内容的交互，为视频编码提供了广阔的发展空间。　　MPEG-4支持任意形状图像与视频的编解码。对于任意形状视频对象。对于极低比特率实时应用，如可视电话、会议电视，MPEG-4则采用VLBV（Very Low Bit-rate Video，极低比特率视频）核进行编码。　　传统的矩形图在MPEG-4中被看作是VO的一种特例，这正体现了传统编码与基于内容编码在MPEG-4中的统一。VO概念的引入，更加符合人脑对视觉信息的处理方式，并使视频信号的处理方式从数字化进展到智能化，从而提高了视频信号的交互性和灵活性，使得更广泛的视频应用及更多的内容交互成为可能。因此VOP视频编码技术被誉为视频信号处理技术从数字化进入智能化的初步探索。　　3.
 视频编码可分级性技术　　随着因特网业务的巨大增长，在速率起伏很大的IP（Internet Protocol）网络及具有不同传输特性的异构网络上进行视频传输的要求和应用越来越多。在这种背景下，视频分级编码的重要性日益突出，其应用非常广泛，且具有很高的理论研究及实际应用价值，因此受到人们的极大关注。　　视频编码的可分级性（scalability）是指码率的可调整性，即视频数据只压缩一次，却能以多个帧率、空间分辨率或视频质量进行解码，从而可支持多种类型用户的各种不同应用要求。　　MPEG-4通过视频对象层（VOL，Video Object Layer）数据结构来实现分级编码。MPEG-4提供了两种基本分级工具，即时域分级（Temporal Scalability）和空域分级（Spatial Scalability），此外还支持时域和空域的混合分级。每一种分级编码都至少有两层VOL，低层称为基本层，高层称为增强层。基本层提供了视频序列的基本信息，增强层提供了视频序列更高的分辨率和细节。　　在随后增补的视频流应用框架中，MPEG-4提出了FGS（Fine Granularity Scalable，精细可伸缩性）视频编码算法以及PFGS（Progressive Fine Granularity Scalable，渐进精细可伸缩性）视频编码算法。　　FGS编码实现简单，可在编码速率、显示分辨率、内容、解码复杂度等方面提供灵活的自适应和可扩展性，且具有很强的带宽自适应能力和抗误码性能。但还存在编码效率低于非可扩展编码及接收端视频质量非最优两个不足。　　PFGS则是为改善FGS编码效率而提出的视频编码算法，其基本思想是在增强层图像编码时使用前一帧重建的某个增强层图像为参考进行运动补偿，以使运动补偿更加有效，从而提高编码效率。　　4. 运动估计与运动补偿技术　　MPEG-4采用I-VOP、P-VOP、B-VOP三种帧格式来表征不同的运动补偿类型。它采用了H.263中的半像素搜索（half pixel searching）技术和重叠运动补偿（overlapped motion compensation)技术，同时又引入重复填充（repetitive padding）技术和修改的块（多边形）匹配（modified block （polygon）matching）技术以支持任意形状的VOP区域。　　此外，为提高运动估计算法精度，MPEG-4采用了MVFAST（Motion Vector Field Adaptive Search Technique）和改进的PMVFAST（Predictive MVFAST）方法用于运动估计。对于全局运动估计，则采用了基于特征的快速顽健的FFRGMET（Feature-based Fast and Robust Global Motion Estimation Technique）方法。　　在MPEG-4视频编码中，运动估计相当耗时，对编码的实时性影响很大。因此这里特别强调快速算法。运动估计方法主要有像素递归法和块匹配法两大类，前者复杂度很高，实际中应用较少，后者则在H.263和MPEG中广泛采用。在块匹配法中，重点研究块匹配准则及搜索方法。目前有三种常用的匹配准则：　　（1）绝对误差和（SAD, Sum of Absolute Difference）准则；　　（2）均方误差（MSE, Mean Square Error）准则；　　（3）归一化互相关函数（NCCF, Normalized Cross Correlation Function）准则。　　在上述三种准则中，SAD准则具有不需乘法运算、实现简单方便的优点而使用最多，但应清楚匹配准则的选用对匹配结果影响不大。　　在选取匹配准则后就应进行寻找最优匹配点的搜索工作。最简单、最可靠的方法是全搜索法（FS, Full Search），但计算量太大，不便于实时实现。因此快速搜索法应运而生，主要有交叉搜索法、二维对数法和钻石搜索法，其中钻石搜索法被MPEG-4校验模型（VM, Verification Model）所采纳，下面详细介绍。　　钻石搜索（DS, Diamond Search）法以搜索模板形状而得名，具有简单、鲁棒、高效的特点，是现有性能最优的快速搜索算法之一。其基本思想是利用搜索模板的形状和大小对运动估计算法速度及精度产生重要影响的特性。在搜索最优匹配点时，选择小的搜索模板可能会陷入局部最优，选择大的搜索模板则可能无法找到最优点。因此DS算法针对视频图像中运动矢量的基本规律，选用了两种形状大小的搜索模板。　　· 大钻石搜索模板（LDSP, Large Diamond Search Pattern），包含9个候选位置；　　· 小钻石搜索模板（SDSP, Small Diamond Search Pattern），包含5个候选位置。　　DS算法搜索过程如下：开始阶段先重复使用大钻石搜索模板，直到最佳匹配块落在大钻石中心。由于LDSP步长大，因而搜索范围广，可实现粗定位，使搜索不会陷于局部最小，当粗定位结束后，可认为最优点就在LDSP 周围8 个点所围菱形区域中。然后再使用小钻石搜索模板来实现最佳匹配块的准确定位，以不产生较大起伏，从而提高运动估计精度。　　此外Sprite视频编码技术也在MPEG-4中应用广泛，作为其核心技术之一。Sprite又称镶嵌图或背景全景图，是指一个视频对象在视频序列中所有出现部分经拼接而成的一幅图像。利用Sprite可以直接重构该视频对象或对其进行预测补偿编码。　　Sprite视频编码可视为一种更为先进的运动估计和补偿技术，它能够克服基于固定分块的传统运动估计和补偿技术的不足，MPEG-4正是采用了将传统分块编码技术与Sprite编码技术相结合的策略。 
4 结束语
 　　多媒体数据压缩编码的发展趋势是基于内容的压缩，这实际上是信息处理的高级阶段，更加向人自身的信息处理方式靠近。人的信息处理并不是基于信号的，而是基于一个比较抽象的、能够直接进行记忆和处理的方式。　　MPEG-4作为新一代多媒体数据压缩编码的典型代表，它第一次提出了基于内容、基于对象的压缩编码思想。它要求对自然或合成视听对象作更多分析甚至是理解，这正是信息处理的高级阶段，因而代表了现代数据压缩编码技术的发展方向。　　MPEG-4实现了从矩形帧到VOP的转变以及基于像素的传统编码向基于对象和内容的现代编码的转变，这正体现了传统视频编码与新一代视频编码的有机统一。基于内容的交互性是MPEG-4的核心思想，这对于视频编码技术的发展方向及广泛应用都具有特别重要的意义。 
MPEG-4的应用
 
（1)应用于因特网视音频广播
 　　由于上网人数与日俱增，传统电视广播的观众逐渐减少，随之而来的便是广告收入的减少，所以现在的固定式电视广播最终将转向基于TCP/IP的因特网广播，观众的收看方式也由简单的遥控器选择频道转为网上视频点播。视频点播的概念不是先把节目下载到硬盘，然后再播放，而是流媒体视频(streaming video)，点击即观看，边传输边播放。　　现在因特网中播放视音频的有：Real Networks公司的 Real Media，微软公司的 Windows Media，苹果公司的 QuickTime，它们定义的视音频格式互不兼容，有可能导致媒体流中难以控制的混乱，而MPEG-4为因特网视频应用提供了一系列的标准工具，使视音频码流具有规范一致性。因此在因特网播放视音频采用MPEG-4，应该说是一个安全的选择。 
（2)应用于无线通信
 　　MPEG-4高效的码率压缩，交互和分级特性尤其适合于在窄带移动网上实现多媒体通信，未来的手机将变成多媒体移动接收机，不仅可以打移动电视电话、移动上网，还可以移动接收多媒体广播和收看电视。 
（3)应用于静止图像压缩
 　　静止图像（图片）在因特网中大量使用，现在网上的图片压缩多采用JPEG技术。 MPEG-4中的静止图像(纹理)压缩是基于小波变换的，在同样质量条件下，压缩后的文件大小约是JPEG压缩文件的十分之一。把因特网上使用的JPEG 图片转换成MPEG-4格式，可以大幅度提高图片在网络中的传输速度。 
（4)应用于电视电话
 　　传统用于窄带电视电话业务的压缩编码标准，如H261，采用帧内压缩、帧间压缩、减少象素和抽帧等办法来降低码率，但编码效率和图像质量都难以令人满意。MPEG-4的压缩编码可以做到以极低码率传送质量可以接受的声像信号，使电视电话业务可以在窄带的公用电话网上实现。 
（5)应用于计算机图形、动画与仿真
 　　MPEG-4特殊的编码方式和强大的交互能力，使得基于MPEG-4的计算机图形和动画可以从各种来源的多媒体数据库中获取素材，并实时组合出所需要的结果。因而未来的计算机图形可以在MPEG-4语法所允许的范围内向所希望的方向无限发展，产生出今天无法想象的动画及仿真效果。 
（6)应用于电子游戏
 　　MPEG-4可以进行自然图像与声音同人工合成的图像与声音的混合编码，在编码方式上具有前所未有的灵活性，并且能及时从各种来源的多媒体数据库中调用素材。这可以在将来产生象电影一样的电子游戏，实现极高自由度的交互式操作。 
（7）硬件产品上面的应用
 　　目前，MPEG4技术在硬件产品上也已开始逐步得到应用。特别是在视频监控、播放上，这项高清晰度，高压缩的技术得到了众多硬件厂商的钟爱，而市场上支持MPEG4技术的产品也是种类繁多。下面笔者就列举一些代表性的产品，旨在让读者了解MPEG4技术在今天应用范围之广。　　（1）、摄像机：日本夏普公司推出过应用在互联网上的数字摄像机VN－EZ1。这台网络摄像机利用MPEG4格式，可把影像文件压缩为ASF（高级流格式），用户只要利用微软公司的MediaPlayer播放程序，就可以直接在电脑上进行播放。　　（2）、播放机：飞利浦公司于今年八月份推出了一款支持DivX的DVD播放机DVD737。它可以支持DivX 3.11、4.xx、5.xx等MPEG4标准，而对于新标准的支持则可以通过升级固件来实现。（3）、数码相机：日本京瓷公司在11月中旬发售其最新款数码相机Finecam L30，这款是采用300万像素、3倍光学变焦设计的数码相机产品， L30采用了MPEG4格式动态视频录制，可以让动态视频录制画面效果比传统数码相机更出色。　　（4）、手机：在手机领域，MPEG4技术更是得到了广泛的应用，各大手机厂商也都推出了可拍摄MPEG4动态视频的手机型号，如西门子ST55、索尼爱立信P900/P908、LG 彩屏G8000等。　　(5)、MPEG4数字硬盘：在今年深圳举行的安防展览会上，开发数字录像监控产品的厂家纷纷推出了他们的最新产品，而支持MPEG4的DVR压缩技术也成为改展会上的亮点。 
综述
 　　如北京华青紫博科技推出的"E眼神MPEG4数字视频王"便是一款基于网络环境的高清晰数字化监控报警系统。内置多画面处理器，集现场监控、监听、多路同时数字录像与回放等多种功能为一体。　　其实，市场上还有许多基于MPEG4技术的硬件产品，笔者这里就不一一列举了，不过笔者相信，随着视频压缩技术的不断发展，MPEG4技术的产品会越来越多的出现在我们生活，工作中。
 
 
 

编码原理：
 
 具体过程：
 
将原始图像分为8*8的小块, 每个block里有64pixels：
 
将图像中每个88的block进行DCT变换：
 数据压缩中有很多变换，比如KLT（Karhunen-Loeve Transform），这里我们用的是DCT离散余弦变换。和FFT一样，DCT也是将信号从时域到频域的变换，不同的是DCT中变换结果没有复数，全是实数。每88个original pixels都变成了另外88个数字，变换后的每一个数都是由original 64 data通过basis function组合而得的，如下图所示为DCT谱中6个元素的由来。
 
 将低频部分集中在每个88块的左上角，高频部分在右下角，所谓JPEG的有损压缩，损的是量化过程中的高频部分。为什么呢？因为有这样一个前提：低频部分比高频部分要重要得多，romove 50%的高频信息可能对于编码信息只损失了5%。
 
量化：
 
所谓量化就是用像素值÷量化表对应值所得的结果。由于量化表左上角的值较小，右上角的值较大，这样就起到了保持低频分量，抑制高频分量的目的（人的视觉特性对低频成分更加敏感）。JPEG使用的颜色是YUV格式。我们提到过，Y分量代表了亮度信息，UV分量代表了色差信息。相比而言，Y分量更重要一些（人的视觉特性对亮度信息更加敏感）。我们可以对Y采用细量化，对UV采用粗量化，可进一步提高压缩比。所以上面所说的量化表通常有两张，一张是针对Y的；一张是针对UV的。
 
通过量化可以reducing the number of bits and eliminating some of the components，达到通低频减高频的效果，如下图所示就是两张量化表的例子.
 
 比如左边那个量化表，最右下角的高频÷16，这样原先DCT后[-127,127]的范围就变成了[-7,7]，固然减少了码字（从8位减至4位）。
 
编码：
 
编码信息分两类，一类是每个88格子F中的[0,0]位置上元素，这是DC（直流分量），代表88个子块的平均值，JPEG中对F[0,0]单独编码，由于两个相邻的8×8子块的DC系数相差很小，所以对它们采用差分编码DPCM，可以提高压缩比，也就是说对相邻的子块DC系数的差值进行编码。
 
另一类是8×8块的其它63个子块，即交流(AC)系数，采用行程编码（游程编码Run-length encode,RLE）。这里出现一个问题：这63个系数应该按照怎么样的顺序排列？为了保证低频分量先出现，高频分量后出现，以增加行程中连续“0”的个数，这63个元素采用了“之”字型(Zig-Zag)的排列方法，如下图所示。
 
 JPEG过程的最后步骤是编码量化了的图像。JPEG的编码阶段由压缩图像的三个不同步骤组成。
 （1）第一步是将（0，0）处的直流系数由绝对值变为相对值，因为图像中相邻的块表现出了高度的相关。用与前一个直流元素的差来编码直流元素，就回产生一个非常小的数值。
 （2）第二步是将图像系数安排成"zig-zag"序列。
 （3）最后一步是用两种不同的机制编码。第一个机制是0值的行程编码。第二个是JPEG所称作的熵编码（Entropy Coding），这是根据现实者的选择，用霍夫曼代码或算术编码送出系数代码的一步。
 ---------熵编码
 讲直流元素转换成与上一个之差之后，接下来将DCT块重新排序成Zig-Zag序列，再后，JPEG用一个熵编码机制送出元素，输出带有建立在其中的RLE，它是编码机制的主要部分，基本上，熵编码输出包括三个单词的序列，不断重复直到块结束，三个单词如下：
 
行程长度-DCT输出矩阵中，当前元素之前的连续0的个数
位计数-后面跟着的幅度值所用的位数
幅度-DCT系数的幅度

这类格式包括了MPEG-1,MPEG-2 和  MPEG-4
 在内的多种视频格式。  MPEG-1 相信是大家接触得最多的了，因为其正在被广泛地应用在VCD 的制作和一些视频
 片段下载的网络应用上面，大部分的  VCD 都是用  MPEG1 格式压缩的

最近在学习JVET下的360Lib测试平台。
不多废话，先把网址贴出来，再谈详细的……
JVET主页：https://jvet.hhi.fraunhofer.de/
JVET测试平台：https://jvet.hhi.fraunhofer.de/svn/svn_HMJEMSoftware/
360Lib测试平台：https://jvet.hhi.fraunhofer.de/svn/svn_360Lib/
JVET与H.266编码技术：http://blog.csdn.net/fan2273/article/details/79527249
下载：https://download.csdn.net/download/fan2273/10281796


首先，简单介绍一下JVET专家组。
了解视频编解码的，应该都知道MPEG专家组。MPEG专家组负责研究、制定、维护业界的视频图像领域标准与规范，沿用至今的许多视频编码格式都是由他们制定。
MPEG专家组下，亦有很多个不同方向的分支小组，分别负责细致领域的研究。其中，HEVC（H.265）便是由MPEG和VCEG的视频组联合开发的项目。
JVET与HEVC很像，他同样是由MPEG和VCEG专家组组成的一个项目、研究小组。HEVC研发维护的是H.265编码技术，而JVET则同时维护研发两套方案和平台。
JVET，全称联合视频探索小组，是未来视频压缩、编解码技术的研究小组。JVET负责研发、维护JEM（H.266）测试平台与360Lib（全景投影）测试平台。
H.266是在H.265基础上发展的新一代视频压缩技术。其压缩率比H.265提高20%，但复杂度亦提升了数倍。像HEVC提供的H.265测试平台HM（HEVC Model）一样，JVET针对H.266提供了JEM测试平台，以供研究者对H.266压缩编解码技术进行测试与研究。


由于重点在于360Lib，因此，关于JVET的JEM平台，这里不做过多展开，相关的介绍可以在项目内文档与官方站点中找到。


360Lib
360Lib是JVET针对全景视频的测试平台（软件）。
360Lib在JVET下由Subversion代码托管维护。使用者需下载Subversion客户端，进行代码下载与版本控制。
360Lib主要完成的是全景视频的投影工作。360Lib可作为插件，集成到HM与JEM之中，亦可单独运行。其中区别主要在于，转换投影后，可直接送入压缩编码而不再产生中间YUV，节省中间段时间。
在介绍360Lib之前，先需要和大家说一下全景视频的整一套采集到显示的流程。
一般全景视频的采集流程为：
采集——拼接——投影——压缩编码——封装
播放流程为：
解码——反投影——显示
360Lib主要完成的是“投影”与“反投影”这一步的工作。而“压缩编码”与“解码”则是由HM（H.265）或JEM平台（H.266）完成。
现在流行广泛的全景视频，基本是ERP（圆柱投影）格式，而在全景视频研究领域，投影格式有上十种之多，其中各有优劣，在这里不过多展开。
关于全景视频投影格式的相关介绍，推荐一下的博客中进行了解：
http://blog.csdn.net/lin453701006/article/category/6526713

由于不同投影格式在压缩比和画质重现上，有各自的优缺点，因此面对不同的使用场景，便出现了不同的选择方案。同时，由于全景视频发展迅速，然而仍未有较为统一的标准制定与产生。
JVET小组，将现行市场广泛运用的ERP投影格式，选作为基本参考投影格式（并非标准）。同时选择了约十种左右的格式为官方参考格式（在16年11月会议中卫7种，17年会议中更新），在360Lib中提供了转换模型。
360Lib使用者需认识到，360Lib测试平台仅作为研究平台使用。同时由于目前主流投影为ERP圆柱投影，因此，大多数播放器并不支持其他投影格式的播放显示。在进行投影格式转换、压缩测试的时候，需注意最终输出投影格式的问题。
360Lib说明文档：
该软件平台的说明文档一共有两份。一份为软件使用说明README，一份为JVET发布的360Lib指导手册。
README在项目根目录下，主要描述了如何build工程与如何进行命令行操作。
注意：请根据360Lib中的README文档，将360Lib的源码按说明，拷贝到JEM或HM的源码工程下目录，用360Lib中的vc工程发布构建。否则，直接使用360Lib的源码构建工程是无法得到纯360Lib APP的。必须需要和JEM或者HM搭配构建，即使你只要投影转换的360LibConvert也是！
manual文件为pdf文件在doc文件夹下，该文档主要介绍了JVET专家组最近一次会议上关于360Lib的参考规范制定与说明。该文档中有较多关于投影格式、评价模型的介绍叙述，适合研究者阅读学习。
360Lib基本操作：
首先，360Lib可以作为插件嵌入HM和JEM平台，也可以单独使用。
嵌入HM和JEM平台的步骤，请参考Subversion节点下的说明文档，选择与360Lib对应版本的HM与JEM，并使用Subversion补丁，进行项目的升级。（具体步骤，在官方文档中比较详细，且暂时未遇到错误与难点，这里不展开了）
若将360Lib与HM或JEM配合使用，请参考README文档中的命令行参数。
关于HM和JEM的配置文件设置与使用手册，推荐雷神的博客：
http://blog.csdn.net/leixiaohua1020/article/category/5974711
这里主要说一下，360Lib单独进行投影转换的使用方法。
README原文如下：
For the standalone application TApp360Convert, the example configuration files are in ./cfg-360Lib/360Lib
./bin/TApp360Convert -c ./cfg-360Lib/360Lib/360convert_ERP_Cubemap3x2.cfg -c ./cfg-360Lib/per-sequence/360/360test_Trolley.cfg -i ./test_seq/Trolley_8192x4096_30fps_8bit_420_erp.yuv -f 1 -o CMP3x2FromERP.yuv 

说明：
该部分描述了进行360Lib+HM（JEM）测试的必要步骤
1.一份基于YUV序列的cfg配置参数文件：
该文件格式如下：
#======== File I/O ===============
InputFile                     : xxxxxxxxx.yuv
InputBitDepth                 : 8           # Input bitdepth
InputChromaFormat             : 420         # Ratio of luminance to chrominance samples
FrameRate                     : 30          # Frame Rate per second
FrameSkip                     : 0           # Number of frames to be skipped in input
SourceWidth                   : 4096         # Input  frame width
SourceHeight                  : 2048         # Input  frame height
FramesToBeEncoded             : 300         # Number of frames to be coded


Level                         : 5.2
请将文件名、分辨率、深度、帧数（进行编码的帧数，非总帧数）调整为对应测试序列的相关属性。
官方提供了cfg格式作文参考，在../cfg-360Lib/per-sequence/360中
2.一份转换投影格式的cfg文件
该文件位于../cfg-36Lib/360Lib中，命名方式为360convert_from_to_cfg。具体转换请参考manual文档。
3.测试序列地址
4.转换帧数
360Lib单独使用的时候，在命令行中输入转码的帧数
360Lib+HM（JEM）使用时，在测试序列的配置文件中指定编码帧数
5.输出文件
命令行参数解析如下：
TApp360Convert
-c 360convert_ERP_Cubemap3x2.cfg投影转换cfg
-c 360test_Trolley.cfg序列cfg
-i Trolley.yuv输入序列
-f 1帧数
-o CMP3x2FromERP.yuv 输出序列


推荐，转换前，先使用YUV分析软件，确定YUV序列的色彩空间和总帧数。


命令行打印：
FaceSizeAlignment must be even for chroma 4:2:0 format, it is reset to 2.
CompactCodingFPFormat is automatically disabled for source video because it is only supported for OHP and ISP
CompactCodingFPFormat is automatically disabled for output video because it is only supported for OHP and ISP


Input          File                    : J:\test_seq\Dianying.yuv
Output         File                    : cubemap_3840x2880x8_cf1.yuv
Reference      File                    : NULL
SphFile        File                    : sphere_655362.txt
ViewPortFile   File                    : NULL
DynViewPortFile                        : NULL
SpherePointsFile File                  : NULL
Real     Format                        : 3840x2880 30Hz
Internal Format                        : 3840x2880 30Hz
Frame index                            : 0 - 1 (2 frames)
Input bit depth                        : (Y:8, C:8)
Internal bit depth                     : (Y:8, C:8)
Output bit depth                       : (Y:8, C:8)
Reference bit depth                    : (Y:8, C:8)


-----360 Video Parameters----
InputGeometryType: Equirectangular
ChromaFormat:1 Resolution:4096x2048xF1 FPStructure:1x1 | Id_0(R_0)  |


CodingGeometryType: Cubemap
ChromaFormat:1 Resolution:960x960xF6 FPStructure:4x3 | Id_2(R_90) Id_6(R_0) Id_7(R_0) Id_8(R_0)  | Id_1(R_0) Id_4(R_0) Id_0(R_0) Id_5(R_0)  | Id_3(R_270) Id_9(R_0) Id_10(R_0) Id_11(R_0)  |


Packed frame resolution: 3840x2880 (Input face resolution:960x960)
Interpolation method for luma: 5, interpolation method for chroma: 4
ChromaSampleLocType: 2


                   Input ChromaFormatIDC =   4:2:0
                Internal ChromaFormatIDC =   4:2:0 ChromaResample: 0
                  Output ChromaFormatIDC =   4:2:0


Frame#


Frame:0
Frame:1
 Total Time:       47.935 sec.


360Lib+HM使用：
首先，如果上面的步骤执行无误，说明你应该知道如何使用subversive代码托管，将360Lib的补丁打进HM平台或
JEM平台中。
关于360Lib结合HM的使用说明，在HM的doc文件夹中。结合使用依然需要参照360Lib中的README手册，并使用
cfg-360Lib文件夹中的配置文件。
首先，这里简单说一下单独使用360Lib和结合HM使用的具体区别。
HM及JEM，是一套编解码测试平台。在博文开头也比较详细的介绍了。
360Lib单独使用，可以将原始帧序列YUV文件在不同的投影格式之间转换，输出的文件依然是YUV，仅投影方式不同。
360Lib+HM使用，则是将ERP投影格式（默认输入投影格式），转换为其余投影格式，紧接着进行编码。
此时，这个转换投影+编码的过程，将不会输出中间YUV文件，而是直接生成编码后的.bin文件。
关于，360Lib+HM使用，能否使用其他投影格式YUV作为输入，暂时未找到解决方案（对HM平台仍在学习中，理论
上是可以直接进行编码的，但可能存在视窗、视点等问题）。
总的来说，360Lib+HM，输入为ERP格式YUV帧序列，进行指定的投影转换（cfg文件决定），输出编码后的.bin码流。
使用目标：
总的来说，360Lib是一个进行投影格式转换的程序或平台。
而360Lib+HM，则更偏向研究工作。
除了完成HM（JEM）的编码压缩工作，平台还将完成各种测试参数的评估（各种PSNR的计算），用以进行研究评估
，以下将放出详细的报表。
360Lib+HM的报表：
用例为1帧数据，WS-PSNR为JVET在JVET-D0040WS-PSNR for360 video objective quality evaluation
中提出关于评估360全景视频的信噪比的标准。
TAppEncoder.exe -c J:\cfg-360Lib\HM-16.14\encoder_randomaccess_main10.cfg -c J:\cfg-360Lib\encoder_360_ERP.cfg -c J:\cfg-360Lib\per-sequence\360\custom\360test_Dianying.cfg -c J:\cfg-360Lib\per-sequence\360\custom\360test_Dianying_DynamicViewports.cfg --SphFile=J:\cfg-360Lib\360Lib\sphere_655362.txt -i J:\test_seq\Dianying.yuv --CodingFaceWidth=2048 --CodingFaceHeight=1024 --IntraPeriod=32 -b HM_test.bin --SEIDecodedPictureHash=1  -o '' -q 27


HM software: Encoder Version [16.15] (including RExt)[Windows][VS 1900][32 bit]


CompactCodingFPFormat is automatically disabled for source video because it is only supported for OHP and ISP
CompactCodingFPFormat is automatically disabled for output video because it is only supported for OHP and ISP


Input          File                    : J:\test_seq\Dianying.yuv
Bitstream      File                    : HM_test.bin
Reconstruction File                    : ''
Real     Format                        : 2048x1024 30Hz
Internal Format                        : 2048x1024 30Hz
Sequence PSNR output                   : Linear average only
Sequence MSE output                    : Disabled
Frame MSE output                       : Disabled
Cabac-zero-word-padding                : Enabled
Frame/Field                            : Frame based coding
Frame index                            : 0 - 0 (1 frames)
Profile                                : main10
CU size / depth / total-depth          : 64 / 4 / 4
RQT trans. size (min / max)            : 4 / 32
Max RQT depth inter                    : 3
Max RQT depth intra                    : 3
Min PCM size                           : 8
Motion search range                    : 256
Intra period                           : 32
Decoding refresh type                  : 1
QP                                     : 27
Max dQP signaling depth                : 0
Cb QP Offset                           : 0
Cr QP Offset                           : 0
QP adaptation                          : 0 (range=0)
GOP size                               : 16
Input bit depth                        : (Y:8, C:8)
MSB-extended bit depth                 : (Y:8, C:8)
Internal bit depth                     : (Y:10, C:10)
PCM sample bit depth                   : (Y:8, C:8)
Intra reference smoothing              : Enabled
diff_cu_chroma_qp_offset_depth         : -1
extended_precision_processing_flag     : Disabled
implicit_rdpcm_enabled_flag            : Disabled
explicit_rdpcm_enabled_flag            : Disabled
transform_skip_rotation_enabled_flag   : Disabled
transform_skip_context_enabled_flag    : Disabled
cross_component_prediction_enabled_flag: Disabled
high_precision_offsets_enabled_flag    : Disabled
persistent_rice_adaptation_enabled_flag: Disabled
cabac_bypass_alignment_enabled_flag    : Disabled
log2_sao_offset_scale_luma             : 0
log2_sao_offset_scale_chroma           : 0
Cost function:                         : Lossy coding (default)
RateControl                            : 0
WPMethod                               : 0
Max Num Merge Candidates               : 5


TOOL CFG: IBD:1 HAD:1 RDQ:1 RDQTS:1 RDpenalty:0 LQP:0 SQP:0 ASR:0 MinSearchWindow:8 RestrictMESampling:0 FEN:1 ECU:0 FDM:1 CFM:0 ESD:0 RQT:1 TransformSkip:1 TransformSkipFast:1 TransformSkipLog2MaxSize:2 Slice: M=0 SliceSegment: M=0 CIP:0 SAO:1 PCM:0 TransQuantBypassEnabled:0 WPP:0 WPB:0 PME:2  WaveFrontSynchro:0 WaveFrontSubstreams:1 ScalingList:0 TMVPMode:1 AQpS:0 SignBitHidingFlag:1 RecalQP:0


-----360Lib software version [2.1]-----
-----360 video parameters----
SphereVideo:1
InputGeometryType: Equirectangular
ChromaFormat:1 Resolution:4096x2048xF1 FPStructure:1x1 | Id_0(R_0)  |
Compact type: 0


CodingGeometryType: Equirectangular
ChromaFormat:1 Resolution:2048x1024xF1 FPStructure:1x1 | Id_0(R_0)  |
Compact type: 0


Packed frame resolution: 2048x1024 (Input face resolution:2048x1024)
Interpolation method for luma: 5, interpolation method for chroma: 4
ChromaSampleLocType: 2
Input ChromaFormatIDC: 1; Internal ChromaFormatIDC: 1, ChromaResample: 0; Output ChromaFormatIDC: 1
Internal bit depth for projection conversion: 10, output bit depth from pejction conversion: 10


End to end S-PSNR-NN is enabled; SphFile file: J:\cfg-360Lib\360Lib\sphere_655362.txt
WS-PSNR is enabled
End to end S-PSNR-I is enabled; SphFile file: J:\cfg-360Lib\360Lib\sphere_655362.txt
End to end CPP-PSNR is enabled
End to end WS-PSNR is enabled
Static ViewPort PSNR calculation is not enabled!
ViewPort parameters for dynamic ViewPort PSNR calculation:
Number of viewports: 2, Resolutoin:856x856
Dyanmic viewport 0, hFOV:75.00, vFOV:75.00
Start viewport setting(POC_0): 75.00 -18.00; End viewport setting(POC_299): 165.00 12.00
Dyanmic viewport 1, hFOV:75.00, vFOV:75.00
Start viewport setting(POC_0): 104.00 -44.00; End viewport setting(POC_299): 194.00 -14.00
Cross-format S-PSNR-NN is enabled; SphFile file: J:\cfg-360Lib\360Lib\sphere_655362.txt
Cross-format S-PSNR-I is enabled; SphFile file: J:\cfg-360Lib\360Lib\sphere_655362.txt
Cross-format CPP-PSNR is enabled
-----360 video parameters----




Non-environment-variable-controlled macros set as follows:


                                RExt__DECODER_DEBUG_BIT_STATISTICS =   0
                                      RExt__HIGH_BIT_DEPTH_SUPPORT =   0
                            RExt__HIGH_PRECISION_FORWARD_TRANSFORM =   0
                                        O0043_BEST_EFFORT_DECODING =   0
                                         ME_ENABLE_ROUNDING_OF_MVS =   1


                   Input ChromaFormatIDC =   4:2:0
       Output (internal) ChromaFormatIDC =   4:2:0


POC    0 TId: 0 ( I-SLICE, nQP 24 QP 24 )     272056 bits [Y 48.2661 dB    U 48.7034 dB    V 49.8522 dB] [Y-WSPSNR 48.1169 dB   U-WSPSNR 48.6066 dB   V-WSPSNR 49.8494 dB] [Y-E2ESPSNR_NN 45.9106 dB    U-E2ESPSNR_NN 48.3878 dB    V-E2ESPSNR_NN 49.7914 dB] [Y-E2ESPSNR_I 46.1230 dB    U-E2ESPSNR_I 48.6015 dB    V-E2ESPSNR_I 50.0147 dB] [Y-E2ECPPPSNR 46.0824 dB   U-E2ECPPPSNR 48.6018 dB   V-E2ECPPPSNR 50.0001 dB] [Y-E2EWSPSNR 45.9425 dB   U-E2EWSPSNR 48.3623 dB   V-E2EWSPSNR 49.7785 dB] [Y-PSNR_DYN_VP0 49.3957 dB   U-PSNR_DYN_VP0 50.7293 dB   V-PSNR_DYN_VP0 51.8196 dB] [Y-PSNR_DYN_VP1 48.1459 dB   U-PSNR_DYN_VP1 51.2552 dB   V-PSNR_DYN_VP1 51.9641 dB] [Y-CFSPSNR_NN 41.6981 dB    U-CFSPSNR_NN 48.3675 dB    V-CFSPSNR_NN 49.7301 dB] [Y-CFSPSNR_I 46.1212 dB    U-CFSPSNR_I 48.5947 dB    V-CFSPSNR_I 50.0079 dB] [Y-CFCPPPSNR 45.9948 dB   U-CFCPPPSNR 48.6128 dB   V-CFCPPPSNR 50.0154 dB] [ET   236 ] [L0 ] [L1 ] [MD5:e58ae63a162a697dfdf1542f1cdf6f95,66d439a373c0406470b8caa240f1f6d7,4dc55a15852ccba83ac1ebebf3805bbf]




SUMMARY --------------------------------------------------------
        Total Frames |   Bitrate     Y-PSNR    U-PSNR    V-PSNR    YUV-PSNR  Y-WSPSNR  U-WSPSNR  V-WSPSNR    Y-E2ESPSNR_NN U-E2ESPSNR_NN V-E2ESPSNR_NN  Y-E2ESPSNR_I  U-E2ESPSNR_I  V-E2ESPSNR_I   Y-E2ECPPPSNR  U-E2ECPPPSNR  V-E2ECPPPSNR   Y-E2EWSPSNR U-E2EWSPSNR V-E2EWSPSNR  Y-PSNR_DYN_VP0 U-PSNR_DYN_VP0 V-PSNR_DYN_VP0  Y-PSNR_DYN_VP1 U-PSNR_DYN_VP1 V-PSNR_DYN_VP1  Y-CFSPSNR_NN U-CFSPSNR_NN V-CFSPSNR_NN  Y-CFSPSNR_I U-CFSPSNR_I V-CFSPSNR_I  Y-CFCPPPSNR  U-CFCPPPSNR  V-CFCPPPSNR
                1    a    8161.6800   48.2661   48.7034   49.8522   48.5671  48.1169   48.6066   49.8494     45.9106       48.3878       49.7914        46.1230       48.6015       50.0147        46.0824       48.6018       50.0001        45.9425     48.3623     49.7785      49.3957        50.7293        51.8196         48.1459        51.2552        51.9641         41.6981      48.3675      49.7301       46.1212     48.5947     50.0079      45.9948      48.6128      50.0154




I Slices--------------------------------------------------------
        Total Frames |   Bitrate     Y-PSNR    U-PSNR    V-PSNR    YUV-PSNR  Y-WSPSNR  U-WSPSNR  V-WSPSNR    Y-E2ESPSNR_NN U-E2ESPSNR_NN V-E2ESPSNR_NN  Y-E2ESPSNR_I  U-E2ESPSNR_I  V-E2ESPSNR_I   Y-E2ECPPPSNR  U-E2ECPPPSNR  V-E2ECPPPSNR   Y-E2EWSPSNR U-E2EWSPSNR V-E2EWSPSNR  Y-PSNR_DYN_VP0 U-PSNR_DYN_VP0 V-PSNR_DYN_VP0  Y-PSNR_DYN_VP1 U-PSNR_DYN_VP1 V-PSNR_DYN_VP1  Y-CFSPSNR_NN U-CFSPSNR_NN V-CFSPSNR_NN  Y-CFSPSNR_I U-CFSPSNR_I V-CFSPSNR_I  Y-CFCPPPSNR  U-CFCPPPSNR  V-CFCPPPSNR
                1    i    8161.6800   48.2661   48.7034   49.8522   48.5671  48.1169   48.6066   49.8494     45.9106       48.3878       49.7914        46.1230       48.6015       50.0147        46.0824       48.6018       50.0001        45.9425     48.3623     49.7785      49.3957        50.7293        51.8196         48.1459        51.2552        51.9641         41.6981      48.3675      49.7301       46.1212     48.5947     50.0079      45.9948      48.6128      50.0154




P Slices--------------------------------------------------------
        Total Frames |   Bitrate     Y-PSNR    U-PSNR    V-PSNR    YUV-PSNR
                0    p    -nan(ind)  -nan(ind)  -nan(ind)  -nan(ind)  -nan(ind)




B Slices--------------------------------------------------------
        Total Frames |   Bitrate     Y-PSNR    U-PSNR    V-PSNR    YUV-PSNR
                0    b    -nan(ind)  -nan(ind)  -nan(ind)  -nan(ind)  -nan(ind)


RVM: 0.000
Bytes written to file: 34064 (8175.360 kbps)


 Total Time:      446.559 sec.