精华内容
下载资源
问答
  • 2015-03-11 13:07:47
    这类格式包括了MPEG-1,MPEG-2 MPEG-4
    在内的多种视频格式。 MPEG-1 相信是大家接触得最多的了,因为其正在被广泛地应用在VCD 的制作和一些视频
    片段下载的网络应用上面,大部分的 VCD 都是用 MPEG1 格式压缩的
    更多相关内容
  • 动态图象专家组 MPEG-4

    千次阅读 2011-02-01 00:49:00
    MPEG专家组的专家们正在为MPEG-4的制定努力工作。MPEG-4标准主要应用于视像电话(Video Phone),视像电子邮件(Video Email)和电子新闻(Electronic News)等,其传输速率要求较低,在4800-64000bits/sec之间,分辨率为...

    MPEG4于1998 年11 月公布,原预计1999 年1月投入使用的国际标准MPEG4不仅是针对一定比特率下的视频、音频编码,更加注重多媒体系统的交互性和灵活性。MPEG专家组的专家们正在为MPEG-4的制定努力工作。MPEG-4标准主要应用于视像电话(Video Phone),视像电子邮件(Video Email)和电子新闻(Electronic News)等,其传输速率要求较低,在4800-64000bits/sec之间,分辨率为176X144。MPEG-4利用很窄的带宽,通过帧重建技术,压缩和传输数据,以求以最少的数据获得最佳的图像质量。

    一、MPEG-4简介

      与 MPEG-1MPEG-2相比, MPEG-4的特点是其更适于交互AV服务以及远程监控。MPEG-4是第一个使你由被动变为主动(不再只是观看,允许你加入其中,即有交互性)的动态图像标准,它的另一个特点是其综合性。从根源上说,MPEG-4试图将自然物体与人造物体相溶合(视觉效果意义上的)。MPEG-4的设计目标还有更广的适应性和更灵活的可扩展性。  MPEG全称是Moving Pictures Experts Group,它是“动态图象专家组”的英文缩写,该专家组成立于1988年,致力于运动图像及其伴音的压缩编码标准化工作,原先他们打算开发MPEG1、MPEG2、MPEG3和MPEG4四个版本,以适用于不同带宽和数字影像质量的要求。  目前,MPEG1技术被广泛的应用于VCD,而MPEG2标准则用于广播电视和DVD等。MPEG3最初是为HDTV开发的编码和压缩标准,但由于MPEG2的出色性能表现, MPEG3只能是死于襁褓了。而我们今天要谈论的主角——MPEG4于1999年初正式成为国际标准。它是一个适用于低传输速率应用的方案。与MPEG1和MPEG2相比,MPEG4更加注重多媒体系统的交互性和灵活性。下面就让我们一起进入多彩的MPEG4世界。

    二、MPEG-4目标

      ( 一)、 低比特率下的多媒体通信;  ( 二)、 是多工业的多媒体通信的综合。  据此目标,MPEG4 引入AV 对象(Audio/Visual Objects), 使得更多的交互操作成为可能。  MPEG-4是为在国际互联网络上或移动通信设备(例如移动电话)上实时传输音/视频讯号而制定的最新MPEG标准,MPEG4采用Object Based方式解压缩,压缩比指标远远优于以上几种,压缩倍数为450倍(静态图像可达800倍),分辨率输入可从320 ×240到1280 ×1024,这是同质量的MPEG1和MJEPG的十倍多。  MPEG4使用「图层」(layer)方式,能够智能化选择影像的不同之处,是可根据图像内容,将其中的对象(人物、物体、背景)分离出来分别进行压缩,使图文件容量大幅缩减,而加速音/视频的传输,这不仅仅大大提高了压缩比,也使图像探测的功能和准确性更充分的体现出来。  在网络传输中可以设定MPEG4的码流速率,清晰度也可在一定的范围内作相应的变化,这样便于用户根据自己对录像时间、传输路数和清晰度的不同要求进行不同的设置,大大提高了系统使用时的适应性和灵活性。也可采用动态帧测技术,动态时快录,静态时慢录,从而减少平均数据量,节省存储空间。而且当在传输有误码或丢包现象时,MPEG4受到的影响很小,并且能迅速恢复。  MPEG4的应用前景将是非常广阔的。 它的出现将对以下各方面产生较大的推动作用:数字电视、动态图像、万维网(WWW)、实时多媒体监控、低比特率下的移动多媒体通信、于内容存储和检索多媒系统、Internet/Intranet上的视频流与可视游戏、基于面部表情模拟的虚拟会议、DVD上的交互多媒体应用、基于计算机网络的可视化合作实验室场景应用、演播电视等。  当然,除了MPEG 4外,还有更先进的下一个版本MPEG 7 ,准确来说, MPEG-7并不是一种压缩编码方法,而是一个多媒体内容描述接口。继MPEG4之后,要解决的矛盾就是对日渐庞大的图像、声音信息的管理和迅速搜索。MPEG 7就是针对这个矛盾的解决方案。MPEG7力求能够快速且有效地搜索出用户所需的不同类型的多媒体材料。预计这个方案于2001年初最终完成并公布。按照以往 MPEG-4的经验,MPEG-7起码要再过两年才能进入实际应用阶段。

    三、多媒体视频编码

      运动图像专家组MPEG 于1999年2月正式公布了MPEG-4(ISO/IEC14496)标准第一版本。同年年底MPEG-4第二版亦告底定,  且于2000年年初正式成为国际标准。  MPEG-4与MPEG-1和MPEG-2有很大的不同。MPEG-4不只是具体压缩算法,它是针对数字电视、交互式绘图应用(影音合成内容)、交互式多媒体(WWW、资料撷取与分散)等整合及压缩技术的需求而制定的国际标准。MPEG -4标准将众多的多媒体应用集成于一个完整的框架内,旨在为多媒体通信及应用环境提供标准的算法及工具,从而建立起一种能被多媒体传输、存储、检索等应用领域普遍采用的统一数据格式。  MPEG-4的编码理念是:MPEG-4标准同以前标准的最显著的差别在于它是采用基于对象的编码理念,即在编码时将一幅景物分成若干在时间和空间上相互联系的视频音频对象,分别编码后,再经过复用传输到接收端,然后再对不同的对象分别解码,从而组合成所需要的视频和音频。这样既方便我们对不同的对象采用不同的编码方法和表示方法,又有利于不同数据类型间的融合,并且这样也可以方便的实现对于各种对象的操作及编辑。例如,我们可以将一个卡通人物放在真实的场景中,或者将真人置于一个虚拟的演播室里,还可以在互联网上方便的实现交互,根据自己的需要有选择的组合各种视频音频以及图形文本对象。  MPEG-4系统的一般框架是:对自然或合成的视听内容的表示;对视听内容数据流的管理,如多点、同步、缓冲管理等;对灵活性的支持和对系统不同部分的配置。

    四、MPEG-4的优点

    (1) 基于内容的交互性

      MPEG-4提供了基于内容的多媒体数据访问工具,如索引、超级链接、上传、下载、删除等。利用这些工具,用户可以方便地从多媒体数据库中有选择地获取自己所需的与对象有关的内容,并提供了内容的操作和 位流编辑功能,可应用于交互式家庭购物,淡入淡出的数字化效果等。MPEG-4提供了高效的自然或合成的多媒体数据编码方法。它可以把自然场景或对象组合起来成为合成的多媒体数据。

    (2) 高效的压缩性

      MPEG-4基于更高的编码效率。同已有的或即将形成的其它标准相比,在相同的比特率下,它基于更高的视觉听觉质量,这就使得在低带宽的信道上传送视频、音频成为可能。同时MPEG-4还能对同时发生的数据流进行编码。一个场景的多视角或多声道数据流可以高效、同步地合成为最终数据流。这可用于 虚拟三维游戏、三维电影、飞行仿真练习等。

    (3) 通用的访问性

      MPEG-4提供了易出错环境的鲁棒性,来保证其在许多无线和有线网络以及存储介质中的应用,此外,MPEG-4还支持基于内容的的可分级性,即把内容、质量、复杂性分成许多小块来满足不同用户的不同需求,支持具有不同带宽,不同存储容量的传输信道和接收端。  这些特点无疑会加速多媒体应用的发展,从中受益的应用领域有:因特网多媒体应用;广播电视;交互式视频游戏;实时可视通信;交互式存储媒体应用;演播室技术及电视后期制作;采用面部动画技术的虚拟会议;多媒体邮件;移动通信条件下的多媒体应用;远程视频监控;通过ATM网络等进行的远程数据库业务等。

    (4)MPEG4的技术特点

      MPEG1、MPEG2技术当初制定时,它们定位的标准均为高层媒体表示与结构,但随着计算机软件及网络技术的快速发展,MPEG1.MPEG2技术的弊端就显示出来了:交互性及灵活性较低,压缩的多媒体文件体积过于庞大,难以实现网络的实时传播。而MPEG4技术的标准是对运动图像中的内容进行编码,其具体的编码对象就是图像中的音频和视频,术语称为“AV对象”,而连续的AV对象组合在一起又可以形成AV场景。因此,MPEG4标准就是围绕着AV对象的编码、存储、传输和组合而制定的,高效率地编码、组织、存储、传输AV对象是MPEG4标准的基本内容。  在视频编码方面,MPEG4支持对自然和合成的视觉对象的编码。(合成的视觉对象包括2D、3D动画和人面部表情动画等)。在音频编码上,MPEG4可以在一组编码工具支持下,对语音、音乐等自然声音对象和具有回响、空间方位感的合成声音对象进行音频编码。  由于MPEG4只处理图像帧与帧之间有差异的元素,而舍弃相同的元素,因此大大减少了合成多媒体文件的体积。应用MPEG4技术的影音文件最显著特点就是压缩率高且成像清晰,一般来说,一小时的影像可以被压缩为350M左右的数据,而一部高清晰度的DVD电影, 可以压缩成两张甚至一张650M CD光碟来存储。对广大的“平民”计算机用户来说, 这就意味着, 您不需要购置  DVD-ROM就可以欣赏近似DVD质量的高品质影像。而且采用MPEG4编码技术的影片,对机器硬件配置的要求非常之低,300MHZ 以上CPU,64M的内存和一个 8M显存的显卡就可以流畅的播放。在播放软件方面,它要求也非常宽松,你只需要安装一个 500K左右的 MPEG4 编码驱动后,用 WINDOWS自带的媒体播放器就可以流畅的播放了(下面我们会具体讲到)。

    编辑本段五、视频编码研究与MPEG标准演进

      人类获取的信息中70%来自于视觉,视频信息在多媒体信息中占有重要地位;同时视频数据冗余度最大,经压缩处理后的视频质量高低是决定多媒体服务质量的关键因素。因此数字视频技术是多媒体应用的核心技术,对视频编码的研究已成为信息技术领域的热门话题。  视频编码的研究课题主要有数据压缩比、压缩/解压速度及快速实现算法三方面内容。以压缩/解压后数据与压缩前原始数据是否完全一致作为衡量标准,可将数据压缩划分为无失真压缩(即可逆压缩)和有失真压缩(即不可逆压缩)两类。  传统压缩编码建立在香农信息论基础之上的,以经典集合论为工具,用概率统计模型来描述信源,其压缩思想基于数据统计,因此只能去除数据冗余,属于低层压缩编码的范畴。  伴随着视频编码相关学科及新兴学科的迅速发展,新一代数据压缩技术不断诞生并日益成熟,其编码思想由基于像素和像素块转变为基于内容 (content-based)。它突破了仙农信息论框架的束缚,充分考虑了人眼视觉特性及信源特性,通过去除内容冗余来实现数据压缩,可分为基于对象(object-based)和基于语义(semantics-based)两种,前者属于中层压缩编码,后者属于高层压缩编码。  与此同时,视频编码相关标准的制定也日臻完善。视频编码标准主要由ITU-T和ISO/IEC开发。ITU-T发布的视频标准有H.261、 H.262、 H.263、 H.263+、H.263++,ISO/IEC公布的MPEG系列标准有MPEG-1、MPEG-2 、MPEG-4 和MPEG-7,并且计划公布MPEG-21。  MPEG即Moving Picture Expert Group(运动图像专家组),它是专门从事制定多媒体视音频压缩编码标准的国际组织。MPEG系列标准已成为国际上影响最大的多媒体技术标准,其中MPEG-1和MPEG-2是采用以仙农信息论为基础的预测编码、变换编码、熵编码及运动补偿等第一代数据压缩编码技术;MPEG-4(ISO/IEC 14496)则是基于第二代压缩编码技术制定的国际标准,它以视听媒体对象为基本单元,采用基于内容的压缩编码,以实现数字视音频、图形合成应用及交互式多媒体的集成。MPEG系列标准对VCD、DVD等视听消费电子及数字电视和高清晰度电视(DTV&&HDTV)、多媒体通信等信息产业的发展产生了巨大而深远的影响。

    六、MPEG-4视频编码核心思想及关键技术

      MPEG-4视频编码核心思想及技术研究"

    摘要

      MPEG-4是新一代基于内容的多媒体数据压缩编码国际标准,它与传统视频编码标准的最大不同在于第一次提出了基于对象的视频编码新概念。基于内容的交互性是MPEG-4标准的核心思想,这对于视频编码技术的发展方向及广泛应用都具有特别重要的意义。  刘达 毛加轩 文章来源:中国数据通信

    关键词

      MPEG-4 数据压缩 视频编码 视听对象 基于内容编码 视频对象提取  运动估计与补偿

    1 引言

      当今时代,信息技术和计算机互联网飞速发展,在此背景下,多媒体信息已成为人类获取信息的最主要载体,同时也成为电子信息领域技术开发和研究的热点。多媒体信息经数字化处理后具有易于加密、抗干扰能力强、可再生中继等优点,但同时也伴随海量数据的产生,这对信息存储设备及通信网络均提出了很高要求,从而成为阻碍人们有效获取和使用信息的重大瓶颈。  因此研究高效的多媒体数据压缩编码方法,以压缩形式存储和传输数字化的多媒体信息具有重要意义。作为多媒体技术的核心及关键,多媒体数据压缩编码近年来在技术及应用方面都取得了长足进展,它的进步和完善正深刻影响着现代社会的方方面面。

    2 视频编码研究与MPEG标准演进

      人类获取的信息中70%来自于视觉,视频信息在多媒体信息中占有重要地位;同时视频数据冗余度最大,经压缩处理后的视频质量高低是决定多媒体服务质量的关键因素。因此数字视频技术是多媒体应用的核心技术,对视频编码的研究已成为信息技术领域的热门话题。  视频编码的研究课题主要有数据压缩比、压缩/解压速度及快速实现算法三方面内容。以压缩/解压后数据与压缩前原始数据是否完全一致作为衡量标准,可将数据压缩划分为无失真压缩(即可逆压缩)和有失真压缩(即不可逆压缩)两类。  传统压缩编码建立在仙农信息论基础之上的,以经典集合论为工具,用概率统计模型来描述信源,其压缩思想基于数据统计,因此只能去除数据冗余,属于低层压缩编码的范畴。  伴随着视频编码相关学科及新兴学科的迅速发展,新一代数据压缩技术不断诞生并日益成熟,其编码思想由基于像素和像素块转变为基于内容 (content-based)。它突破了仙农信息论框架的束缚,充分考虑了人眼视觉特性及信源特性,通过去除内容冗余来实现数据压缩,可分为基于对象(object-based)和基于语义(semantics-based)两种,前者属于中层压缩编码,后者属于高层压缩编码。  与此同时,视频编码相关标准的制定也日臻完善。视频编码标准主要由ITU-T和ISO/IEC开发。ITU-T发布的视频标准有H.261、 H.262、 H.263、 H.263+、H.263++,ISO/IEC公布的MPEG系列标准有MPEG-1、MPEG-2 、MPEG-4 和MPEG-7,并且计划公布MPEG-21。  MPEG即Moving Picture Expert Group(运动图像专家组),它是专门从事制定多媒体视音频压缩编码标准的国际组织。MPEG系列标准已成为国际上影响最大的多媒体技术标准,其中MPEG-1和MPEG-2是采用以香农信息论为基础的预测编码、变换编码、熵编码及运动补偿等第一代数据压缩编码技术;MPEG-4(ISO/IEC 14496)则是基于第二代压缩编码技术制定的国际标准,它以视听媒体对象为基本单元,采用基于内容的压缩编码,以实现数字视音频、图形合成应用及交互式多媒体的集成。MPEG系列标准对VCD、DVD等视听消费电子及数字电视和高清晰度电视(DTV&&HDTV)、多媒体通信等信息产业的发展产生了巨大而深远的影响。

    3 MPEG-4视频编码核心思想及关键技术

      3.1 核心思想  在MPEG-4制定之前,MPEG-1、MPEG-2、H.261、H.263都是采用第一代压缩编码技术,着眼于图像信号的统计特性来设计编码器,属于波形编码的范畴。第一代压缩编码方案把视频序列按时间先后分为一系列帧,每一帧图像又分成宏块以进行运动补偿和编码,这种编码方案存在以下缺陷:  · 将图像固定地分成相同大小的块,在高压缩比的情况下会出现严重的块效应,即马赛克效应;  · 不能对图像内容进行访问、编辑和回放等操作;  · 未充分利用人类视觉系统(HVS,Human Visual System)的特性。  MPEG-4则代表了基于模型/对象的第二代压缩编码技术,它充分利用了人眼视觉特性,抓住了图像信息传输的本质,从轮廓、纹理思路出发,支持基于视觉内容的交互功能,这适应了多媒体信息的应用由播放型转向基于内容的访问、检索及操作的发展趋势。  AV对象(AVO,Audio Visual Object)是MPEG-4为支持基于内容编码而提出的重要概念。对象是指在一个场景中能够访问和操纵的实体,对象的划分可根据其独特的纹理、运动、形状、模型和高层语义为依据。在MPEG-4中所见的视音频已不再是过去MPEG-1、MPEG-2中图像帧的概念,而是一个个视听场景(AV场景),这些不同的AV场景由不同的AV对象组成。AV对象是听觉、视觉、或者视听内容的表示单元,其基本单位是原始AV对象,它可以是自然的或合成的声音、图像。原始AV对象具有高效编码、高效存储与传输以及可交互操作的特性,它又可进一步组成复合AV对象。因此MPEG-4标准的基本内容就是对AV对象进行高效编码、组织、存储与传输。AV对象的提出,使多媒体通信具有高度交互及高效编码的能力,AV对象编码就是MPEG-4的核心编码技术。  MPEG-4不仅可提供高压缩率,同时也可实现更好的多媒体内容互动性及全方位的存取性,它采用开放的编码系统,可随时加入新的编码算法模块,同时也可根据不同应用需求现场配置解码器,以支持多种多媒体应用。  MPEG-4 采用了新一代视频编码技术,它在视频编码发展史上第一次把编码对象从图像帧拓展到具有实际意义的任意形状视频对象,从而实现了从基于像素的传统编码向基于对象和内容的现代编码的转变,因而引领着新一代智能图像编码的发展潮流。  3.2 关键技术  MPEG-4除采用第一代视频编码的核心技术,如变换编码、运动估计与运动补偿、量化、熵编码外,还提出了一些新的有创见性的关键技术,并在第一代视频编码技术基础上进行了卓有成效的完善和改进。下面重点介绍其中的一些关键技术。  1.  视频对象提取技术  MPEG-4实现基于内容交互的首要任务就是把视频/图像分割成不同对象或者把运动对象从背景中分离出来,然后针对不同对象采用相应编码方法,以实现高效压缩。因此视频对象提取即视频对象分割,是MPEG-4视频编码的关键技术,也是新一代视频编码的研究热点和难点。  视频对象分割涉及对视频内容的分析和理解,这与人工智能、图像理解、模式识别和神经网络等学科有密切联系。目前人工智能的发展还不够完善,计算机还不具有观察、识别、理解图像的能力;同时关于计算机视觉的研究也表明要实现正确的图像分割需要在更高层次上对视频内容进行理解。因此,尽管MPEG-4 框架已经制定,但至今仍没有通用的有效方法去根本解决视频对象分割问题,视频对象分割被认为是一个具有挑战性的难题,基于语义的分割则更加困难。  目前进行视频对象分割的一般步骤是:先对原始视频/图像数据进行简化以利于分割,这可通过低通滤波、中值滤波、形态滤波来完成;然后对视频/图像数据进行特征提取,可以是颜色、纹理、运动、帧差、位移帧差乃至语义等特征;再基于某种均匀性标准来确定分割决策,根据所提取特征将视频数据归类;最后是进行相关后处理,以实现滤除噪声及准确提取边界。  在视频分割中基于数学形态理论的分水岭(watershed)算法被广泛使用,它又称水线算法,其基本过程是连续腐蚀二值图像,由图像简化、标记提取、决策、后处理四个阶段构成。分水岭算法具有运算简单、性能优良,能够较好提取运动对象轮廓、准确得到运动物体边缘的优点。但分割时需要梯度信息,对噪声较敏感,且未利用帧间信息,通常会产生图像过度分割。  2.  VOP视频编码技术  视频对象平面(VOP,Video Object Plane)是视频对象(VO)在某一时刻的采样,VOP是MPEG-4视频编码的核心概念。MPEG-4在编码过程中针对不同VO采用不同的编码策略,即对前景VO的压缩编码尽可能保留细节和平滑;对背景VO则采用高压缩率的编码策略,甚至不予传输而在解码端由其他背景拼接而成。这种基于对象的视频编码不仅克服了第一代视频编码中高压缩率编码所产生的方块效应,而且使用户可与场景交互,从而既提高了压缩比,又实现了基于内容的交互,为视频编码提供了广阔的发展空间。  MPEG-4支持任意形状图像与视频的编解码。对于任意形状视频对象。对于极低比特率实时应用,如可视电话、会议电视,MPEG-4则采用VLBV(Very Low Bit-rate Video,极低比特率视频)核进行编码。  传统的矩形图在MPEG-4中被看作是VO的一种特例,这正体现了传统编码与基于内容编码在MPEG-4中的统一。VO概念的引入,更加符合人脑对视觉信息的处理方式,并使视频信号的处理方式从数字化进展到智能化,从而提高了视频信号的交互性和灵活性,使得更广泛的视频应用及更多的内容交互成为可能。因此VOP视频编码技术被誉为视频信号处理技术从数字化进入智能化的初步探索。  3.  视频编码可分级性技术  随着因特网业务的巨大增长,在速率起伏很大的IP(Internet Protocol)网络及具有不同传输特性的异构网络上进行视频传输的要求和应用越来越多。在这种背景下,视频分级编码的重要性日益突出,其应用非常广泛,且具有很高的理论研究及实际应用价值,因此受到人们的极大关注。  视频编码的可分级性(scalability)是指码率的可调整性,即视频数据只压缩一次,却能以多个帧率、空间分辨率或视频质量进行解码,从而可支持多种类型用户的各种不同应用要求。  MPEG-4通过视频对象层(VOL,Video Object Layer)数据结构来实现分级编码。MPEG-4提供了两种基本分级工具,即时域分级(Temporal Scalability)和空域分级(Spatial Scalability),此外还支持时域和空域的混合分级。每一种分级编码都至少有两层VOL,低层称为基本层,高层称为增强层。基本层提供了视频序列的基本信息,增强层提供了视频序列更高的分辨率和细节。  在随后增补的视频流应用框架中,MPEG-4提出了FGS(Fine Granularity Scalable,精细可伸缩性)视频编码算法以及PFGS(Progressive Fine Granularity Scalable,渐进精细可伸缩性)视频编码算法。  FGS编码实现简单,可在编码速率、显示分辨率、内容、解码复杂度等方面提供灵活的自适应和可扩展性,且具有很强的带宽自适应能力和抗误码性能。但还存在编码效率低于非可扩展编码及接收端视频质量非最优两个不足。  PFGS则是为改善FGS编码效率而提出的视频编码算法,其基本思想是在增强层图像编码时使用前一帧重建的某个增强层图像为参考进行运动补偿,以使运动补偿更加有效,从而提高编码效率。  4. 运动估计与运动补偿技术  MPEG-4采用I-VOP、P-VOP、B-VOP三种帧格式来表征不同的运动补偿类型。它采用了H.263中的半像素搜索(half pixel searching)技术和重叠运动补偿(overlapped motion compensation)技术,同时又引入重复填充(repetitive padding)技术和修改的块(多边形)匹配(modified block (polygon)matching)技术以支持任意形状的VOP区域。  此外,为提高运动估计算法精度,MPEG-4采用了MVFAST(Motion Vector Field Adaptive Search Technique)和改进的PMVFAST(Predictive MVFAST)方法用于运动估计。对于全局运动估计,则采用了基于特征的快速顽健的FFRGMET(Feature-based Fast and Robust Global Motion Estimation Technique)方法。  在MPEG-4视频编码中,运动估计相当耗时,对编码的实时性影响很大。因此这里特别强调快速算法。运动估计方法主要有像素递归法和块匹配法两大类,前者复杂度很高,实际中应用较少,后者则在H.263和MPEG中广泛采用。在块匹配法中,重点研究块匹配准则及搜索方法。目前有三种常用的匹配准则:  (1)绝对误差和(SAD, Sum of Absolute Difference)准则;  (2)均方误差(MSE, Mean Square Error)准则;  (3)归一化互相关函数(NCCF, Normalized Cross Correlation Function)准则。  在上述三种准则中,SAD准则具有不需乘法运算、实现简单方便的优点而使用最多,但应清楚匹配准则的选用对匹配结果影响不大。  在选取匹配准则后就应进行寻找最优匹配点的搜索工作。最简单、最可靠的方法是全搜索法(FS, Full Search),但计算量太大,不便于实时实现。因此快速搜索法应运而生,主要有交叉搜索法、二维对数法和钻石搜索法,其中钻石搜索法被MPEG-4校验模型(VM, Verification Model)所采纳,下面详细介绍。  钻石搜索(DS, Diamond Search)法以搜索模板形状而得名,具有简单、鲁棒、高效的特点,是现有性能最优的快速搜索算法之一。其基本思想是利用搜索模板的形状和大小对运动估计算法速度及精度产生重要影响的特性。在搜索最优匹配点时,选择小的搜索模板可能会陷入局部最优,选择大的搜索模板则可能无法找到最优点。因此DS算法针对视频图像中运动矢量的基本规律,选用了两种形状大小的搜索模板。  · 大钻石搜索模板(LDSP, Large Diamond Search Pattern),包含9个候选位置;  · 小钻石搜索模板(SDSP, Small Diamond Search Pattern),包含5个候选位置。  DS算法搜索过程如下:开始阶段先重复使用大钻石搜索模板,直到最佳匹配块落在大钻石中心。由于LDSP步长大,因而搜索范围广,可实现粗定位,使搜索不会陷于局部最小,当粗定位结束后,可认为最优点就在LDSP 周围8 个点所围菱形区域中。然后再使用小钻石搜索模板来实现最佳匹配块的准确定位,以不产生较大起伏,从而提高运动估计精度。  此外Sprite视频编码技术也在MPEG-4中应用广泛,作为其核心技术之一。Sprite又称镶嵌图或背景全景图,是指一个视频对象在视频序列中所有出现部分经拼接而成的一幅图像。利用Sprite可以直接重构该视频对象或对其进行预测补偿编码。  Sprite视频编码可视为一种更为先进的运动估计和补偿技术,它能够克服基于固定分块的传统运动估计和补偿技术的不足,MPEG-4正是采用了将传统分块编码技术与Sprite编码技术相结合的策略。

    4 结束语

      多媒体数据压缩编码的发展趋势是基于内容的压缩,这实际上是信息处理的高级阶段,更加向人自身的信息处理方式靠近。人的信息处理并不是基于信号的,而是基于一个比较抽象的、能够直接进行记忆和处理的方式。  MPEG-4作为新一代多媒体数据压缩编码的典型代表,它第一次提出了基于内容、基于对象的压缩编码思想。它要求对自然或合成视听对象作更多分析甚至是理解,这正是信息处理的高级阶段,因而代表了现代数据压缩编码技术的发展方向。  MPEG-4实现了从矩形帧到VOP的转变以及基于像素的传统编码向基于对象和内容的现代编码的转变,这正体现了传统视频编码与新一代视频编码的有机统一。基于内容的交互性是MPEG-4的核心思想,这对于视频编码技术的发展方向及广泛应用都具有特别重要的意义。

    MPEG-4的应用

    (1)应用于因特网视音频广播

      由于上网人数与日俱增,传统电视广播的观众逐渐减少,随之而来的便是广告收入的减少,所以现在的固定式电视广播最终将转向基于TCP/IP的因特网广播,观众的收看方式也由简单的遥控器选择频道转为网上视频点播。视频点播的概念不是先把节目下载到硬盘,然后再播放,而是流媒体视频(streaming video),点击即观看,边传输边播放。  现在因特网中播放视音频的有:Real Networks公司的 Real Media,微软公司的 Windows Media,苹果公司的 QuickTime,它们定义的视音频格式互不兼容,有可能导致媒体流中难以控制的混乱,而MPEG-4为因特网视频应用提供了一系列的标准工具,使视音频码流具有规范一致性。因此在因特网播放视音频采用MPEG-4,应该说是一个安全的选择。

    (2)应用于无线通信

      MPEG-4高效的码率压缩,交互和分级特性尤其适合于在窄带移动网上实现多媒体通信,未来的手机将变成多媒体移动接收机,不仅可以打移动电视电话、移动上网,还可以移动接收多媒体广播和收看电视。

    (3)应用于静止图像压缩

      静止图像(图片)在因特网中大量使用,现在网上的图片压缩多采用JPEG技术。 MPEG-4中的静止图像(纹理)压缩是基于小波变换的,在同样质量条件下,压缩后的文件大小约是JPEG压缩文件的十分之一。把因特网上使用的JPEG 图片转换成MPEG-4格式,可以大幅度提高图片在网络中的传输速度。

    (4)应用于电视电话

      传统用于窄带电视电话业务的压缩编码标准,如H261,采用帧内压缩、帧间压缩、减少象素和抽帧等办法来降低码率,但编码效率和图像质量都难以令人满意。MPEG-4的压缩编码可以做到以极低码率传送质量可以接受的声像信号,使电视电话业务可以在窄带的公用电话网上实现。

    (5)应用于计算机图形、动画与仿真

      MPEG-4特殊的编码方式和强大的交互能力,使得基于MPEG-4的计算机图形和动画可以从各种来源的多媒体数据库中获取素材,并实时组合出所需要的结果。因而未来的计算机图形可以在MPEG-4语法所允许的范围内向所希望的方向无限发展,产生出今天无法想象的动画及仿真效果。

    (6)应用于电子游戏

      MPEG-4可以进行自然图像与声音同人工合成的图像与声音的混合编码,在编码方式上具有前所未有的灵活性,并且能及时从各种来源的多媒体数据库中调用素材。这可以在将来产生象电影一样的电子游戏,实现极高自由度的交互式操作。

    (7)硬件产品上面的应用

      目前,MPEG4技术在硬件产品上也已开始逐步得到应用。特别是在视频监控、播放上,这项高清晰度,高压缩的技术得到了众多硬件厂商的钟爱,而市场上支持MPEG4技术的产品也是种类繁多。下面笔者就列举一些代表性的产品,旨在让读者了解MPEG4技术在今天应用范围之广。  (1)、摄像机:日本夏普公司推出过应用在互联网上的数字摄像机VN-EZ1。这台网络摄像机利用MPEG4格式,可把影像文件压缩为ASF(高级流格式),用户只要利用微软公司的MediaPlayer播放程序,就可以直接在电脑上进行播放。  (2)、播放机:飞利浦公司于今年八月份推出了一款支持DivX的DVD播放机DVD737。它可以支持DivX 3.11、4.xx、5.xx等MPEG4标准,而对于新标准的支持则可以通过升级固件来实现。(3)、数码相机:日本京瓷公司在11月中旬发售其最新款数码相机Finecam L30,这款是采用300万像素、3倍光学变焦设计的数码相机产品, L30采用了MPEG4格式动态视频录制,可以让动态视频录制画面效果比传统数码相机更出色。  (4)、手机:在手机领域,MPEG4技术更是得到了广泛的应用,各大手机厂商也都推出了可拍摄MPEG4动态视频的手机型号,如西门子ST55、索尼爱立信P900/P908、LG 彩屏G8000等。  (5)、MPEG4数字硬盘:在今年深圳举行的安防展览会上,开发数字录像监控产品的厂家纷纷推出了他们的最新产品,而支持MPEG4的DVR压缩技术也成为改展会上的亮点。

    综述

      如北京华青紫博科技推出的"E眼神MPEG4数字视频王"便是一款基于网络环境的高清晰数字化监控报警系统。内置多画面处理器,集现场监控、监听、多路同时数字录像与回放等多种功能为一体。  其实,市场上还有许多基于MPEG4技术的硬件产品,笔者这里就不一一列举了,不过笔者相信,随着视频压缩技术的不断发展,MPEG4技术的产品会越来越多的出现在我们生活,工作中。

     

    展开全文
  • 运动图像国际压缩标准-整理

    千次阅读 2020-05-29 21:06:34
    1. H.261,H.263,H.264压缩... H.264协议 H.264在低带宽下有了长足的进步,可以达到的效果是:256k即可基本商用,1M带宽即可达到高端商用客户需求,2M带宽可以达到支持动态4CIF图像效果,和MPEG-2协议8M带宽效果相当。

    1. H.261,H.263,H.264压缩标准原理,框图,特点,应用
    2. MPEG-1,MPEG-2,MPEG-4压缩标准原理,框图,特点,应用
    3. H.264与MPEG-2两种压缩标准的区别与应用

    1. H.261,H.263,H.264压缩标准原理,框图,特点,应用

    1.1 H.261

    1.1.1 介绍

    数字电视会议格式。
    解决不同厂商间的产品兼容性问题,推动电视会议系统的发展。

    1.1.2 原理

    在帧间编码时采用了基于 16x16的宏块和整像素精度的运动估计,帧间预测来消除空域冗余,并使用了运动矢量来进行运动补偿。而在帧内编码时采用了 8x8数据块的DCT离散余弦变换来消除空域的冗余。然后对变换后的系数进行阶梯量化,之后对量化后的变换系数进行Zig-zag扫描,并进行熵编码(使用Run-Level变长编码)来消除统计冗余。这些算法有效地压缩了视频序列在时间和空间上的冗余度,使得 H.261具有较高的压缩比,适用于P*64kbit/s码率(P 取1~30)。
    H.261编码时基本的操作单位称为宏块。H.261使用YCbCr颜色空间,并采用4:2:0色度抽样,每个宏块包括16x16的亮度抽样值和两个相应的8x8的色度抽样值.
    编码程序设计的码率是能够在40kbps到2Mbps之间工作,能够对CIF和QCIF分辨率的视频进行编码,即亮度分辨率分别是352x288和176x144,色度采用4:2:0采样,分辨率分别是176x144和88x72。

    1.1.3 框图

    在这里插入图片描述在这里插入图片描述

    1.1.4 特点

    1)实际的编码算法类似于MPEG算法,但不能与后者兼容。
    2)H.261在实时编码时比MPEG所占用的CPU运算量少得多,
    为优化带宽占用量,引进了在图像质量与运动幅度之间的平衡折中机制
    剧烈运动的图像比相对静止的图像质量要差。
    3)恒定码流可变质量编码而非恒定质量可变码流编码。

    1.1.5 应用

    可以用于ISDN。综合业务数字网(Integrated Services Digital Network,ISDN)是一个数字电话网络国际标准,是一种典型的电路交换网络系统。

    1.2 H.263

    1.2.1 介绍

    用于LAN/IP网络的数字电视会议格式
    应用程序视频会议和视频电信有很广泛使用

    1.2.2 原理

    H.263 视频编码标准是专为中高质量运动图像压缩所设计的低码率图像压缩标准。H.263 采用运动视频编码中常见的编码方法,将编码过程分为帧内编码和帧间编码两个部分。帧内用改进的DCT 变换并量化,在帧间采用1/2 像素运动矢量预测补偿技术,使运动补偿更加精确,量化后适用改进的变长编码表(VLC)地量化数据进行熵编码,得到最终的编码系数。图象被编码为一个亮度信号和两个色差成分(Y,CB和CR)。
    与H.261 的p×64K 的传输码率相比,H.263的码率更低,单位码率可以小于 64K,且支持的原始图像格式更多,包括了在视频和电视信号中常见的QCIF,CIF,EDTV,ITU-R 601,ITU-R 709 等等。
    H.263的编码速度快,其设计编码延时不超过150ms;码率低,在512 K 乃至 384K 带宽下仍可得到相当满意的图像效果,十分适用于需要双向编解码并传输的场合(如:可视电话)和网络条件不是很好的场合(如:远程监控)。

    1.2.3 特点

    H.263标准在低码率下能够提供比H.261更好的图像效果,两者的区别有:
    1、H.263的运动补偿使用半像素精度,而H.261则用全像素精度和环路滤波;
    2、数据流层次结构的某些部分在H.263中是可选的,使得编解码可以配置成更低的数据率或更好的纠错能力;
    3、H.263包含四个可协商的选项以改善性能;
    4、H.263采用无限制的运动向量以及基于语法的算术编码;
    5、采用事先预测和与MPEG中的P-B帧一样的帧预测方法;
    6、H.263支持5种分辨率,即除了支持H.261中所支持的QCIF和CIF外,还支持SQCIF、4CIF和16CIF,SQCIF相当于QCIF一半的分辨率,而4CIF和16CIF分别为CIF的4倍和16倍。

    1.2.4 应用

    桌面环境或室内环境下的会议系统通过Internet或电话线路实现的视频通信电子监视和操作运程医疗(在运程进行医学咨询和诊断)基于计算机的培训与教育在每种应用中,视频信息(也许与音频信息一块儿)被通过电信通讯联接传输,包括网络,电话线路,ISDN和广播的形式。视频有宽频的特征(比如说每秒很多字节)这些,这些应用就需要对视频进行压缩或是进行编码来在传输之前降低带宽值。

    1.3 H.264

    1.3.1 介绍

    高度压缩数字视频编解码器标准

    1.3.2 原理

    H.264的基本编码框架类似于H.261的编码框架,其中预测、变换、量化、熵编码等模块没有发生根本变化,但在每一个功能模块中都引入了新的技术,实现更高的压缩性能。算法结构上采用分层处理以适应不同的传输环境,提高传输效率。
    包含3个档次:
    基本:面向复杂度低、传输延迟小的应用对象
    主要:面向运动特性复杂、快速、传输延迟大的应用对象
    扩展:面向应用要求更高的对象
    主要技术:
    (1) 多帧多模式运动预测
    可以从当前帧的前几帧中选择一帧作为参考帧对宏块运动预测。
    将图像分成1组1616的亮度宏块和两组88的色度宏块,对16x16宏块分解为4种子块,8*8宏块子分解为4种子块。
    在这里插入图片描述
    多种宏块尺可以更灵活得与图像中物体的运动特性相匹配。尺寸大适用于变化小或平滑区域,尺寸小适用于变化大或细节较多区域。
    (2) 整数变换
    可分离整数变换,一方面计算比较简单(加法和位移),另一方面,整数变换的反变换还是整数变换,避免舍入误差。
    (3) 熵编码
    支持两种,上下文适应变长编码(CAVLC),上下文适应二值算术编码(CABAC)。CABAC编码性能好,但计算复杂度高。
    (4) 自适应环内消块效应滤波器
    消除基于块的编码导致的块状失真

    1.3.3 特点

    1.更高的编码效率:同H.263等标准的特率效率相比,能够平均节省大于50%的码率。
    2.高质量的视频画面:H.264能够在低码率情况下提供高质量的视频图像,在较低带宽上提供高质量的图像传输是H.264的应用亮点。
    3.提高网络适应能力:H.264可以工作在实时通信应用(如视频会议)低延时模式下,也可以工作在没有延时的视频存储或视频流服务器中。
    4.H.264的编码选项较少:在H.263中编码时往往需要设置相当多选项,增加了编码的难度,而H.264做到了力求简洁的“回归基本”,降低了编码时复杂度。
    5.H.264可以应用在不同场合:H.264可以根据不同的环境使用不同的传输和播放速率,并且提供了丰富的错误处理工具,可以很好的控制或消除丢包和误码。
    6.错误恢复功能:H.264提供了解决网络传输包丢失的问题的工具,适用于在高误码率传输的无线网络中传输视频数据。
    7.较高的复杂度:H.264性能的改进是以增加复杂性为代价而获得的。据估计,H.264编码的计算复杂度大约相当于H.263的3倍,解码复杂度大约相当于H.263的2倍。

    1.3.4 应用

    H.264能工作在低延时模式以适应实时通信的应用(如视频会议),同时又能很好地工作在没有延时限制的应用,如视频存储和以服务器为基础的视频流式应用。H.264提供包传输网中处理包丢失所需的工具,以及在易误码的无线网中处理比特误码的工具。

    2. MPEG-1,MPEG-2,MPEG-4压缩标准原理,框图,特点,应用

    2.1 MPEG-1

    2.1.1介绍

    数字运动视频压缩格式(低端娱乐视频和多媒体)
    MPEG-1是MPEG组织制定的第一个视频和音频有损压缩标准。

    2.1.2 原理

    使用的有关压缩编码技术与H.261基本相同。
    逐行扫描图像,H.261中为隔行扫描。
    将序列图像分成3种类型编码,I,B,P,多帧联合编码,压缩率达50:1~200:1。
    非对称,进行压缩的计算复杂度(硬件)比解压大很多,适用于信号从一个源产生,但需要分配给许多接收者。

    2.1.3 特点

    随机访问,灵活的帧率、可变的图像尺寸、定义了I-帧、P-帧和B-帧 、运动补偿可跨越多个帧 、半像素精度的运动向量 、量化矩阵、GOF结构 、slice结构 、技术细节、输入视频格式。

    2.1.4 应用

    主要用于数字媒体上压缩视频数据的存储和提取,在CD-ROM光盘视频(VCD)中得到广泛使用

    2.2 MPEG-2

    2.2.1 介绍

    数字运动视频压缩格式(高端分辨率)
    它的正式名称为“基于数字存储媒体运动图像和语音的压缩标准”。与MPEG-1标准相比,MPEG-2标准具有更高的图像质量、更多的图像格式和传输码率的图像压缩标准。MPEG-2标准不是MPEG-1的简单升级,而是在传输和系统方面做了更加详细的规定和进一步的完善。它是针对标准数字电视和高清晰电视在各种应用下的压缩方案,传输速率在3 Mbit/s~10 Mbit/s之间。

    2.2.2 原理

    不同档次:
    在这里插入图片描述
    利用了图像中的两种特性:空间相关性和时间相关性。
    可以用于电视播放,支持隔行扫描
    使用的有关压缩编码技术与H.261基本相同。
    主要用于场景变化很快的情况,规定每过15帧图编一次帧

    2.2.3 特点

    支持图像分辨率高,可用相对较少的存储空间来存储视、音频信息,并能较好的恢复。支持包括高速运动在内的活动图像。

    2.2.4 应用

    MPEG-2标准特别适用于广播质量的数字电视的编码和传送,被用于无线数字电视、DVB(Digital Video Broadcasting,数字视频广播)、数字卫星电视、DVD(Digital Video Disk,数字化视频光盘)等技术中。

    2.3 MPEG-4

    2.3.1 介绍

    稳健的运动视频低码率压缩格式
    MPEG-4与MPEG-1和MPEG-2有很大的不同。MPEG-4不只是具体压缩算法,它是针对数字电视、交互式绘图应用(影音合成内容)、交互式多媒体(WWW、资料撷取与分散)等整合及压缩技术的需求而制定的国际标准。
    MPEG-4标准将众多多媒体应用集成于一个完整框架内,旨在为多媒体通信及应用环境提供标准算法及工具,从而建立起一种能被多媒体传输、存储、检索等应用领域普遍采用的统一数据格式。

    2.3.2 原理

    MPEG-4的编码理念是:MPEG-4标准同以前标准的最显著的差别在于它是采用基于对象的编码理念,即在编码时将一幅景物分成若干在时间和空间上相互联系的视频音频对象,分别编码后,再经过复用传输到接收端,然后再对不同的对象分别解码,从而组合成所需要的视频和音频。这样既方便我们对不同的对象采用不同的编码方法和表示方法,又有利于不同数据类型间的融合,并且这样也可以方便的实现对于各种对象的操作及编辑。
    MPEG-4包含了MPEG-1及MPEG-2的绝大部分功能及其他格式的长处,并加入及扩充对虚拟现实模型语言(VRML,Virtual Reality Modeling Language)的支持,面向对象的合成文件(包括音效,视频及VRML对象),以及数字版权管理(DRM)及其他交互功能。而MPEG-4比MPEG-2更先进的其中一个特点,就是不再使用宏区块做视频分析,而是以视频上个体为变化记录,因此尽管视频变化速度很快、码率不足时,也不会出现方块画面。

    2.3.3 特点

    1.提供了基于内容的多媒体数据访问工具,如索引、超级链接、上下载、删除等。
    2.更高的编码效率
    3.提供了易出错环境的鲁棒性,来保证其在许多无线和有线网络以及存储介质中的应用
    4.引入视觉对象目标(分层目标区域)的概念

    2.3.4应用

    因特网视音频广播,无线通信,静止图像压缩,电视电话,计算机图形动画与仿真,电子游戏

    3. H.264与MPEG-2两种压缩标准的区别与应用

    H.264的压缩率为MPEG-2的2倍以上(3M的MPEG-2质量相当于1.4M的H.264的图像质量)。
    H.264与MPEG-2的不同还存在于纠错编码块中,H.264的纠错编码为内容自适应可变长度码(CAVLC)和内容自适应二进制算法编码(CABAC),能提高纠错能力。而MPEG-2为霍夫曼编码。
    H.264还加入了MPEG-2没有的环路滤波器,有降低噪声的效果。H.264的整数变换以4×4像素块为单位,已比原来的8×8像素块的块噪声少,画质得到了进一步提高。

    H.264与MPEG-2的主要技术对比如下表所述:
    在这里插入图片描述
    带宽的占用
    MPEG-2协议
    1.8.192Mbit/s:分辨力为720×576,每秒25帧,图像清晰,色彩鲜明,画面逼真,层次感强,图像剧烈运动时马赛克效应不可察觉(在一般会议室环境照度下),为数字地面广播级图像。
    2.6.144Mbit/s:分辨力为720×576,每秒25帧,图像清晰,色彩较鲜明,画面逼真,层次感较强,图像剧烈运动时马赛克效应偶可察觉(在一般会议室环境照度下)。
    3.4.096Mbit/s:分辨力为720×576,每秒25帧,图像清晰度和色彩鲜明度较以上两种速率略有下降,画面较逼真,层次感一般,图像剧烈运动时马赛克效应刚可察觉(在一般会议室环境照度下)。
    4.在2M以下的带宽下基本不可用。
    上面的结论就是:如果要达到比较好的效果,MPEG-2产品需要至少到6M。

    H.264协议
    H.264在低带宽下有了长足的进步,可以达到的效果是:256k即可基本商用,1M带宽即可达到高端商用客户需求,2M带宽可以达到支持动态4CIF图像效果,和MPEG-2协议8M带宽效果相当。

    展开全文
  • JPEG是联合图像专家组(Joint Pieture Expert Group)的英文缩写,是国际标准化组织(5O和CC联合制定的静态图像压缩编码标准,EO的基于DCT变换有损压缩具有高压缩比特点,被广泛应用在数据量极大的多媒体以及带宽...
  • 数字图像处理:图像与编码

    千次阅读 2022-04-07 08:07:10
    数字图像(digital image),是以二维数字形式表示的图像,其数字单元为 像元 , 其形式由数组或矩阵表示,其光照位置和强度都是离散的。 数字图像是由模拟图像经过数字化得到的,并以像素为基本

    数字图像与编码

    1. 数字图像

    数字图像(digital image),是以二维数字组形式表示的图像,其数字单元为 像元 , 其形式由数组或矩阵表示,其光照位置和强度都是离散的。 数字图像是由模拟图像经过数字化得到的,并以像素为基本元素的,可以用数字电路存储和处理的图像。
    图像信息具有直观,形象,易懂和信息量大的特点,图像按其内容的运动状态可分为静止图像运动图像两大类(即:图片和视频)。

    1.1关于图像清晰度和分辨率的对照表:

    Resolution清晰度Pixels分辨率
    540p / qHD960×540 pixels
    720p / HD1280×720 pixels
    1080p / Full HD / FHD19201080 pixels
    2K2048×1080 pixels
    1440p / QHD / QuadHD / WQHD2560×1440 pixels
    2160p / UHD3840×2160 pixels
    4K4096×2160 pixels
    5K5120×2880 pixels
    8K / 8K UHD7680×4320 pixels

    图像和视频信号数字化具有许多模拟信号所不具备的优点。数字信号传输质量高于模拟信号传输质量,可经过多次积累而不引起噪声严重积累;易于采用信道编码技术提高传输的可靠性;便于利用时分复用技术与其它通信业务相结合;数字信号易于加密,提高信号的安全性;数字信号易于借助计算机技术进行处理,存储。图像的压缩与编码就是在保证图像质量的前提下,用最少量的数码实现数字图像的传输与存储。

    2. 图像数据压缩

    码流(Data Rate)
    指视频文件在单位时间内使用的数据流量,也叫码率或码流率。
    我们用的单位是Kb/s或者Mb/s。一般来说同样分辨率下,视频文件的码流越大,压缩比就越小,画面质量就越高。码流越大,说明单位时间内取样率越大,数据流,精度就越高,处理出来的文件就越接近原始文件,图像质量越好,画质越清晰,要求播放设备的解码能力也越高。

    帧率(frame rate)
    1秒钟时间里传输的图片的帧数,也可以理解为图形处理器每秒钟能够刷新几次,通常用fps(Frames Per Second)表示。高的帧率可以得到更流畅、更逼真的动画。每秒钟帧数 (fps) 愈多,所显示的动作就会愈流畅。

    2.1 带宽计算

    计算视频流的近似带宽是将捕获图像的分辨率乘以运动图像的帧数。还有其他因素,例如音频带宽和协议(通信和压缩)的开销。但是,这些不会显着增加带宽。因此,适用的公式是:

    帧大小Frame Size = 分辨率Resolution * 颜色深度Colour Depth(色度/亮度信息)
    比特率Bit Rate = 帧大小 Frame Size * 帧速率Frame Rate(fps)
    
    如果我们拍摄以D1(DVD)分辨率(即720 x 480)捕获图像并以30 fps(每秒帧数)传输的相机;相关数字加起来如下:
    
    视频传输带宽=屏幕像素点*3*屏幕色深*屏幕刷新率;
    //常数 3 是红绿蓝分量
    帧大小 = (720*480)*24(3*8) = 829440 位 = ~ 830 Kbps(千位/秒Kbits/sec)
    比特率 = 829440 *30 = 248832000 = ~ 250 Mbps(兆位/秒Mbits/sec)
    
    KBPSMBPS
    1 Kbps0.001000 Mbps
    2 Kbps0.002000 Mbps
    3 Kbps0.003000 Mbps
    4 Kbps0.004000 Mbps
    MBPSGBPS
    1 Mbps0.001000 Gbps
    2 Mbps0.002000 Gbps
    3 Mbps0.003000 Gbps
    4 Mbps0.004000 Gbps

    以4K(3840x2160)@30Hz信号为例,需传输带宽为5.97Gbps。
    视频传输带宽=屏幕像素点3屏幕色深屏幕刷新率;
    3840
    216038*30=5.97Gbps
    在这里插入图片描述

    图像信号可以压缩的根据有两方面,一方面是图像信号中存在大量冗余度压缩,这种冗余度在解码后可无失真恢复;另一方面是利用人的视觉特性,在不被主观视觉察觉的容限内,通过减少表示信号的精度,以失真换取数据压缩

    图像信号的冗余度存在于结构和统计两方面。图像信号结构上的冗余度变现为很强的空间(帧内)和时间(帧间)相关性。电视信号在相邻像素间,相邻行间,相邻帧间存在着这种强相关性。通过隐藏并采取适当的信号处理技术,解出图像和视频中由于高度相关性带来的冗余,让频带可以压缩。

    信号统计上的冗余度来源于被编码信号概率密度的分布不均匀。例如在预测编码系统中,需要编码传输的是预测误差信号,它是当前待传像素值与预测值间的差分信号。由于电视信号在相邻像素间的强相关性,预测误差很小,预测误差集中分布在0附近。这种即不均匀的概率分布对采用变字长编码压缩码率极为有利,因为在编码时可以对出现概率高的预测误差用短码,对出现概率低的预测误差用长码,则总的平均码长比用固定码长编码短很多。这种编码叫统计编码(熵编码)

    3. 图像压缩信源编码过程

    图像和视频信源编码的整个过程一般由以下三个步骤完成。

    对表示信号的形式进行某种映射,即变换描写信号的方式。通过这种映射解除或削弱存在于图像信号内部的相关性,降低其冗余度。例如,在预测编码中,取代原始的像素值,用预测误差表示信号。
    在满足对图像质量一定要求的前提下,减少表示信号的精度。这通过采用符合主观视觉特性的量化来实现。
    利用统计编码(例如霍夫曼编码,算术编码等)消除追踪被编码符号所含的统计冗余度。
    其中信号映射和统计编码这两个环节是可逆的过程,而量化是不可逆的,即量化必然产生失真。

    PCM是由模拟信号转变为数字信号所必需经过的取样,量化过程。PCM对模拟信号在时间,空间和幅值上的离散处理会不可避免地引入误差。为了保证图像和视频信号从模拟形式变成PCM信号不产生主观上可以察觉的误差,必需保证对信号有足够高的取样频率和量化精度。除过模拟到数字信号的PCM量化外,信源编码过程中的量化实际上是对信号的2次量化。

    数字信号在信道中传输时,由于干扰会产生传输误码,特别是当通过信源编码使冗余度压缩越多时,误码影响越严重。所以一般在经过信源编码之后,都要在编码后的码流中有目的地按一定规则加入差错校正码,进行误码防护,这就是信道编码。显然对整个通信系统而言,信道编码增加的冗余度比信源编码去除的冗余度要小的多,从而在通信的有效性和可靠性间实现合理的平衡。

    4. 图像编码算法分类

    图像编码技术有多种分类方法。根据编码对象的不同,可分为静止图像编码,活动图像编码,黑白图像编码,彩色图像编码等。根据压缩过程中有无信息损失可分为有损编码,无损编码。根据算法中是否采用自适应技术,可分为自适应编码和非自适应编码。最常见的是按算法原来进行分类。常见的图像编码算法主要有如下几类:

    4.1 预测编码

    预测编码使利用图像信号在局部空间和时间范围内的高度相关性,以已经传出的近邻像素为参考,预测当前像素值,然后量化,编码预测误差。最常用的是差分脉冲编码调制(DPCM)。

    与运动估值技术相结合的运动补偿帧间预测是目前视频压缩编码系统中去除信号时间域冗余信息最常用的方法。

    4.2 编换编码

    变换编码使将一组像素值经过某种形式的正交变换转换成一组变换系数,然后根据人的主观视觉特性对各变换系数进行不同精度的量化后编码的技术。正交变换的作用是解出像素间的空间相关性,降低冗余度。用于图像编码的正交变换如离散傅里叶变换(DFT),沃尔什-哈达吗变换(WHT),哈尔变换(Harr),离散余弦变换(DCT)等。这些变换一般都有快速算法。

    DCT已被目前的多种静止和活动图像编码的国际标准所采用。

    4.3 统计编码

    这是一类根据信息熵原理进行的信息保持型边字长编码,也称熵编码。编码时对出现概率高的时间用短码表示,对出现概率低的事件用长码表示。在目前图像编码国际标准中,常见的熵编码有霍夫曼(Huffman)编码和算术编码。

    4.4 子带编码

    子带编码属于分析-综合类的编码技术。子带编码的基本思想是,在编码端将图像信号在频率域分裂成若干子带(subband),而后对各个子带用与其统计特性相适合的编码器及比特分配方案进行数据压缩。

    除了通过专门设计的正交镜像滤波器实现的经典子带编码方法之外,小波变换是目前使用最多的子带编码方法。

    4.5 基于模型的编码

    模型基图像编码是一种基于景物三维模型的参数编码方法。相对于基于波形的编码方法而言,对参数编码所需的比特数要少得多。依据对图像内容先验知识的了解,在编解码双方建立一个相同景物的三维模型,基于这个模型,在编码器中对图像内容进行分析,提取景物参数,然后将这些参数编码传送给解码端,解码端根据接收到的参数和建立起的景物模型,采用图像合成技术再重建图像。

    模型编码也属于分析-综合编码技术。模型基图像编码目前主要用于以头肩像为对象的低码率可视电话编码。

    4.6 其它编码算法

    除过上述几大类编码算法外,还有很多其它压缩算法,例如比特平面编码,矢量量化编码,块截断编码,神经网络编码,轮廓编码等。

    5. 图像编码的标准

    ITU(国际电信联盟)和ISO/IEC(国际标准化组织)等几大标准化组织自20世纪80年代后期以来在全世界范围内积极推动,联合各国在相关领域的专家进行共同研究,先后制定了一系列静止和活动图像编码的国际标准,并致力于面向未来的多媒体编码标准的研究。

    关于静止图像压缩编码,1991年通过了JPEG标准。2000年,JPEG委员会公布的国际标准JPEG 2000以小波变换作为基本算法,采用了嵌入式编码技术,在达到更高的图像质量和更高的压缩效率的同时,还能满足在移动和网络环境下对互操作性和可分级性的要求。

    1990年颁布了用于视听业务的视频编码标准即H.261。随后ITU-T针对不同的电信通信网络中对实时视频通信系统的需要,先后完成了H.26X系列中多个视频编码标准,其中包括H.261,H.262,H.263,H.264,H.265。

    在H.261制定的同时,ISO/IES联合技术委员会下属的分委员会于1988年成立了运动图像专家组MPEG。该委员会先后通过了MPEG系列的多个音视频压缩编码标准,包括MPEG-1,MPEG-2,MPEG4等。

    ITU-T和ISO/IES这两个标准化组织除了独立制定相关标准外,还进行合作。于2001年成立了视频联合工作组JVT。2003年该工作组正式公布了H.264/MPEG-4 AVC。H.264/MPEG-4 AVC的压缩性能明显超出了以前的视频压缩标准。

    HEVC是High Efficiency Video Coding的缩写,是一种新的视频压缩标准,用来以替代H.264/AVC编码标准,2013年1月26号,HEVC正式成为国际标准。

    展开全文
  • 图像分类简单介绍-转

    千次阅读 2019-12-21 12:07:43
    文章发布于公号【数智物语】 (ID:decision_engine),关注公号不错过每一篇干货。...图像分类是计算机视觉中最基础的任务,基本上深度学习模型的发展史就是图像分类任务提升的发展历史,不过图...
  • JPG是Joint Photographic Experts Group(联合图像专家组)的缩写,文件后辍名为".jpg"或".jpeg",是最常用的图像文件格式,由一个软件开发联合会组织制定,是一种有损压缩格式,能够将图像压缩在很小的储存空间 ...
  • 医学图像处理填空

    千次阅读 2021-06-18 13:29:01
    1.现代医学影像技术的发展源于德国科学家伦琴于1895年发现的[X线]并由此产生的成像技术。 2.传统的X线成像得到的是组织或器官的[投影]像。...7.CT成像是通过检测人体对[X线]吸收量而获得的图像。 8.CT得到人
  • 数字图像处理基础

    2019-05-28 21:58:23
    数字图像处理基础知识 ...本章主要介绍数字图像处理的基础内容,包括什么是数字图像基础、图像的表示方法、图像的数据结构以及计算机中图像文件格式。 一 数字图像处理简介 数字图像处理(Digital Image Processing...
  • BMP是英文Bitmap(位图)的简写,它是Windows操作系统中的标准图像文件格式,能够被多种Windows应用程序所支持。随着Windows操作系统的流行与丰富的Windows应用程序的开发,BMP位图格式理所当然地被广泛应用。 这种...
  • 】 ARM–Acorn RISC Machine【ARM缩写的最初含义是Acorn RISC Machine,代表英国Acron计算机公司的RISC芯片项目。该项目于1983年开始,于1985年4月在VLSI(总部在硅谷的半导体公司)流片并通过测试,于1986年开始...
  • 首先说明 jpeg图片:JPEG是joint Photographic Experts Group(联合图像专家组)的缩写,文件后辍名为".jpg"或".jpeg",是最常用的图像文件格式,由一个软件开发联合会组织制定,是一种有损压缩格式,能够将图像压缩...
  • 1972年10月,国际信息处理联合会(IFIP)在荷兰召开的“关于CAD原理的工作会议”上给出如下定义:CAD是一种技术,其中人与计算机结合为一个问题求解,紧密配合,发挥各自所长,从而使其工作优于每一方,并为应用多...
  • 图像常用的格式总结及比较

    千次阅读 2019-08-02 13:56:30
    PNG(Portable Network Graphics)的原名称为”可移植性网络图像”,是网上接受的最新图像文件格式。PNG能够提供长度比GIF小30%的无损压缩图像文件。它同时提供 24位和48位真彩色图像支持以及其他诸多技术性...
  • 当今我们正处于数字图像处理新纪元的开始,图像文件不再是像二十年前一样,根据传统显示器技术的要求,仅仅编码有限的子空间,而是将包含原始场景的色域和动态范围的编码内容。为了达成该目标,针对高动态范围图像...
  • 数字图像与编码

    千次阅读 2019-04-20 17:36:48
    数字图像与编码 1. 数字图像 人类通过感觉器官从外部世界获取各种形式的信息,并传递给大脑,进行思维,做出反应。其中通过视觉获取的信息占大部分。图像信息具有直观,形象,易懂和信息量大的特点,是人类最丰厚...
  • 数字图像处理——第八章 图像压缩

    千次阅读 2021-05-15 13:25:38
    文章目录8.1 为何要压缩8.1.1 图像信息的度量8.1.2 编码冗余8.1.3 空间和时间(像素)冗余8.1.4 压缩评价方法8.2 基本的压缩方法8.2.1 霍夫曼编码8.2.2 行程编码8.2.3 JPEG编码8.3 数字图像水印8.4 总结 8.1 为何要...
  • 数字图像处理第八章——图像压缩

    万次阅读 2019-05-09 03:33:04
    数字图像处理第八章数字图像处理---图像压缩(一) 背景(二) 编码冗余2.1 霍夫曼码2.2 霍夫曼编码2.3 霍夫曼译码(三)空间冗余(四)不相关的信息(五)JPEG 压缩5.1 JPEG5.2 JPEG 2000(六)视频压缩6.1 MATLAB...
  • 将调研到的图像与视频编解码处理的发展历程与国际研究现状整理如下 作为通信、介质存贮、数据发行、多媒体计算机等技术的关键环节,图像压缩编码算法的研究是信息技术中最活跃的研究领域之一。尤其是进入21世纪...
  • 《用matlab仿真huffman编码在jpg图像压缩中的应用崔微微》由会员分享...1、用matlab仿真huffman编码在jpg图像压缩中的应用1.jpg图像的定义:JPEG是Joint Photographic Experts Group(联合图像专家组)的缩写,文件后...
  • 计算机缩写术语完全介绍

    万次阅读 2018-11-06 10:51:38
    计算机缩写术语完全介绍 在使用计算机的过程中,你可能会碰到各种各样的专业术语, 特别是那些英文缩写常让我们不知所云,下面收集了各方面的词组, 希望对大家有帮助。 一、港台术语与内地术语之对照 由于港台的...
  • 图像视频基础知识

    千次阅读 2019-01-02 10:14:52
    目录 一 光和颜色 1 光和颜色 2 颜色的度量 3 色温 4 白平衡 5 颜色空间 7 ARGB和RGB的区别 6 颜色空间的转换 二 图像 1 像素点 2 图像分类 3 深度 4 通道 5 分辨率 6 行宽(linesize)、步长(stride)、间距(pitch) 三...
  • 计算机网络基础常见名词缩写汇总

    千次阅读 2020-09-17 15:18:30
    MPEG (Motion Picture Experts Group)活动图像专家组 MPLS (MultiProtocol Label Switching)多协议标记交换 MRU (Maximum Receive Unit)最大接收单元 MSC (Mobile Switching Center)移动交换中心 MSRN (Mobile ...
  • java 图像处理

    2021-02-27 07:41:47
    //联合照片专家组 38 public static String IMAGE_TYPE_JPEG = "jpeg";//联合照片专家组 39 public static String IMAGE_TYPE_BMP = "bmp";//英文Bitmap(位图)的简写,它是Windows操作系统中的标准图像文件格式 40...
  • 医学图像处理期末复习

    千次阅读 2021-03-17 13:56:27
    联合图像专家组的英文缩写是【JPEG】。 2.单色位图只有黑白两种颜色,一个像素仅占【1】bit。 3.矢量图是用一系列【绘图指令】来表示一幅图。 4.静态图像可分为【矢量】图和位图。 5.BMP也称【位图】格式。 6.真彩色...
  • Java图像处理工具类

    2021-02-12 10:17:33
    本工具类的功能:缩放图像、切割图像图像类型转换、彩色转黑白、文字水印、图片水印等package net.kitbox.util;import java.awt.AlphaComposite;import java.awt.Color;import java.awt.Font;import java.awt....
  • 图像标签】

    千次阅读 2019-05-24 08:51:19
    1. 图像标签 1.1 图像标签 有哪些 ? 1.2 html5 中的 新图像标签 有哪些 ? 1.3 ★ img: 在网页中 嵌入一个图片 (src,alt 必需) 1.3.1 img 图片 标签的 属性 ⑴ alt 属性: 图片 替代文本 ❤ 图像替代文本 alt 属性 ...
  • 基于MATLAB的数字图像处理

    千次阅读 2021-08-31 11:58:07
    摘 要 图像信息是人类获取信息的重要来源及利用信息的重要手段,图像处理科学技术是科学研究、社会生产及人类生活中不可缺少的强有力工具。在信息社会中,数字图像处理科学在理论或实践上都存在着巨大的潜力。 数字...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 4,808
精华内容 1,923
关键字:

动态图像专家组的缩写