精华内容
下载资源
问答
  • 视频播放器播放一个互联网上的视频文件,需要经过以下几个步骤:解协议,解封装,解码视音频,视音频同步。如果播放本地文件则不需要解协议,为以下几个步骤:解封装,解码视音频,视音频同步。他们的过程如图所示。...

    1.     视频播放器原理

    视音频技术主要包含以下几点:流媒体协议技术,封装技术,视频压缩编码技术以及音频压缩编码技术。

    视频播放器播放一个互联网上的视频文件,需要经过以下几个步骤:解协议,解封装,解码视音频,视音频同步。如果播放本地文件则不需要解协议,为以下几个步骤:解封装,解码视音频,视音频同步。他们的过程如图所示。

     

    解协议的作用,就是将流媒体协议的数据,解析为标准的相应的封装格式数据。视音频在网络上传播的时候,常常采用各种流媒体协议,例如HTTP,RTMP,或是MMS等等。这些协议在传输视音频数据的同时,也会传输一些信令数据。这些信令数据包括对播放的控制(播放,暂停,停止),或者对网络状态的描述等。解协议的过程中会去除掉信令数据而只保留视音频数据。例如,采用RTMP协议传输的数据,经过解协议操作后,输出FLV格式的数据。

    解封装的作用,就是将输入的封装格式的数据,分离成为音频流压缩编码数据和视频流压缩编码数据。封装格式种类很多,例如MP4,MKV,RMVB,TS,FLV,AVI等等,它的作用就是将已经压缩编码的视频数据和音频数据按照一定的格式放到一起。例如,FLV格式的数据,经过解封装操作后,输出H.264编码的视频码流和AAC编码的音频码流。

    解码的作用,就是将视频/音频压缩编码数据,解码成为非压缩的视频/音频原始数据。音频的压缩编码标准包含AAC,MP3,AC-3等等,视频的压缩编码标准则包含H.264,MPEG2,VC-1等等。解码是整个系统中最重要也是最复杂的一个环节。通过解码,压缩编码的视频数据输出成为非压缩的颜色数据,例如YUV420P,RGB等等;压缩编码的音频数据输出成为非压缩的音频抽样数据,例如PCM数据。

    视音频同步的作用,就是根据解封装模块处理过程中获取到的参数信息,同步解码出来的视频和音频数据,并将视频音频数据送至系统的显卡和声卡播放出来。

    2.     流媒体协议

    流媒体协议是服务器与客户端之间通信遵循的规定。当前网络上主要的流媒体协议如表所示。

    主要流媒体协议一览

    名称

    推出机构

    传输层协议

    客户端

    目前使用领域

    RTSP+RTP

    IETF

    TCP+UDP

    VLC, WMP

    IPTV

    RTMP

    Adobe Inc.

    TCP

    Flash

    互联网直播

    RTMFP

    Adobe Inc.

    UDP

    Flash

    互联网直播

    MMS

    Microsoft Inc.

    TCP/UDP

    WMP

    互联网直播+点播

    HTTP

    WWW+IETF

    TCP

    Flash

    互联网点播

    3.     封装格式

    封装格式的主要作用是把视频码流和音频码流按照一定的格式存储在一个文件中。现如今流行的封装格式如下表所示:

    主要封装格式一览

    名称

    推出机构

    流媒体

    支持的视频编码

    支持的音频编码

    目前使用领域

    AVI

    Microsoft Inc.

    不支持

    几乎所有格式

    几乎所有格式

    BT下载影视

    MP4

    MPEG

    支持

    MPEG-2, MPEG-4, H.264, H.263等

    AAC, MPEG-1 Layers I, II, III, AC-3等

    互联网视频网站

    TS

    MPEG

    支持

    MPEG-1, MPEG-2, MPEG-4, H.264

    MPEG-1 Layers I, II, III, AAC,

    IPTV,数字电视

    FLV

    Adobe Inc.

    支持

    Sorenson, VP6, H.264

    MP3, ADPCM, Linear PCM, AAC等

    互联网视频网站

    MKV

    CoreCodec Inc.

    支持

    几乎所有格式

    几乎所有格式

    互联网视频网站

    RMVB

    Real Networks Inc.

    支持

    RealVideo 8, 9, 10

    AAC, Cook Codec, RealAudio Lossless

    BT下载影视

    4.     视频编码

    视频编码的主要作用是将视频像素数据(RGB,YUV等)压缩成为视频码流,从而降低视频的数据量。如果视频不经过压缩编码的话,体积通常是非常大的,一部电影可能就要上百G的空间。视频编码是视音频技术中最重要的技术之一。视频码流的数据量占了视音频总数据量的绝大部分。高效率的视频编码在同等的码率下,可以获得更高的视频质量。

    视频编码的简单原理可以参考:视频压缩编码和音频压缩编码的基本原理

    主要视频编码一览

    名称

    推出机构

    推出时间

    目前使用领域

    HEVC(H.265)

    MPEG/ITU-T

    2013

    研发中

    H.264

    MPEG/ITU-T

    2003

    各个领域

    MPEG4

    MPEG

    2001

    不温不火

    MPEG2

    MPEG

    1994

    数字电视

    VP9

    Google

    2013

    研发中

    VP8

    Google

    2008

    不普及

    VC-1

    Microsoft Inc.

    2006

    微软平台

    由表可见,有两种视频编码方案是最新推出的:VP9和HEVC。目前这两种方案都处于研发阶段,还没有到达实用的程度。当前使用最多的视频编码方案就是H.264。

    5.     音频编码

    音频编码的主要作用是将音频采样数据(PCM等)压缩成为音频码流,从而降低音频的数据量。音频编码也是互联网视音频技术中一个重要的技术。但是一般情况下音频的数据量要远小于视频的数据量,因而即使使用稍微落后的音频编码标准,而导致音频数据量有所增加,也不会对视音频的总数据量产生太大的影响。高效率的音频编码在同等的码率下,可以获得更高的音质。

    音频编码的简单原理可以参考:视频压缩编码和音频压缩编码的基本原理

    主要音频编码一览

    名称

    推出机构

    推出时间

    目前使用领域

    AAC

    MPEG

    1997

    各个领域(新)

    AC-3

    Dolby Inc.

    1992

    电影

    MP3

    MPEG

    1993

    各个领域(旧)

    WMA

    Microsoft Inc.

    1999

    微软平台

    由表可见,近年来并未推出全新的音频编码方案,可见音频编码技术已经基本可以满足人们的需要。音频编码技术近期绝大部分的改动都是在MP3的继任者——AAC的基础上完成的。

     

    转载出处:https://blog.csdn.net/leixiaohua1020/article/details/18893769

     

    展开全文
  • 实时传输协议

    2016-10-22 13:58:14
    实时传输协议RTP的定义为通过互联网提供音频和视频数据包格式标准化,它是由音视频传输工作组IETF创建。 RTP广泛应用于通讯和娱乐系统,包括流媒体(如电话,视频电话)应用和基于网络的按键通话功能。基于上述原因...
        

    实时传输协议RTP的定义为通过互联网提供音频和视频数据包格式标准化,它是由音视频传输工作组IETF创建。

    RTP广泛应用于通讯和娱乐系统,包括流媒体(如电话,视频电话)应用和基于网络的按键通话功能。基于上述原因,使其成为了语音IP行业的技术基础之一。

    RTP协议通常与实时传输控制协议RTCP结合使用,同时进行的RTP媒体流(如音频和视频),或出带信号在不同的事件类型有效载荷频(DTMF),RTCP协议是用来监测数据的传输和服务质量(QoS)的信息。

    rfc4103: rtp负载中文本传输文档
    rfc3984: rtp负载中h.264格式视频传输文档
    rfc3640: rtp负载中mpeg-4格式视频传输文档
    rfc3640: rtp负载中mpeg-4格式基本数据流传输文档
    rfc3016: rtp负载中mpeg-4音/视频传输文档
    rfc2250: rtp负载中mpeg-1/2音/视频传输文档

    展开全文
  • 网络视频传输协议

    千次阅读 2018-01-04 08:58:11
    网络视频传输协议--RTP/RTCP/RTSP/SIP/SDP 之间关系 1、 RTP Real-time Transport Protocol,是用于Internet上针对多媒体数据流的一种传输层协议。RTP协议详细说明了在互联网上传递音频和视频的标准数据包格式。...

    网络视频传输协议--RTP/RTCP/RTSP/SIP/SDP 之间关系

    1、 RTP

    Real-time Transport Protocol,是用于Internet上针对多媒体数据流的一种传输层协议。RTP协议详细说明了在互联网上传递音频和视频的标准数据包格式。RTP协议常用于流媒体系统(配合RTCP协议),视频会议和一键通(Push to Talk)系统(配合H.323或SIP),使它成为IP电话产业的技术基础。RTP协议和RTP控制协议RTCP一起使用,而且它是建立在UDP协议上的。

    RTP 本身并没有提供按时发送机制或其它服务质量(QoS)保证,它依赖于网络应用程序去实现这一过程。 RTP 并不保证传送或防止无序传送,也不确定底层网络的可靠性。 RTP 实行有序传送, RTP 中的序列号允许接收方重组发送方的包序列,同时序列号也能用于决定适当的包位置,例如:在视频解码中,就不需要顺序解码。

    2、 RTCP

    实时传输控制协议(Real-time Transport Control Protocol或RTP Control Protocol或简写RTCP)是实时传输协议(RTP)的一个姐妹协议。RTCP为RTP媒体流提供信道外(out-of-band)控制。RTCP本身并不传输数据,但和RTP一起协作将多媒体数据打包和发送。RTCP定期在流多媒体会话参加者之间传输控制数据。RTCP的主要功能是为RTP所提供的服务质量(Quality of Service)提供反馈。

    RTCP收集相关媒体连接的统计信息,例如:传输字节数,传输分组数,丢失分组数,jitter,单向和双向网络延迟等等。网络应用程序可以利用RTCP所提供的信息试图提高服务质量,比如限制信息流量或改用压缩比较小的编解码器。RTCP本身不提供数据加密或身份认证。SRTCP可以用于此类用途。

    3、 SRTP & SRTCP

    安全实时传输协议(Secure Real-time Transport Protocol或SRTP)是在实时传输协议(Real-time Transport Protocol或RTP)基础上所定义的一个协议,旨在为单播和多播应用程序中的实时传输协议的数据提供加密、消息认证、完整性保证和重放保护。它是由David Oran(思科)和Rolf Blom(爱立信)开发的,并最早由IETF于2004年3月作为RFC 3711发布。

    由于实时传输协议和可以被用来控制实时传输协议的实时传输控制协议(RTP Control Protocol或RTCP)有着紧密的联系,安全实时传输协议同样也有一个伴生协议,它被称为安全实时传输控制协议(Secure RTCP或SRTCP)。安全实时传输控制协议为实时传输控制协议提供类似的与安全有关的特性,就像安全实时传输协议为实时传输协议提供的那些一样。

    在使用实时传输协议或实时传输控制协议时,使不使用安全实时传输协议或安全实时传输控制协议是可选的;但即使使用了安全实时传输协议或安全实时传输控制协议,所有它们提供的特性(如加密和认证)也都是可选的,这些特性可以被独立地使用或禁用。唯一的例外是在使用安全实时传输控制协议时,必须要用到其消息认证特性。

    4、 RTSP

    RTSP(Real Time Streaming Protocol)是用来控制声音或影像的多媒体串流协议,并允许同时多个串流需求控制。传输时所用的网络通讯协定并不在其定义的范围内,服务器端可以自行选择使用TCP或UDP来传送串流内容。它的语法和运作跟HTTP 1.1类似,但并不特别强调时间同步,所以比较能容忍网络延迟。

    5、 RTSP 和RTP的关系

    6、 SIP

    SIP会话使用多达四个主要组件:SIP用户代理、SIP注册服务器、SIP代理服务器和SIP重定向服务器。这些系统通过传输包括了SDP 协议(用于定义消息的内容和特点)的消息来完成SIP会话。下面概括性地介绍各个 SIP 组件及其在此过程中的作用。

    *SIP 用户代理 (UA) 是终端用户设备,如用于创建和管理 SIP 会话的移动电话、多媒体手持设备、PC、PDA 等。用户代理客户机发出消息。用户代理服务器对消息进行响应。

    *SIP 注册服务器是包含域中所有用户代理的位置的数据库。在 SIP 通信中,这些服务器会检索参与方的 IP 地址和其他相关信息,并将其发送到 SIP 代理服务器。

    *SIP 代理服务器接受 SIP UA 的会话请求并查询 SIP 注册服务器,获取收件方 UA 的地址信息。然后,它将会话邀请信息直接转发给收件方 UA(如果它位于同一域中)或代理服务器(如果 UA 位于另一域中)。

    *SIP 重定向服务器允许 SIP 代理服务器将 SIP 会话邀请信息定向到外部域。SIP 重定向服务器可以与 SIP 注册服务器和 SIP 代理服务器同在一个硬件上。

    下面是一个典型的SIP会话:

    以下几个情景说明 SIP 组件之间如何进行协调以在同一域和不同域中的 UA 之间建立 SIP 会话。

    (1)在同一域中建立 SIP 会话

    下图说明了在预订同一个 ISP 从而使用同一域的两个用户之间建立 SIP 会话的过程。用户 A 使用 SIP 电话。用户 B 有一台 PC,运行支持语音和视频的软客户程序。加电后,两个用户都在 ISP 网络中的 SIP 代理服务器上注册了他们的空闲情况和 IP 地址。用户 A 发起此呼叫,告诉 SIP 代理服务器要联系用户 B。然后,SIP 代理服务器向 SIP 注册服务器发出请求,要求提供用户 B 的 IP 地址,并收到用户 B 的 IP 地址。SIP 代理服务器转发用户 A 与用户 B 进行通信的邀请信息(使用 SDP),包括用户 A 要使用的媒体。用户 B 通知 SIP 代理服务器可以接受用户 A 的邀请,且已做好接收消息的准备。SIP 代理服务器将此消息传达给用户 A,从而建立 SIP 会话。然后,用户创建一个点到点 RTP 连接,实现用户间的交互通信。

    (2)在不同的域中建立 SIP 会话

    本情景与第一种情景的不同之处如下。用户 A 邀请正在使用多媒体手持设备的用户 B 进行 SIP 会话时,域 A 中的 SIP 代理服务器辨别出用户 B 不在同一域中。然后,SIP 代理服务器在 SIP 重定向服务器上查询用户 B 的 IP 地址。SIP 重定向服务器既可在域 A 中,也可在域 B 中,也可既在域 A 中又在域 B 中。SIP 重定向服务器将用户 B 的联系信息反馈给 SIP 代理服务器,该服务器再将 SIP 会话邀请信息转发给域 B 中的 SIP 代理服务器。域 B 中的 SIP 代理服务器将用户 A 的邀请信息发送给用户 B。用户 B 再沿邀请信息经由的同一路径转发接受邀请的信息。

    7、 SDP

    SDP用于描述多媒体通信会话,包括会话建立、会话请求和参数协商。SDP不用于传输媒体数据,只能用于两个通信终端的参数协商,包括媒体类型、格式以及所有其他和会话相关的属性。SDP以字符串的形式描述上述初始化参数。

    8、 总结

    就如同它们的名字所表示的那样,SIP用于初始化一个Session,并负责传输SDP包;而SDP包中描述了一个Session中包含哪些媒体数据,邀请的人等等;当需要被邀请的人都通过各自的终端设备被通知到后,就可以使用RTSP来控制特定Media的通信,比如RTSP控制信息要求开始Video的播放,那么就开始使用RTP(或者TCP)实时传输数据,在传输过程中,RTCP要负责QoS等。


    展开全文
  • RTP 实时传输协议

    2009-12-02 15:04:00
    实时传送协议(Real-time Transport Protocol或简写RTP,也可以写成RTTP)是一个网络传输协议,它是由IETF的多媒体传输工作小组1996年在RFC 1889中公布的。 RTP协议详细说明了在互联网上传递音频和视频的标准数据包...

    实时传送协议(Real-time Transport Protocol或简写RTP,也可以写成RTTP)是一个网络传输协议,它是由IETF的多媒体传输工作小组1996年在RFC 1889中公布的。

      RTP协议详细说明了在互联网上传递音频和视频的标准数据包格式。它一开始被设计为一个多播协议,但后来被用在很多单播应用中。RTP协议常用于流媒体系统(配合RTCP协议),视频会议和一键通(Push to Talk)系统(配合H.323或SIP),使它成为IP电话产业的技术基础。RTP协议和RTP控制协议RTCP一起使用,而且它是建立在用户数据报协议上的。

      它作为因特网标准在RFC 3550(该文档的旧版本是RFC 1889)有详细说明。RFC 3551(STD 65,旧版本是RFC 1890)详细描述了使用最小控制的音频和视频会议。

      RTP 本身并没有提供按时发送机制或其它服务质量(QoS)保证,它依赖于低层服务去实现这一过程。 RTP 并不保证传送或防止无序传送,也不确定底层网络的可靠性。 RTP 实行有序传送, RTP 中的序列号允许接收方重组发送方的包序列,同时序列号也能用于决定适当的包位置,例如:在视频解码中,就不需要顺序解码。

      RTP 由两个紧密链接部分组成:

      RTP ― 传送具有实时属性的数据;

      RTP 控制协议(RTCP) ― 监控服务质量并传送正在进行的会话参与者的相关信息。RTCP 第二方面的功能对于“松散受控”会话是足够的,也就是说,在没有明确的成员控制和组织的情况下,它并不非得用来支持一个应用程序的所有控制通信请求。
    封包结构

    + 位元0-1234-789-1516-31
    0 Ver. P X CC M PT 序号
    32 Timestamp
    64 SSRC identifier
    96 ... CSRC identifiers ...
    96+(CC×32) Additional header (optional), indicates length "AHL"
    96+(CC×32)
    + (X×(AHL+16))
     
    Data
     

    Ver.(2 bits)是目前协定的版本号码,目前版号是 2。

    P(1 bit)是用于RTP 封包(packet)结束点的预留空间,视封包是否需要多余的填塞空间。

    X(1 bit)是否在使用延伸空间于封包之中。.

    CC(4 bits)包含了 CSRC 数目用于修正标头(fixed header).

    M (1 bit) 是用于应用等级以及其原型(profile)的定义。如果不为零表示目前的资料有特别的程式解译。

    PT(7 bits)是指payload的格式并决定将如何去由应用程式加以解译。

    SSRC 是同步化来源。

    展开全文
  • RTP—实时传输协议...RTP协议详细说明了在互联网上传递音频和视频的标准数据包格式。它一开始被设计为一个多播协议,但后来被用在很多单播应用中。RTP协议常用于流媒体系统(配合RTSP协议),视频会议和一键通(...
  • 实时传输协议(Real-time Transport Protocol或简写RTP)是一个网络传输协议。它详细说明了在互联网上传递音频和视频的标准数据包格式。RTP协议常用于流媒体系统(配合RTSP协议),视频会议和一键通(Push to Talk)...
  • 实时消息传输协议(RTMP)最初是由 Macromedia 为互联网上 Flash player 和服务器之间传输音频、视频以及数据流而开发的一个私有协议。Adobe 收购 Macromedia 购以后,公布了这个协议的一部分,以备公共使用。本文是...
  • 超文本:互联网初期只能传递文字文本信息,后来加了图片、视频、音频等信息,再后来,里面加了超链接,可以通过超链接跳转,到这里,就已经不是简单地纯文本信息了,语义扩大之后就被称为“超文本”‘。 传输:我...
  • 现在互联网上的流数据占据带宽的大部分,音频、短视频、长视频占据了互联网应用的主流。数据流通过传输技术被运来运去,那么流数据遵循哪些传输规则和协议呢,各个协议有什么优缺点呢? RFC 概要 RFC英文全称为...
  • RTP(Real-time Transport Protocol,实时传输协议)是一个网络传输协议,它是由IETF的多媒体传输工作小组1996年在RFC 1889中公布的,后在RFC3550中进行更新。 RTP协议详细说明了在互联网上传递音频和视频的标准...
  • RTP/RTCP/RTSP/SIP/SDP关系...RTP协议详细说明了在互联网上传递音频和视频的标准数据包格式。RTP协议常用于流媒体系统(配合RTCP协议),视频会议和一键通(PushtoTalk)系统(配合H.323或SIP),使它成为IP电话产业...
  • 网络视频传输协议--RTP/RTCP/RTSP/SIP/SDP 之间关系   RTP/RTCP/RTSP/SIP/SDP 关系 1、 RTP Real-time Transport Protocol,是用于Internet上针对多媒体数据流的一种传输层协议。RTP协议详细说明了在互联网...
  • 互联网上的音频视频服务 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ 开发工具与关键技术:计算机网络 作者:李继金 撰写时间:2020年5月25日 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ 计算机...
  • 引言 闭路电视系统(CCTV)中的IP摄像机按照互联网协议(IP)通过以太网链路传输音频、视频数据以及控制信 ...
  • 闭路电视系统(CCTV)中的IP摄像机按照互联网协议(IP)通过以太网链路传输音频、视频数据以及控制信号。
  • 其中实时流传输协议 RTP 详细说明了在互联网上传递音频和视频的标准数据包格式,它与传输控制协议 RTCP 配合使用,成为流媒体技术最普遍采用的协议之一。  H.264/AVC 是ITU-T 视频编码专家组(VCEG)和ISO/IEC ...
  •  闭路电视系统(CCTV)中的IP摄像机按照互联网协议(IP)通过以太网链路传输音频、视频数据以及控制信号。与传统的模拟安全监控摄像机相比,它们具有众多优势。模拟摄像机一般通过同轴电缆传输模拟NTSC/PAL信号。与模拟...
  • 什么是互联网语音协议(VoIP)? Internet语音协议(VoIP)是一种通信技术,允许用户通过Internet连接而不是模拟连接通过音频进行交互。Internet语音协议将传统电话技术中使用的语音信号转换为通过Internet而不是...
  • 第八章、互联网上的音频/视频服务 本章的习题 视频数据在因特网上传送所用的协议有哪些影响?既然现有的电信网能够传送音频/视频数据,并且能够保证质量,为什么还要用因特网来传送音频/视频数据呢?  区别: 第...
  • TS流应用比较广泛,如视音频资料的保存、电视节目的非线性编辑系统及其网络等。一般TS流的网络应用是将其封装在各种协议中进行网络传输。如RTSP, HTTP, UDP等。而我们常见的RTMP是封装的FLV视频在互联网中进行传输
  •  闭路电视系统(CCTV)中的IP摄像机按照互联网协议(IP)通过以太网链路传输音频、视频数据以及控制信号。与传统的模拟安全监控摄像机相比,它们具有众多优势。模拟摄像机一般通过同轴电缆传输模拟NTSC/PAL信号。与模拟...
  • RTP 协议

    千次阅读 2013-08-16 10:53:07
    实时传送协议(Real-time Transport Protocol或简写RTP,也可以写成RTTP)是一个网络传输协议,它是由IETF的多媒体传输工作小组1996年在RFC 1889中公布的。 RTP协议详细说明了在互联网上传递音频和视频的标准数据包...
  • 因特网使用的TCP协议可以很好地解决网络不能提供可靠交付这一问题 多媒体信息的特点 多媒体信息(包括声音和图像信息)与不包括声音和图像的数据信息有很大的区别 多媒体信息的信息量往往很大 在传输多媒体数据时...
  • http协议

    2021-02-01 14:03:49
    HTTP是一种超文本传输协议,HTTP 是一个在计算机世界里专门在两点之间传输文字、图片、音频、视频等超文本数据的约定和规范。 HTTP主要内容分为三部分,超文本,传输,协议。 · 超文本就是不单单只是本文,它还可以...
  • HTTP协议

    2019-07-31 15:35:14
    1、超文本传输协议(HTTP,HyperText Transfer Protocol)是互联网上应用最为广泛的一种网络协议。(音频、视频和图片都可以通过HTTP协议来传输) 2、HTTP是一个客户端和服务器端请求和应答的标准,客户端是终端...

空空如也

空空如也

1 2 3 4 5 ... 15
收藏数 290
精华内容 116
关键字:

互联网音频传输协议