2015-03-10 22:58:48 shichaog 阅读数 2995

网络摄像机 IPC

现今的手机、运动摄像机以及安防监控领域的摄像机,它们通过光学传感器获取外部图像,经过处理后将视频信号存储或者传输到远端。本文主要针对网络摄像机。

硬件层

       硬件层随着应用场景的的不同硬件方案上差别很大,手机的芯片解决方案主要偏向于射频和基带信号处理,网上有很多联发科手机芯片解决方案,而安防领域则偏重于图像质量,更偏重于高清、远距离监控等;
     安防监控和手机的外设差异非常大,安防领域设备的机型包括,卡片机、半球机、球机、筒机。具体外设随着机型的不同,差异比较明显,360度转动的滑环在球机类设备使用而卡片机上没有。
     在图像传感器这款使用的型号还是比较多的,130万、200万、300万、500万、600万像素的设备挺多的,目前传感器这块主要来自美国和日本。常用的图像传感器分为CMOS(complementary Metal-Oxide Semiconductor)和CCD(charge-coupled device)类型,随着技术的进步两者差异在逐步减小,CMOS以成本优势依然占据市场大头,目前图像传感器厂商主要有松下、索尼、夏普、豪威、三星、aptina。
  安防芯片这块主要有Ti、海思和安霸,Ti达芬奇系列DSP芯片,如C6678等,信号处理较为出色,常被采用到一些高端通信、信号处理场合,其达芬奇系列的DM385和DM8127以出色的性能占据了监控市场的高端需求,Ti的DSP开发灵活性大。安霸的A5s、S2l以其出色的图像质量和价格在中低端市场占有一席之地,其SDK是这三家中最好的一个,其也是对Linux内核版本提升最快的。海思的3516、3518芯片也正在抢占市场,这三家中售后做的很好,价格优势明显。
这些芯片基本具备的功能大致如下:
图像类: DSP(digital signal process), ISP(image signal process),编码硬核,ROI(region of interest),MDT(motion  detection)
        CPU: ARM
       SOC 外设:音频(内置codec),网口(百兆、千兆),USB,串口
        功能外设:SD、NAND、DDR、SPI、ii2C、GPIO等

BSP层

BSP层的主要功能是封装底层资源,提供抽象的接口给应用程序使用,应用程序可以忽略资源的分配和管理,更多的倾向于业务逻辑功能的实现。

BSP这块我将其分为了两个部分,一个是OS一个库,OS层使用Linux操作系统,由于芯片方案商提供的SDK中包含了OS,一般这块只需要实现各种驱动程序,更优的文件系统,安全管理等。

库这块主要包括四个部分,均已so形式的库提供给应用程序使用:

  • 标准glibc库,这个库提供给应用程序,基本的read、write、ioctl以及socket等均在这里
  • ISP库,这部分只要对应用程序提供设置图像传感器不同的参数,以达到修改图像质量的目的,能够改变宽动态、白平衡...
  • DSP库,图像的编解码库,这部分由应用程序传递的参数进行编解码,这里可以设置图像分辨率、编码格式等。
  • 购买芯片厂商各自实现的库,这些包括:
  1. 小型数据库SQLite,用于保存和配置用户配置的参数,
  2. 图像处理算法库(比如opencv提供的智能算法),这部分代码使用C编写,可以再DSP(ti8127)或者ARM(安霸A5)运行,有些厂商的DSP是专用图像编解码,不能够为用户所使用的。
  3. 其它特定功能的库

应用层包括两个部分:

业务逻辑层:用于区分各种功能

这部分主要是一些设备管理、安全监测、报警推送、抓图等,见图中

网络交互层:用于网络支持

网络摄像机的特点是,将视频信号接入网络,所以不可少的需要支持若干视频传输协议。

网络层分为两个子类:

基于IE/chrome的视频预览

现有架构最常用的,偏向于PC、CVR、多屏监控中心应用

基于Android/ISO客户端的预览

偏向于取代文字短信、语音通信的视频留言、视频实时通信,未来QQ以及微信之类的社交软件的发展趋势,也是未来电话的发展趋势。
目前1080P或者720P的图像2Mbps或者3Mbps的图像质量非常的好,完全可以满足视频通信需求,现状4G电信手机网速峰值达到了2M每秒,思科的VNI白皮书预测到2019年全球移动网的平均速率将达到4Mbps,手机端的速率将达到12Mbps,只要费用能够降低,则完全能够实现实时语音通信。


2012-03-17 20:45:11 jiazhen 阅读数 2014

        很多年以前业界就谈到安防视频监控领域的三个趋势:数字化、网络化、智能化。目前国内市场上安防视频监控系统的主流产品已经从十多年前的纯模拟视频监控系统,逐步转变成了纯数字的百万高清视频监控系统,即从视频采集、视频传输、视频录像和回放全部采用模拟信号转变为全部是数字信号。


  相比于模拟视频监控设备,百万高清数字摄像机大大提升了画质,像素达到1280×720、1920×1080或更高,因此有了“百万高清”之名。同时,对比模拟监控设备传输技术而言,数字视频监控设备仅需普通网线,易于实现远距离传输,更重要是降低了工程造价且易于维护。随着纯数字高清监控系统配套设备越来越齐全,解决方案越来越完善,它已经成为安防视频监控领域不可逆转的潮流,并占据市场主导地位。
 


  摄像机芯片的功能


  从数字摄像机的组成结构来看,它主要由镜头、图像传感器(CCD或者CMOS器件)、ARM/DSP等组成。镜头聚集被摄物体反射的光线至图像传感器上,再由图像传感器经过广电转换成数字视频信号输出给芯片,芯片进行一系列数字图像信号处理(ISP)和数据压缩之后,通过网络传输给后端解码显示设备,进而实现视频预览、录像、回放等功能。


  从上面我们可以看出,摄像机芯片是整个摄像机里面核心部件,它接收来自图像传感器获取的图像,然后进行一系列的运算和处理,实现了数字网络摄像机的所有功能。


  数字摄像机芯片,习惯上又称之为片上系统(SoC,System-on-Chip),它将处理器资源、内存资源、编解码算法、外围设备接口等都集成在单个平台上,其中大部分功能固化在芯片上,并且对一些特殊功能需求模块化,采用提供源代码方式给用户,用户再根据不同的应用需求进行二次开发;除此之外,SoC还可以增加视频协处理器以及其他视频子系统,实现如预览、缩放、光学处理、图文叠加等功能,从而进一步增强视频处理能力。


  当前百万高清摄像机芯片 厂家及产品


  SoC方案作为高清数字摄像机芯片解决方案,能够有效满足百万高清摄像机内部复杂视频处理运算以及外围设备接口扩展。目前最主流的摄像机芯片厂家有德州仪器(TI),海思(HiSilicon),安霸(Ambarella),恩智浦(NXP),升迈(GrainMedia),Nextchip等等。


  TI


  TI推出的TMS320DM368视频处理器支持多格式高清视频,包括VC1、MPEG2、MPEG4、MJPEG以及H.264等,最高支持每秒30帧编码的1080p标准。此外DM368支持多格式解码、多速率多流以及高清多通道功能,而且还可提供音频、语音以及其他高清视频编解码器,可实现更高的灵活性与更低的设计复杂性。DM368采用的ARM926EJ-S内核可实现超过40%的性能提升,频率高达432MHz,同时还可将视频编码/解码功能交由集成高清视频加速器完成,从而优化系统性能。


  同时TI在智能化方面也有尝试。DMVA1通过集成TI第一代视觉协处理器提供入门级分析功能,如人数统计、触发区、智能运动检测、摄像机篡改检测以及流媒体元数据等。由于在同一芯片中紧密耦合了视觉协处理器与智能分析功能,从而实现了具有视频分析功能的IP摄像机。


  DMVA2 SoC是继DMVA1之后的产品,不但视频性能是DMVA1的3倍,而且还采用了TI智能编解码器技术,可将比特率锐降5倍,实现更高的视频质量与网络带宽。和支持720p的DMVA1相比,DMVA2可在流媒体标准高达1080p的情况下实现上述智能分析功能。


  海思


  从Hi3512、Hi3515到最新的Hi3516,海思提供了一套完整的高清解决方案。以Hi3512为例,该方案基于ARM9处理器内核以及视频硬件加速引擎的高性能通信媒体处理器,具有高集成,可编程,支持H.264和MJPEG等多协议的优点,其中视频处理单元可以支持H.264 Main Profile、Baseline、Profile、MJPEG、JPEG等多种协议实施编解码;支持1.3M Pixels@30fps,支持最大300万像素的JPEG抓拍;视频处理单元还可以支持双码流编码等功能。


  最新推出的Hi3516方案基于ARM Cortex A9处理器内核,除了具备上述特点之外,它支持1080P@30fps,支持最大1600万像素的JPEG抓拍;视频处理单元还可以支持双码流编码等功能。另外它还增加了RGB Bayer格式输入,能够与更多图像传感器直接对接,同时增加了CVBS输出,可以提供HDMI或SDK扩展输出。智能化方面集成了智能分析加速引擎,支持智能运动侦测、周界防范、人脸检测、视频诊断等多种智能分析应用。


  安霸


  安霸A5s网络摄像机芯片采用528MHz ARM11处理器,带有DSP子系统用来进行ISP和H.264/MJPEG的编解码处理,支持全高清1080p30 H.264编码,并且集成了专业处理240MPixel/s图像处理功能。其图像处理引擎包含了增强的降噪处理、图像增强滤波,以及电子防抖动等技术。前端传感器支持Aptina MT9M033 (1.3 MP WDR),Aptina MT9J003 (10 MP),OmniVision OV2715 (2 MP)和Sony IMX036 (3 MP)等等。另外该SoC方案基于45nm CMOS工艺,在1080P@30fps工作状态下,功耗低于1W(包含DDR的功耗)。


  恩智浦(N X P)

 

  NXP推出的ASC8850单芯片方案,支持大部分IP摄像机所具备的功能,它集成了视频压缩功能,也能够进行完整的视频图像控制和网络传输。ASC8850基于ARM926J,集成了硬件模块,支持H.264 1080p 30fps编码和MJPEG 1080p 40fps编码等多种流媒体格式,并且还支持完整图像处理功能 (镜头光学畸变校正、色调映射、自动聚焦、自动白平衡以及自动曝光等)。在传感器的配合下,ASC8850在低光线条件下也可以实现高视频质量,因为这款芯片支持高分辨率色调映射,能够自动调整曝光并实现像素组合。

 

百万高清摄像机芯片发挥功能需配套产品配合


  百万高清摄像机芯片功能主要包含图像传感器、图像处理、视频编解码、视频输出、智能分析等等。图像传感器主要有低照度,宽动态等等;图像处理(ISP)包括3A(自动曝光,自动白平衡,自动聚焦),边缘增强,3D降噪,图像的缩放、翻转、亮度、色度、饱和度、对比度调节,还有数字宽动态、数字放大、电子防抖等等;图像编解码主要有MPEG4、H.264、MJPEG、多码流处理等等;视频输出主要有Ethernet、WIFI、CVBS、HDMI、SDI等等;智能分析方面有运动侦测、周界防范、人脸检测、车牌识别、视频诊断等等。


  视频安防监控摄像机的图像传感器主要是CCD和CMOS两种。模拟摄像机以CCD图像传感器为主,百万像素以上的高清摄像机目前主要以CMOS图像传感器居多。近年来,在手机等消费类电子领域占据了大部分市场的图像传感器公司开始将一些高性价比的CMOS芯片引入安防领域,CMOS图像传感器的感光效率更高,图像噪声更少,动态范围也增强很多。


  一般来讲,同样的感光面积,像素点越多,每一个像素的感光面积就越小,每一个像素所承受的光子数目就少了,感光器的光照灵敏度就越差。很多人经常错误地拿几十万像素的1/3英寸CCD模拟摄像机与1/3英寸CMOS百万高清摄像机比较低照度效果,从而得出错误的论断,认为CCD低照度更好。事实上,以APTINA公司1/3英寸130万像素CMOS芯片制成的低照度摄像机与某采用日产1/3英寸CCD芯片制成的130万像素数字高清摄像机进行低照度效果比照,在齐整条件下,CMOS不只不亚于CCD,反而在视觉上大大超出了CCD百万高清数字摄像机。所以对于图像传感器的选择,要摆脱模拟摄像机的阴影,不能盲目的认为CCD的低照度效果是最好的,CMOS感光器效果一定不如它。技术是不断进步的,有时候情况也会随着发生变化。


  如果只是简单少量点的需求,或者已经有了大平台,要满足用户高清网络视频上电视墙的需求,采用具有单路解码效果的芯片即可。对中小型项目和大项目的分级点而言,则要用到NVR或者目前最热门的混合型DVR来解决。考虑到把多台百万高清网络摄像机的大量数据流进行管理和存储会消耗非常大的网络和PCI带宽,这对网络芯片和CPU来说也是非常大的考验,这也是目前一些芯片要集成双核CPU和千兆网口的原因。


  百万高清摄像机芯片应用前景


  对目前网络摄像机芯片解决方案而言,一方面SoC芯片解决方案的公司只有具备足够的相关技术才能应对未来更多挑战;另一方面网络摄像机也不是功能越多越全越好,在目前工程水平上快速便捷地满足客户的需求才是根本。


  随着百万高清网络摄像机的发展,芯片实现更多功能的同时,集成度也越来越高,随之外围器件会越来越少,功耗也会越来越低。为了实现系统的搭配,数字高清摄像机既要有适合于安防应用的图像传感器,与之对接的后端还要有解码芯片技术的支持,所以后端解码显示芯片的性能也有待更大突破。


  结束语

 

  百万高清网络摄像机的芯片发展不能简单看成网络摄像机的发展,更值得关注的是系列配套产品的完善。如果能够从芯片设计部分就开始考虑好怎样更加贴近实际安防工程项目,这将会使百万高清网络摄像机更广泛的应用起来

 

 

原文来自:http://cctv.cps.com.cn/technology_application/2012/0222/3MMDAwMDM2ODI3Mw_2.html

 

2008-04-06 17:28:00 samlei 阅读数 1075

WEB Camera

应用在PC上的摄像机,通常通过qq、msn视频聊天的就是这个。WEB Camera通常使用CMOS作为光电转换,通过USB接口传输信号,软解压,无专用的视频处理芯片。

IP Camera

IP Camera可以简单的理解为带IP地址的摄像机,简称IPC。IPC是一个完整的嵌入式的硬件和软件应用。普通IPC具有CMOS/CCD、通用CPU、图形图像处理芯片DSP、以太网网络接口。高级一点的还有SD卡接口,Wifi模块等。IPC是最近几年开始热起来的。随着监控设备的智能化、网络化和小型化,IPC无疑是这波风潮的代表。

DVS

Digital Video Server。数字视频服务器。可以看作是专用于数字视频信号处理的服务器。通常具有强大的视频处理能力,可以处理多路视频信号。

视频服务器可提供嵌入式的Web服务,在监控点部署视频服务器并连接上摄像机后,远端只需通过网络登录到视频服务器就可 以观看监控图像。由于采用了TCP/IP架构,视频服务器的使用非常方便,任何一个监控点只需要有IP网络并可配置固定IP地址,就可以安装视频服务器。

一台标准的视频服务器还需具有 RS232、RS422或RS485等控制接口和电平输入/输出接口。利用串口,可方便地实现对摄像头、云台等外围设备的远程控制;利用电平输入/输出接 口,可实现烟感、温感等告警输入和联动输出,实现对监控点异常状况的快速反应。视频服务器在远程监控系统中得到了非常多的应用,逐渐取代了模拟光端机远程 监控系统。

DVR

Digital Video Recorder。数字视频录象机。由传统的监控录象机发展而来。大容量的DVR可以录制数十天的实时监控录像。在一些DVR产品中,集成了视频服务器的功能,在实现多路图像录像的同时,可提供Web服务,实现远程监控。

Megaeyes/全球眼

中国电信的”全球眼“业务及品牌,面向高端行业用户的网络监控业务。该业务最早由北京互信互通公司发起,后来将"全球眼"商标标识无偿转让给中国电信集团公司作为网络视频监控业务的唯一名称。目前网通也有类似业务,名字叫”宽视界“。

SafeDV/视卫网

新一代的网络视频监控平台和技术。整合了最新的P2P、数字视频压缩、IPC等各领域的最新技术,适合大规模视频监控的运营平台。

视频管家

中国电信推出的针对中小企业和家庭用户的网络视频监控业务。作为全球眼的一个市场补充。

小神瞳

浙江电信推出的针对中小企业和家庭用户的网络视频监控业务。

网通神眼

网通推出的针对中小企业和家庭用户的网络视频监控业务。

2019-08-16 11:20:29 qq_42792038 阅读数 314

Hi3516CV200作为新一代HD IP摄像机SOC,集成新一代ISP,优化后的编码前图像处理算法和新一代H.264编码器,同时采用先进低功耗工艺和低功耗架构设计,这一切将使得Hi3516CV200在低码率,高图像质量,低功耗方面持续引领行业水平。创新性的硬件支持90度/270度旋转功能和镜头几何校正功能,可以满足监控应用的各种场景需求。
 

Hi3516CV200还支持3A算法,客户可以基于此实现包含一体机机芯在内的各种机型设计。集成POR、RTC、Audio Codec 并支持多种sensor电平及各种时钟输出等功能,将极大的降低基于HD IP摄像机ebom成本。与海思DVR/NVR芯片相似的SDK设计,能够支撑客户快速产品量产,并实现DVR/NVR和IP摄像机的系统布局。

 

Hi3516CV200功能框图:

 

Hi3516CV200特点
处理器内核
ARM926@ 600MHz,32KB I-Cache,32KB D-Cache

视频编码
H.264 MP/HP Level4.0
H.264 Baseline
MJPEG/JPEG Baseline 编码

视频编码处理性能
H.264 编码可支持最大分辨率为 2M Pixel
H.264&JPEG 多码流实时编码能力:
− 1080P@30fps+VGA@30fps+1080P @1fpsJPEG抓拍
支持 JPEG 抓拍 2M@5fps
CBR/VBR 两种码率控制模式,且输出码率范围为:32 kbit/s~40Mbit/s
编码帧率支持 1/16~30fps
支持 8 个感兴趣区域(ROI)编码
支持 8 个区域的编码前处理 OSD 叠加

智能视频分析
集成智能分析加速引擎,支持智能运动侦测、周界防范、视频诊断等多种智能分析应用

视频与图形处理
支持 3D 去噪、图像增强、边缘增强等前处理功能
支持视频、图形输出抗闪烁处理
支持视频 1/15~8x 缩放功能
支持图形 1/2~2x 缩放功能
8个区域的编码前处理 OSD 叠加
2层(视频层、图形层 1)视频后处理硬件图像叠加

ISP
支持 2x2 Pattern RGB-IR sensor
支持 3A 功能,3A 的控制用户可调节
强光抑制、背光补偿、gamma、色彩增强
支持坏点校正、去噪、数字防抖
支持去雾
支持镜头畸变校正
支持图像 90 度/270 度旋转
支持图像 mirror、flip
支持数字 WDR 和 tone mapping
提供 PC 端 ISP tuning tools

音频编解码
通过软件实现多协议语音编解码
协议支持 G.711、ADPCM、G.726
支持回波抵消/噪声抑制/自动增益功能

安全引擎
硬件实现 AES/DES/3DES/RSA 加解密算法
硬件实现 HASH 数据摘要防篡改
内部集成 512Bit OTP 存储空间和硬件随机数发生器

SDK
提供基于 Linux-3.4.x SDK 包
提供 H.264 的高性能 PC 解码库

2015-11-30 13:50:00 weixin_33831196 阅读数 48

 ISP处理芯片

  ISP(imagesignalprocessing)是指视频信号处理芯片,一般通过专门的ASIC或者DSP加以实现。通常情况下,传感器部分设置有内嵌的图像处理芯片以处理一些较简单的功能,而较复杂的3A(即自动曝光、自动白平衡以及自动对焦)、WDR等功能,则必须通过后端ISP处理,以获得良好的影像效果。

  以Nextchip的高清多功能ISP芯片NVP2400为例,该芯片可应用于1.3M/2M的HD-SDI摄像机、高清模拟摄像机及高清IPC的设计。其内部集成8位快速8051MCU、64MSDRAM及片上X-RAM等。芯片有I2C、UART、SPI等通信接口,并具有定时器、PWM、中断等功能,可与标准8051MCU兼容。

  NVP2400可直接接收原始视频信号或者LVDS信号,经过ISP预处理后,芯片可以输出复合模拟信号和BT656/BT1120/YC16bits视频数据流。

  芯片特点分析

  与某些仅支持单一Sensor的专用ISP芯片不同,它可与多款Sensor进行无缝连接,包括Panasonic的MN34031PL,Sony的IMX036LQR/LLR,Aptina的MT9P031,Omnivision的Ov2715等系列CMOS。

  NVP2400支持多种图像预处理功能,其中有3A处理、镜头畸形校正(LSC)处理、亮度自适应ACCE即宽动态、2D/3D数字降噪、坏点检测DPC、假色修正、色滚抑制、64倍电子放大/画中画、日夜转换、运动侦测MD、隐私遮蔽、自定义OSD等功能,下面详列几项说明。

  ACCE(adaptivecontrastandcolorenhancement)

  ACCE(高对比度亮度/颜色自适应功能),是宽动态技术(WDR)的一种。NVP2400根据人眼对高亮度区域敏感的视觉特性,通过对高对比度及其边缘部分亮度/颜色的有效调整,可以增强整个画面的可视度。

  DEFOG去雾化功能

  Camera在有雾或下雨的环境中,图像可能出现模糊不清,动态范围下降的现象。因为在正常情况下,Sensor可以接收多个层次的亮度,但是有雾情况下,图像的亮度层次被雾遮盖。NVP2400通过分析每个区域的亮度柱状图,改进其亮度分布情况,可有效增强雾化图像的宽动态范围。

  ColorInterpolation色彩算法

  由于Sensor使用的彩色滤光片的排列方式为拜尔排列,获取信息中彩色信号不全,必须从周围的像素进行推测,补偿信号的不足,称为补间处理。与一般的双线性插值算法不同,NVP2400采用了对角插值算法,可以消除由线性算法产生的图像颜色失真,进一步提高图像细节的分辨能力。

  2D/3D数字降噪

  降噪是Camera获得高质量图像很重要的部分。NVP2400的2D降噪功能可以有效降低平面及边缘噪声。而在表现运动物体时,NVP2400可根据前一帧图像及当前图像像素间信息的对比,通过运算有效地消除3D噪声、鬼影及拖尾等现象。

  结束语

  对于安防的视频监控领域应用的高清IPC较传统模拟摄像机、普通网络摄像机具有更多优势,比如高清晰度、百万像素级的传感器、可以获得更多的视频信息,逐行扫描的CCD/CMOS技术可以让画中画更清晰、自然流畅,没有机械移动部件,更耐用,更大的视觉覆盖范围等。

 高清监控的要求

  高清监控意味着更大的数据量,无论对于编码芯片、编码算法、网络传输及存储系统都带来的巨大的考验,而得益于这些相关领域的不断突破,高清IP监控已得以实现,并快速地发展和应用。

  根据SMPTE(美国电影电视工程师协会)标准,高清IP监控系统需达到如下要求:

  分辨率要求。即需要达到1280×720/逐行或1920×1080/隔行/逐行。

  帧率能够达到全帧速。

  具有更好的图像色彩保真度。

  16:9格式。

  因此,高清IP不仅指传感器有效像素的大幅度提高,而且实现视频的实时性、具有高图像色彩的保真度、长宽比为16:9的格式成像效果。

  高清IPC的设计方案很多,但从架构上来看,主要包括两种:其一,采用CCD/CMOS传感器作为图像采集设备,配套提供实现图像处理和编码功能的SOC芯片;其二,采用前端摄像机模组作为图像采集设备和一个通用的ASIC或DSP进行编码和传输。由于第一种架构设计灵活,广泛被厂家采用。在图像处理方面有三种实现方案。

  第一种方案采用专用的ISP处理芯片和编码处理部分,该方案较灵活,采用专用的ISP芯片稳定性好,能够保证图像的质量。

  第二种方案采用集成ISP的编码芯片,该方案灵活性次于第一种方案,且专用的ISP处理芯片稳定性虽高,但图像质量一般、成本较高。

  第三种方案采用FPGA等芯片实现信号处理及编码功能,该方案灵活性最强,但是稳定性差、成本最高、图像质量难于保证。

  专用ISP方案设计灵活、性价比高、可以保证图像的质量,适用于高清IPC的设计。

没有更多推荐了,返回首页