精华内容
下载资源
问答
  • 8K视频信号处理
    千次阅读
    2018-03-27 17:46:45

         整个系统设计的关键在于8K视频信号的处理。截止到目前为止,因为8K的标准没有非常明确,相应的视频处理芯片厂家也在观望,所以,相关的8K视频处理芯片非常少。如目前SiI9779、SiI9630等厂家宣传支持8K,但是最终也没有推出该功能。目前主推8K技术的是日本NHK,其预计在2020年的东京奥运会上进行8K直播。富士通株式会社与松下电器产业株式会社对两家公司的系统LSI业务进行合并,成立索喜科技有限公司(Socionext)。新品牌体现了公司的核心业务在于SoC及具有竞争优势的Imaging(视频和成像领域)和OpticalTransport Network(光纤通信网络领域)技术领域意义。Socionext在2016年推出一款单芯片8K处理芯片SCH801A。SCH801A与日本卫星广播HEVC编码的标准ARIB STD-B32第一部分一致,能够单芯片单通道解码8K 60P,其配备一个PCI Express二代插槽,4路 Tx外部接口。8K的视频码流通过前端芯片SCH801A解码后,输出4路HMDI2.0的视频信号。从带宽上来看,HDMI2.0的最高带宽高达18Gbps,4个通道加起来带宽可达72Gbps,足够传输一路8K的视频信号。

      在本设计中是采用高速FPGA进行HDMI2.0信号的解码,通过HDMI的解码模块来将标准的HDMI信号转换为并行的data数据。具体HDMI的解码模块设计框图如图3。TMDS数据进入Deskew模块进行数据的重新对齐与重排;数据进入TMDS decoder模块,从模块中分离出video data与AUX data。视频数据进入视频采样模块,分离出clk、HS、VS和video data。辅助数据进入Auxiliary Packet Capture模块,分离出控制数据包和音频数据等。视频数据分离出后,为了方便在拼墙处理器中进行数据传输,在通过FPGA的并串转换模块时,转为串行数据进行传输。每对HDMI的信号通过2对高速的serdes信号进行传输,方便视频调度模块进行调度。

     视频调度模块

      在该模块中,主要是视频信号调度、时钟处理模块、通信模块、CPU系统模块等为各个模块业务控制的核心。视频信号交叉调度模块采用高速串行空分交换技术,调度高速串行数据信号,传输该高速串行数据信号。根据预定的输入端口与输出端口的对应关系,将各输入的高速串行数据信号通过相应的端口输出,传输到相应的视频处理模块中。

      时钟处理模块用来产生参考时钟信号,并将所生成的参考时钟信号提供给各个8K视频模块、各个视频信号处理模块、信号扩展交换平台等。8K视频模块、视频信号处理模块及信号扩展交换平台等在本单板提供的系统参考时钟的同步下,分别产生用于本模块高速串行处理业务所需的模块时钟。


    视频处理模块

      视频信号处理模块对视频信号调度后的高速串行信号进行解串行化、切割、缩放、叠加等处理,最后输出处理后的图像信号。

      通过图像信号采集模块对信号的串行化处理和主控交叉模块的调度,在视频信号处理模块的输入端口可获得任意需要的输入信号,输入的信号是高速的串行信号,必须进行解串后才能进行信号之后的处理。解串行化是串行化的逆向过程。输入信号的分辨率与所需显示的窗口大小通常都是不相同的,从解串行化模块还原出的图像必须进行缩放处理,同时,显示的窗口可能跨多个显示单元,每个单元只显示一部分,通过切割截取所需的图像数据,并进行相应的缩放处理。最后,由输出驱动部分完成叠加后的图像信号转换成标准的16路DVI信号输出。

    视频基础算法




    更多相关内容
  • 基于FPGA的视频信号处理电路设计.pdf
  • 视频信号处理里面的基本知识,通过这个文档,你会了解在视频这个行业的方面
  • 视频信号处理

    2012-04-04 13:39:53
    视频信号概述、基本的图像编码技术、静态图像的JPEG技术标准、动态图像的处理
  • 提出一种基于FPGA的实时视频信号处理平台的设计方法,该系统接收低帧率数字YCbCr视频信号,对接收的视频信号进行格式和彩色空间转换、像素和,利用片外SDRAM存储器作为帧缓存且通过时序控制器进行帧率提高,最后通过...
  • 1引言  CCDCharge Coupled Device)电荷耦合器件是20世纪...CCD视频信号处理的目的就是尽可能地消除各种噪声和干扰,但又不能损失图像细节;并且保证在CCD的动态范围内图像信号随着目标亮度成线性变化,同时为了便于
  • 基于 DSP+FPGA的实时视频信号处理系统设计.pdf。
  • 电子书--达芬奇技术-数字图像视频信号处理新平台
  • 成都信息工程学院大三课程,数字视频信号处理课件
  • 基于DSP FPGA的实时视频信号处理系统设计.pdf
  • 本文介绍了一种采用专用CCD视频信号处理芯片和CPLD技术来设计的CCD视频信号处理电路,并采用USB接口技术实现数据传输。电路不仅结构简单,而且调试方便,易于实现。通过USB和CPLD技术对专用CCD视频信号处理芯片的...
  • LED全彩屏数字视频信号处理电路的设计、电子技术,开发板制作交流
  • 音视频-编解码-视频信号处理芯片中图像缩放模块的设计.pdf
  • CCD视频信号处理器件单粒子效应试验.pdf
  • 提出一种基于模拟图像视频信号处理的显微镜自动聚焦方法,直接截取图像的视频信号进行实时处理,得到正确聚焦与否的判据参数,实现自动聚焦,并给出了以视频信号的电平差分绝对值之和作为聚焦评价函数。该方法具有...
  • 中南大学电子信息14级视频信号处理实验报告
  • TI公司的达芬奇系列芯片(例如DM6446/DM355/DM365等)是处理图像、视频、语音、音频信号的新一代平台。相应技术涵盖达芬奇处理器、软件、开发环境、算法库和技术支持等。全书308页,全面介绍了达芬奇技术的各个方面...
  • 由于Camera Link视频信号具有高分辨率、高传输速度、图像处理灵活、通信协议 单、传输接口结构易于实现等优势,因此近年来在民用领域如安防监控、视觉遥感、 媒体处理等方面具有大量的市场需求。本论文以FPGA为核心...
  • 成都信息工程学院大三课程,数字视频信号处理课件
  • 成都信息工程学院大三课程,数字视频信号处理课件
  • 成都信息工程学院大三课程,数字视频信号处理课件
  • PDF电子书,达芬奇技术—数字图像-视频信号处理新平台,带有书签,是自己阅读时加上的。适合TI达芬奇初学者看。
  • 描述电荷耦合器件CCD的分类,工作原理,输出信号特点,视频信号量化处理,二值化处理电路等
  • 今天带来第一篇,上篇,视频信号概述和视频信号处理的框架。话不多说,上货。 之前也有图像处理相关方面的文章,这里超链接几篇,给各位大侠作为参考。 《冈萨雷斯数字图像处理MATLAB版》中文版(第二版) 电子版 ...

    今天给大侠带来基于FPGA的数字视频信号处理器设计,由于篇幅较长,分三篇。今天带来第一篇,上篇,视频信号概述和视频信号处理的框架。话不多说,上货。

    之前也有图像处理相关方面的文章,这里超链接几篇,给各位大侠作为参考。

    《冈萨雷斯数字图像处理MATLAB版》中文版(第二版) 电子版

    荐读:FPGA设计经验之图像处理

    基于FPGA的实时图像边缘检测系统设计(下)

    FPGA设计中 Verilog HDL实现基本的图像滤波处理仿真

     

     

     

     

     

    导读 

     

     

    图像是用各种观测系统以不同形式和手段观测客观世界而获得的,可以直接或间接作用于人眼进而产生视知觉的实体。

    随着电子技术和计算机技术的飞速发展,数字图像技术近年来得到极大的重视和长足的发展,并在科学研究、工业生产、医疗卫生、通信等方面得到广泛的应用。

    视频信号由一系列连续的图像组成。对视频信号的处理已经成为数字图像处理领域中重要的一部分。例如机器人模式识别的过程就是一个视频信号处理的过程,电视制导导弹识别目标就是充分利用视频信号处理技术不断判断目标是否和预先设定目标图像一致。本篇将讲解如何用 FPGA 技术实现基本的视频信号处理。本篇的例子可以作为各位大侠进行视频信号处理时的一个参考,也可以在这个基础上根据需要进行扩展。

    第一篇内容摘要:本篇会介绍视频信号概述,包括视频信号处理的基本过程、数字图像处理技术概念、数字视频信号的格式;视频信号处理的框架,包括视频信号转换模块、视频数据计算模块以及通信模块等相关内容。

     

     

    一、视频信号概述

     

     

    在讲解数字视频信号处理器以前,需要了解视频信号的组成。摄像头输出的视频信号满足电视信号的制式,一般摄像头、摄像机都提供 PAL 制的视频信号。

    目前,世界上实际应用的电视信号制式主要有 NTSC 制、PAL 制和 SECAM 制 3 种。世界上大多数国家采用 PAL 制,我国也采用 PAL 制。美国、日本等国家采用 NTSC 制。俄罗斯、法国、埃及等少数国家采用 SECAM 制。

    PAL 电视制式规定,场扫描频率为 50Hz,每帧图像的扫描行数为 625 行。PAL 制电视信号如图 1 所示。

    图 1 PAL 制电视信号

     

    电视信号由“图像信号”和确保扫描同步的“复合同步信号”以及消除扫描逆程回扫线的“复合消隐信号”等辅助信号构成。有关电视信号的原理请自行查阅相关资料,这里不详细解释。

     

     

     

    1.1 视频信号处理的基本过程

    视频信号的处理过程就是拍摄视频信号的逆过程。摄像头输出的是标准 PAL 制电视信号。摄像头通过光电转换实现图像到视频信号的转换,也就是扫描的过程。摄像头每扫描完一行图像,加入一个行同步脉冲,每扫描完一场图像加入一个场同步信号。同时为了保证扫描逆程光栅不显示,应加入和同步信号同周期的消隐信号。

    对视频信号进行处理,需要先进行 A/D 转换、行/场同步信号的分离等步骤,然后采用专用的视频信号处理器对视频信号进行转换,最后用FPGA 处理数字图像信号并得到需要的结果。视频信号处理流程如图 2 所示。

     

    图 2 视频信号处理基本流程

     

     

     

     

    1.2 数字图像处理技术概念

    如图 2 所示的流程中,视频信号的放大、模数转换和格式转换由专用的视频处理芯片完成,FPGA 需要完成对视频信号转化后的数字图像进行处理和运算。在进行具体的开发前先介绍一下相关的概念。

     

    1)像素

    一幅平面图像可以看成是由许许多多的小单元组成,在图像处理系统中,这些组成画面的细小单元称为像素。像素越小,单位面积上的像素数目就越多,由其构成的图像就越清晰。

    一幅黑白或者灰度平面图像,表征它的特征参量是亮度。这就是说,组成画面的每个像素,不但有各自确定的几何位置,而且它们各自还呈现着不同的亮度。又由于电视系统传送的是活动图像,因而每个在确定位置上的像素其亮度又随时间不断地变化着,也就是说像素的亮度又是时间的函数。像素亮度既是空间(二维)的函数,同时又是时间的函数。

     

    2)一帧图像

    电视系统中把构成一幅图像的各像素传送一遍称为进行了一个帧处理,或称为传送了一帧,每帧图像由许多像素组成。因此组成一幅完整图像也叫做一帧图像。

     

    3)一场图像

    PAL 制电视图像是隔行扫描的,即一帧图像分两次扫描,第一次扫描奇数行的图像,第二次扫描偶数行的图像。每次扫描获得的图像称为一场图像,分为奇数场和偶数场。

     

    4)图像的串行传输

    根据人的视觉惰性,可把组成一帧图像的各个像素的亮度按一定顺序一个一个地转换成相应的电信号并依次传送出去,接收端再按同样顺序将各个电信号在对应位置上转变成具有相应亮度的像素,这就是图像的串行传输。

    这种串行传输具有两个特点:

    • 要求传送速度快。只有传送迅速,传送时间小于视觉暂留时间,重现图像才会给人以连续无跳动的感觉。

    • 传送要准确。每个像素一定要在轮到它传送时才被转换、传送,并被接收方接收。而且收、发双方每个像素被转换、还原的几何位置要一一对应。即收发双方应同步工作,同步在电视系统中是十分重要的。

     

    5)扫描

    将组成一帧图像的像素,按顺序转换成电信号的过程(或逆过程)称为扫描。扫描的过程和我们读书时视线从左到右、自上而下依次进行的过程类似。从左至右的扫描称为行扫描,自上而下的扫描称为帧或者场扫描。电视系统中,扫描多是由电子枪进行的,通常称其为电子扫描。通过电子扫描与光电转换,就可以把反映一幅图像亮度的空间与时间的函数转换为只随时间变化的单值函数(电信号),从而实现平面图像的顺序传送。

     

     

     

     

    1.3 数字视频信号的格式

    PAL 制电视信号转化为数字视频信号后的具体格式如图 3 所示,一般数据格式符合 ITU656 YUV 4:2:2 标准(在后面的将结合数字视频处理器对数字视频格式详细介绍)。

    图 3 一帧图像采集的时序关系

     

    一帧图像含有 625 行数据,其中有效图像数据 572 行,其他为场消隐信号;每行图像数据包含 720 个像素。因此,PAL 制电视信号的分辨率为 720×572。PAL 制电视信号每秒扫描 25帧图像,每帧包括奇、偶两场图像。一帧图像分为奇数场和偶数场,每场各有 286 行有效图像。垂直参考电压信号 VREF 的高电平表示有效图像信号,偶数场和奇数场各 286 行。ODD 信号高电平表示为奇数场,低电平表示偶数场。行参考电压信号 HREF 信号表示一行有效的图像数据。一行图像数据又包括 720 个像素的数据,每行图像数据如图 4 所示。

     

    图 4 一行图像数据

     

     

    二、视频信号处理的框架

     

     

    如图 5 所示的是一般工程项目中视频信号处理的框架,由 3 个模块组成:

    • 视频信号转换模块 

    由视频信号处理器完成视频信号从模拟信号到数字信号的转换、图像信号与其他的分离、视频信号的格式转换等,最终提供后端可以处理的数字视频数据。

    • 视频数据计算模块 

    首先接收来自前一个模块的数字视频数据,然后完成对数字视频数据的计算。一般数据接收由 FPGA 完成,根据需要可以选择专用芯片,如 DSP(Digital SignalProcessor,数字信号处理器)完成计算,也可以选择 FPGA。

    • 通信模块 

    实现与外界的数据交换。

     

    图 5 视频信号处理框架

     

    虽然视频信号处理的需求多种多样,但数据处理的流程都遵循数据采集、格式转换、数据接收、数据计算、数据通信的步骤。

     

     

     

     

    2.1 视频信号转换模块

    视频信号转换模块由视频信号处理器及其辅助电路组成。这个模块的设计要点是选择视频信号处理器。电视信号构成极为复杂,其中除了包含图像信号之外,还包含行同步信号、行消隐信号、场同步信号、场消隐信号以及槽脉冲信号、前均衡脉冲、后均衡脉冲等。因而,对电视信号进行 A/D 转换的电路也非常复杂,Philips 公司将这些非常复杂的电视 A/D 转换电路集成到了一块芯片内,生产出功能强大的视频输入处理芯片 SAA7113(后面简称 SAA7113)。

    SAA7113 采用 CMOS 工艺,通过简洁的 I2C 总线与采样控制器连接可方便地构成图像采集系统。SAA7113 芯片中的场同步信号、行同步信号、像素时钟信号 LLC2 以及其他状态信号都可直接由管脚引出,省去了时钟同步电路的设计,而且可靠性更高。系统内部采用锁相环技术,不但有高的可靠性,并简化了设计复杂度。在 SAA7113 中有控制字可以直接控制行同步有效时间,省略了行延迟电路。因此,采用 SAA7113 可为电视信号的数字化应用提供极大的方便。

     

     

     

     

    2.2 视频数据计算模块

    在视频信号处理过程中为保证实时性,首先要求实时图像处理系统具有处理大数据量的能力;其次对系统的体积大小、功能、稳定性等也有严格的要求。实时图像处理算法中经常要用到对图像的求和、求差运算、二维梯度运算、图像分割、边缘探测等不同层次、不同种类的运算。有的运算结构比较简单,但是数据量大,计算速度要求高;有些运算对速度要求并不高,但计算方式和结构比较复杂,难以用纯硬件方式实现。因此,实时图像处理系统是要求运算速度高、运算种类多的综合性信息处理系统。

    随着大规模可编程器件的发展,采用 DSP+ASIC(Application Specific IntegratedCircuit,特定用途集成电路)结构的信号处理系统显示出了其优越性,逐步得到重视。与通用集成电路相比,ASIC 芯片具有体积小、重量轻、功耗低、可靠性高等优点,而且在大批量应用时更可降低成本。现场可编程门阵列(FPGA)是在专用 ASIC 的基础上发展起来的,它克服了专用 ASIC 不够灵活的缺点。与其他中小规模集成电路相比,其优点主要在于它的灵活性很强,即其内部具体的逻辑功能可以根据需要配置,对电路的修改和维护很方便。

    目前,FPGA的容量已经超过了百万门级,FPGA 已成为系统设计的重要选择方案之一。图像处理系统中,底层的图像预处理的数据量很大,要求处理速度快,但运算结构相对比较简单,适用于 FPGA 通过硬件实现,这样能同时兼顾速度及灵活性。高层运算的特点是所处理的数据量较底层少,但算法结构复杂,适宜采用运算速度高、寻址方式灵活、通信能力强的DSP 芯片来实现。

    DSP+FPGA 结构最大的特点是结构灵活,有较强的通用性,适于模块化设计,从而能够提高运算、处理的效率;同时开发周期短,易于维护和扩展,适于实时图像处理;对不同算法有较强的适应能力。

    上面的讨论为各位大侠提供视频数据计算的方案。由于本篇主要介绍 FPGA 技术,这里将结合FPGA 介绍如何进行视频数据计算。

     

     

     

     

    2.3 通信模块

    通信模块用于提供当前系统与外部进行数据交换的通道,可以有以太网、RS-232、RS-422、RS-485、现场总线、USB 等多种方式。

     

     

     

    本篇到此结束,下一篇带来基于FPGA的数字视频信号处理器设计(中),介绍视频信号处理的电路,包括中央控制器 FPGA、电视信号转换模块电路、图像缓存部分电路;还会介绍视频处理程序的具体实现,包括主体程序的实现、视频图像数据采集程序的实现以及SRAM 的读写控制等相关内容。

     

     

    END

     

    后续会持续更新,带来Vivado、 ISE、Quartus II 、candence等安装相关设计教程,学习资源、项目资源、好文推荐等,希望大侠持续关注。

    大侠们,江湖偌大,继续闯荡,愿一切安好,有缘再见!

     

     

     

     

     

    精彩推荐

     

     

     

     

    基于FPGA的以太网控制器(MAC)设计(下)

    FPGA之通信算法工程师面试题3

    FPGA 高级设计:时序分析和收敛

    基于FPGA的扩频系统设计(下)

    展开全文
  • -图像与视频信号处理的研究进展及其应用,图像与视频信号处理的研究进展及其应用
  • 介绍了视频信号处理放大器的基本工作原理及简单电路。
  • 基于FPGA的智能视频信号处理技术研究——做视频信号处理的可以看看。
  • 数字信号处理视频教程,程佩青版本。欢迎下载。。。。

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 104,817
精华内容 41,926
关键字:

视频信号处理