多光谱成像技术解析
 
说在前面
 
大家在上学时期都经历过写错作业，铅笔写错的时候用橡皮擦一擦就好，硬笔写错了，那就用改正液嘛，哈哈，还有小时候的改正纸。嗯，先上几张图引来一波回忆杀。
 
 当然，一般写错字了最习惯的用法就是划一下，觉得划一下不够爽，就再多划几下。
 有时候紧急需要记录一些信息，然而手头的笔又刚好没墨了且没工夫去找别的笔，那只有用力在纸上写下去字迹，然后再想办法复现记录的文字对吧。没错，多光谱成像技术，就是可以识别这种没有墨汁的文字。
 
引出技术
 
在很多老旧的书籍和图册上，曾经出现过的一些字迹随着时间的推移上面的墨水逐渐褪去，这时候，如果要鉴别上面的字迹，相信广大字画市场基本上都是使用放大镜来细细地品读了。
 
技术原理
 
现在，美国杜克大学的图书馆使用了多光谱成像技术，使用这种成像技术可以在不同颜色的光谱下进行成像，从而看到肉眼以及普通的相机所看不到的细节。这种技术应用在历史学家、文物鉴定、以及文献保护等领域来说是十分方便的。这时候我们又要提出疑问了，那多光谱成像和普通的相机又有什么区别呢？不难知道，普通相机也是有很多光谱中工作的啊，在设计的时候也是按可见光的光谱曲线进行设计的哦，不然怎么会有彩色的图像呢。
 
应用场景
 
杜克大学图书馆的专家Mike Adamo认为：在白光或全光谱的光线下，我们看到从一个物体反射出来的所有波长都“聚集”在一起。但是多光谱成像一次只能分离出物体对单个光谱的成像效果。然后，通过PC的算法搜索这些单光谱图像之间的差异并将它们组合起来，从而提取在白光下可能无法检测到的微妙细节。通过算法，增强了不同物体之间对不同光谱的反射和吸收的程度的差异，从这些差异中，可以找到很多看不见的细节。同时，该项目组也发现了鲁宾斯坦稀有图书和手稿图书馆收藏的《普林尼自然历史》（Pliny＇s Natural History）作者的珍贵线索。下面这张图说的就是这事，正常人或者普通的相机根本就只能看到黑糊糊的一片像左侧这样，而经过多光谱技术之后的图像就如右侧所示。
 
 
没错，最典型的应用就是用多光谱技术看见了历史文物中肉眼看不见的很多细节。
 另外，多光谱技术也可来于读取已被擦除和被字迹覆盖的文字。通过字迹写过的痕迹，墨迹虽然褪去，但被笔划过的细微字痕，当不同光谱照过来，反射的情况由于物理的深浅差异，其反射回到相机中的光束自然是有差异的，计算机算法会放大不同光谱照反射回来的这些差异，提取出肉眼或者普通自然光下难以发现的微妙细节。
 
其他应用
 
在红楼梦的研究里，有些残本可能还尚存人间，利用这种技术，去发掘手稿中的注解的区别，是不是很有意思。用来鉴定民间的很多有价值的书籍，是很有帮助的。嗯，这里是不是又可以引出一个商机，搭建一套多光谱的系统，专门卖给各大考古、科研机构，还有很多古字画倒卖商，能给他们提供不少帮助。当然，不可能卖很多，毕竟这种机构是有限的，但价格可以卖高一点嘛，毕竟花的是政府的钱，如果是倒卖字画的，也都不缺钱。没错，放在实验室的使用高精尖的光学系统哈价格当然要贵点，而手持式的，就用挫一点的系统采集就好，肉眼去看，连分析都不需要了，这样可以走量。哈哈，说多了。
 
小结
 
多光谱成像技术有异于普通的全光谱或者白光成像，它是将不同的光谱分离进行多次成像，而普通的全光谱成像是多个光谱一次成像。通过这种不同光谱下物体的吸收和反射的程度不一致来采集同一个物体得到多张不同的成像图像，然后对这些图像进行细节增强和特征提取的算法进行处理，找出不同细节的一种光电技术，也算是机器视觉中的一种应用。
 这种技术还可用于追踪保护措施的有效性，例如胶带或剩余粘合剂等，用来办案的案例也有哦。
 好了，文章完。
 图片来自网络侵删

光谱成像技术 = 光谱技术 + 成像技术
 

一、 概念
 
1、光谱技术：指利用光与物质的相互作用来研究分子结构及动态特性的学科，即通过获取光的发射、吸收与散射信息可获得与物体相关的化学信息。
 
2、成像技术：用于获取目标的影像信息，研究目标的空间特性信息。
 

故事线索：随着上世纪六十年代，遥感技术的兴起，空间探测与地表探测成为科学界的研究热点，人们不满足于仅仅获取目标的光谱信息或者仅仅获取目标的影像信息，所以光谱成像技术被催生而出！
 

3、光谱成像技术：其本质是利用物质对不同电磁波谱的吸收或辐射特性，在普通的二维空间成像的基础上，增加了一维的光谱信息。由于地物物质的组成各不相同，其对应的光谱之间存在差异（指纹效应），从而可以利用地物目标的光谱进行识别和分类。
 
        光谱成像技术可以在电磁波段的紫外波段、可见光波段、近红外波段、中红外波段，获取许多窄并且连续的图像数据，为每个像元提供一条完整并且连续的光谱曲线。
 
 
        成像光谱仪得到一个三维的数据立方体，从每个空间像元都可以提取一条连续的光谱曲线，通过谱线的特征分析，继而用于后续的探测等目的。
 
 
二、成像光谱仪的分类
 
        成像光谱仪是成像光谱技术得以实现的实物载体，不同分类方法的分类结果如下：
 
1、根据成像光谱仪的光谱分辨率不同：多光谱（波段3~12，分辨率100nm）、高光谱（波段100~ 200，分辨率10nm）、超光谱（波段1000~10000，分辨率1nm）。
 
2、根据分光原理不同：棱镜色散型、光栅衍射型、滤光片型、干涉型、计算层析型。
 
3、根据扫描方式不同：挥扫式、推扫式、凝视型。
 
4、其他方法。
 
 
三、光谱成像技术的应用
 
1、军用：特别是高光谱成像仪具有在光谱上区分地物类型的能力（精细分类、目标检测、变化检测），可用于战场侦察。
 
2、民用：普通的成像光谱仪，可用于水体检测、矿物识别、植物生态学等。
 
 
参考文献
 
        [1] https://wenku.baidu.com/view/d46b10c189eb172ded63b74d.html
 
 
 
 
 
 
 

偏振超光谱成像技术是一个新兴的交叉技术领域，探索该技术在航天、民用等领域的应用已经成为国内外的重点研究课题，特别是基于声光可调谐滤波器（AOTF）的光谱成像仪，与传统仪器相比，在工作机制和仪器设计上都有着众多的优点。
 
光谱成像技术利用多个光谱通道进行图像数据的采集、显示、处理和分析，是图像分析技术与光谱分析技术的完美结合。
 
随着光谱成像技术的发展以及声光可调谐滤波器（Acousto-optic Tunable Filter，AOTF）的出现，AOTF偏振光谱成像仪的研发已经成为国内外研究的热点。
 
国外的许多科研机构已经开发了应用于不同领域的基于声光可调滤波技术的光谱成像仪，国内一些科研单位虽然也在此方面进行了积极的探索，但是还没有进入实用阶段的仪器产品问世。
 
AOTF偏振光谱成像仪是目前获取信息最多的一种光学遥感器，具有结构简单、光谱波段宽、分辨率高等特点。
 
其所获取的数据中不仅包含了空间信息和光谱信息，还包含了待测目标的偏振信息，增强了所获取待测目标的信息量。
 
通过对不同波段情况下的目标图像数据进行分析，可以获得目标物的物质成分和相对丰度，在军事、民用、航天等众多领域都有着重要应用。
 
AOTF原理
 
AOTF是根据各向异性双折射晶体声光衍射原理而制成的一种新型分光器件，主要由声光晶体，超声换能器和声吸收体构成，
 
其基本原理如图所示。
 
 
AOTF有共线和非共线两种工作模式，其通常处于反常布拉格衍射的非共线模式下进行工作。
 
超声换能器能够将所加载的电信号转换为同频率的超声波，在声光晶体中超声波与入射光波产生非线性效应。
 
当超声波矢量与入射光矢量满足布拉格衍射条件时，入射光将发生布拉格衍射，且衍射光的偏振态与入射光的偏振态正交。
 
当衍射发生时，入射光与衍射光必须满足波矢量动态匹配条件：
 
 
 
式中ni为入射光折射率，nd为衍射光折射率，λ为真空光波长，f为超声波频率，Va为矢量方向的超声波速度值。
 
结合AOTF的平行切线波矢布局，可以得到超声波频率与衍射波长的对应关系：
 
 
式中θi为入射光矢量与晶体光轴间夹角，θd为衍射光矢量与晶体光轴间夹角。
 
由于超声波频率f取决于驱动电信号的频率，因此通过改变激励声波的驱动信号频率，就可以实现对衍射光波长的控制，以达到滤波的目的。
 
与传统分光器件相比，AOTF具有体积小、无活动部件、通光孔径大、衍射效率高、调谐范围宽等众多优点，从而使其在光谱成像技术上有着巨大的应用潜力。
 
仪器结构
 
实验中所搭建的AOTF偏振光谱成像仪主要包括以下几部分：
 
前置光学系统
AOTF分光系统
CCD成像系统
射频驱动系统
数据采集控制系统
AOTF偏振光谱成像仪结构示意图
 
 
目标景物被光源照射后的反射光经过前置光学系统进行会聚、准直后进入到AOTF分光系统。
 
由可控射频信号源产生的射频信号控制波长调谐，使入射光经过AOTF衍射后产生对应波段的零级衍射光和正负一级衍射光，正负一级衍射光即为偏振态正交的O光和E光。
 
然后，经过后续光学系统分别成像于H通道和V通道的CCD阵列上，获得单一波长的目标图像。
 
通过操控PC机上的数据采集控制系统，一方面可以调整射频驱动器的驱动信号频率，另一方面可以控制CCD相机的工作状态，同时对相机所传回的采集数据进行接收，进而可以得到AOTF调谐波段范围内各波段的目标景物图像。
 
最后对所采集的各波段范围的图像数据进行存储。

 
 
点击上方“小白学视觉”，选择加"星标"或“置顶”
 
重磅干货，第一时间送达


 
光栅分光原理
 

 
在经典物理学中，光波穿过狭缝、小孔或者圆盘之类的障碍物时，不同波长的光会发生不同程度的弯散传播，再通过光栅进行衍射分光，形成一条条谱带。也就是说：空间中的一维信息通过镜头和狭缝后，不同波长的光按照不同程度的弯散传播，这一维图像上的每个点，再通过光栅进行衍射分光，形成一个谱带，照射到探测器上，探测器上的每个像素位置和强度表征光谱和强度。一个点对应一个谱段，一条线就对应一个谱面，因此探测器每次成像是空间一条线上的光谱信息，为了获得空间二维图像再通过机械推扫，完成整个平面的图像和光谱数据采集。

 
经过狭缝的光由于不同波长照射到不同的探测器像元上，光能量很低，因此需要选择高灵敏相机，同时需要加光源。例如系统如下：
 
  
 


 
声光可调谐滤波分光（AOTF）原理
 

 
AOTF由声光介质、换能器和声终端三部分组成。射频驱动信号通过换能器在声光介质内激励出超声波。改变射频驱动信号的频率，可以改变AOTF衍射光的波长，从而实现电调谐波长的扫描。
 
最常用的AOTF晶体材料为TeO2即非共线晶体，也就是说光波通过晶体之后以不同的出射角传播。如上图所示：在晶体前端有一个换能器，作用于不同的驱动频率，产生不同频率的振动即声波。不同的驱动频率对应于不同振动的声波，声波通过晶体TeO2之后，使晶体中晶格产生了布拉格衍射，晶格更像一种滤波器，使晶体只能通过一种波长的光。光进入晶体之后发生衍射，产生衍射光和零级光。 
 
AOTF系统组成：成像物镜+准直镜+偏振片+晶体+偏振片+物镜+detector，入射光经过物镜会聚之后进入准平行镜（把所有的入射光变成平行光），准平行光进入偏振片通过同一方向的传播的光，平行光进入晶体之后，平行于光轴的光按照原来方向前行，非平行光进行衍射，分成两束相互垂直o光和e光（入射光的波长不同经过晶体之后的o光与e光的角度也不同，因此在改变波长的过程中，图像会出现漂移）；o光和e光及0级光分别会聚在不同的面上。如图所示：
 
 
 
为了保证入射光经过准平行镜之后能够完全变化成平行光，因此对前端的物镜视场角有一定的要求，根据晶体的xxx角，可算出物镜最大的视场角，小于最大视场角的情况，成像ok，如果大于视场角，则会造成重影（衍射光与0级光都进入了sensor）；
 
实现方法
 

 
不同波长的光经过晶体之后衍射光与0级光的夹角也不同，因此为了能够保证更好的成像效果，在晶体的出光口加入遮挡片，即遮挡0级光，避免与衍射光一起进入sensor，造成重影。

 
对聚光准直系统的优化有两个方面：1提高光源的聚光效果，2减小聚光准直系统的外形尺寸。
 
棱镜分光
 

 
入射光通过棱镜后被分成不同的方向，然后照射到不同方向的探测器上进行成像。棱镜分光后，在棱镜的出射面镀了不同波段的滤光膜，使得不同方向的探测器可以采集到不同光谱信息，实现同时采集空间及光谱信息。
 
芯片镀膜
 

 
近年来，IMEC（欧洲微电子研究中心）采用高灵敏CCD芯片及SCMOS芯片研制了一种新的高光谱成像技术，在探测器的像元上分别镀不同波段的滤波膜实现高光谱成像，此技术大大降低了高光谱成像的成本。
 
目前IMEC提供三种标准的光谱探测器：100波带的线扫描探测器，32波带的瓷砖式镀膜探测器，16波带以4x4为一个波段的马赛克式镀膜探测器
 
 
 
这种光谱技术的优点是可以同时获得光谱分辨率和空间分辨率，可以进行快速、高性能地获得光谱信息和空间信息，集成度高，成本低。但是缺点是光谱灵敏度较低，一般大于10nm，多用于无人机等大范围扫描的光谱应用领域。
 
 
 
高光谱成像系统
 

 
下图为一个典型的高光谱成像系统结构示意图。系统主要由面阵相机、分光设备、光源、传输机构及计算机软硬件等五部分构成。光源是高光谱成像系统的一个重要部分，它为整个成像系统提供照明；分光设备是高光谱成像系统的核心元件之一，分光设备通过光学元件把宽波长的混合光分散为不同频率的单波长光，并把分散光投射到面阵相机上；相机是高光谱成像系统的另一个核心元件，光源产生的光与被检测对象作用后成为物理或化学信息的载体，然后通过分光元件投射到面阵相机；计算机软件和硬件用来控制高光谱成像系统采集数据，针对特定的应用进行图像和光谱数据的处理与分析，同时还可以为高光谱图像提供存储空间。
 
 
 
高光谱的优势
 

 
随着高光谱成像的光谱分辨率的提高，其探测能力也有所增强。因此，与全色和多光谱成像相比较，高光谱成像有以下显著优势。
 
1. 有着近似连续的地物光谱信息。高光谱影像在经过光谱反射率重建后，能获取与被探测物近似的连续的光谱反射率曲线，与它的实测值相匹配，将实验室中被探测物光谱分析模型应用到成像过程中。
 
2. 对于地表覆盖的探测和识别能力极大提高。高光谱数据能够探测具有诊断性光谱吸收特征的物质，能准确的区分地表植被覆盖类型，道路地面的材料等。
 
3. 地形要素分类识别方法是多种多样的。影像分类既可以采用如贝叶斯判别、决策树、神经网络、支持向量机的模式识别方法，也可以采用基于被探测物的光谱数据库的光谱进行匹配的方法。分类识别特征是既可以采用光谱诊断特征，也可以采用特征选择与提取。
 
4. 地形要素的定量和半定量分类识别将成为可能。在高光谱影像中能估计出多种被探测物的状态参量，大大的提高了成像高定量分析的精度和可靠性。
 
高光谱成像技术应用
 

 
    1. 食品安全

 
高光谱成像技术融合了传统的成像和光谱技术的优点,可以同时获取被检测物体的空间信息和光谱信息,因此该技术既可以像检测物体的外部品质,又可以像光谱技术一样检测物体的内部品质和品质安全。目前,已经有大量的基于高光谱成像技术检测水果和蔬菜品质与安全的研究性论文发表。
 
2. 医学诊断
 
高光谱成像是一个新兴的,非破坏性的,先进的光学技术,它具有光谱和成像的双重功能,这种双重功能使得高光谱成像能够同时提供实验对象的化学和物理特征,并具有良好的空间分辨率。高光谱成像作为一种特殊光学诊断技术,具有成像系统多样化、研究对象广泛化、临床诊断实用化和分析方法功能化等特征，具有原位实时活体诊断疾病(特别是肿瘤)的潜力,临床应用前景广阔,值得深入研究。
 
3.航天领域
 
根据目前公开的信息可以认为航天高光谱成像仪将进入新一轮发展。在仪器性能方面民用高光谱成像仪主要通过扩大幅宽提高灵敏度等措施来满足地球科学等应用需求；军用高光谱成像仪将在空间分辨率谱段覆盖和信息实时处理能力方面进一步发展 。根据现有能力和水平国内发展空间分辨率30m左右幅宽大于60km的航天高光谱成像系统的条件已经基本具备，这样的技术指标已经能够满足矿产调查环境监测和农林估产等需求并具有一定的先进性。
 
下载1：OpenCV-Contrib扩展模块中文版教程

 
在「小白学视觉」公众号后台回复：扩展模块中文教程，即可下载全网第一份OpenCV扩展模块教程中文版，涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。
 
下载2：Python视觉实战项目52讲
 
在「小白学视觉」公众号后台回复：Python视觉实战项目，即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目，助力快速学校计算机视觉。
 
下载3：OpenCV实战项目20讲
 
在「小白学视觉」公众号后台回复：OpenCV实战项目20讲，即可下载含有20个基于OpenCV实现20个实战项目，实现OpenCV学习进阶。
 
交流群

 
欢迎加入公众号读者群一起和同行交流，目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群（以后会逐渐细分），请扫描下面微信号加群，备注：”昵称+学校/公司+研究方向“，例如：”张三 + 上海交大 + 视觉SLAM“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告，否则会请出群，谢谢理解~