红外图像和灰度图像、彩色图像

1. 概念

红外图象：是获取物体红外光的强度，而成的图象
灰度图象：是获取物体可见光的强度
彩色图像：每个像素由R、G、B分量构成的图像
红外图像和灰度图像的数据格式是一样的，都是单通道图象，而彩色的是3通道图象。

2. 红外图像和灰度图像的区分

红外图像和灰度图像本身就不是在同一分类标准下得到的概念。
红外图像是红外成像设备采集目标在红外波段的辐射形成的影像，这个图像可以是灰度图像，也可以彩色图像。同样的道理，可见光图像可以是灰度图像，也可以彩色图像。
灰度图像是相对彩色图像而言的。灰度图像没有颜色，灰度值由0变化至255时，图像由黑变白。
（原文链接：https://blog.csdn.net/qq_37405118/article/details/106782076）

红外彩色图像：
红外灰度图像

3. 红外探测的原理

原文链接：https://zhuanlan.zhihu.com/p/67719009

4. 红外热成像能否穿透墙壁
   原文链接：https://www.zhihu.com/question/264497610/answer/282536148

红外热像仪具有不受低照度、太阳强光的干扰,可穿透烟雾、雾霾等特点。但厚衣服无法穿透，完全不透光的物体也是无法穿透观测的。

因此，天气恶劣时，行人打黑伞，穿厚衣服，那么红外图像的行人图像就会较难识别，比较模糊。有的也会因为树林的遮挡而不能判断是否是行人。

红外图像成像特点：

由于红外图像是通过“测量”物体向外辐射的热量而获得的，故与可将光图像相比：

1. 分辨率差
2. 对比度低
3. 信噪比低
4. 视觉效果模糊
5. 灰度分布与目标反射特征无线性关系

局部不变特征

目前绝大多数景物匹配算法提取的都是全局不变特征，它能很好解决同一目标的一致性判决问题，但很难消除图像的成像畸变。当图像之间的成像畸变很复杂时，利用全局信息进行匹配非常困难，特别是存在局部遮挡时，全图特征会随之变化。

基于以上特点，红外图像的匹配识别与跟踪一般都是基于特征的方法，一般都是采用局部不变特征来对红外图像进行处理识别。

局部特征提取，即，将图像整体分割成若干个组成部分，对每一部分提取全局特征。此处的分割并不是我们直观认为的分割，理想情况下，人们总希望局部特征对应客观世界的物体的一部分，但是这是不现实的，往往需要借助图像处理技术对高层场景进行理解。

局部稳定特征有：

1. 角点特征
2. 边缘特征
3. 直线特征
4. 纹理特征
5. 基于以上特征构建的特征

特征提取步骤：

1. 局部不变特征检测：检测特征的位置————检测子算法
2. 局部不变特征描述：定量化数据描述方法——描述子算法

不变特征检测算法

• 角点检测算子 
  
  • Harris
  • SUSAN
  • CSS
  • FAST（features from accelerated segment test） 等
• 斑点检测算子 
  
  • DoG（高斯差分算子）
  • Multi-Scale Harris
  • SIFT
  • SURF等
• 区域检测子 
  
  • Salient Region
  • EBR
  • IBR
  • MSER
  • Hessian-Affine
  • Harrise-Affine等

特征描述算子

特征描述算子是一种图像局部结构特征的定量化数据描述，它应该能充分反应特征点附近图像的形状和纹理结构特性。

一个理想的特征描述子应该具有以下特征：

1. 鲁棒性：仿射变换/密度变换/噪声干扰下具有稳定工作的能力
2. 独特性：局部结构发生变化时，具有捕获和反应这一变化的能力
3. 匹配速度：相似性比较时的运算速度，特征空间维数越高，速度越差

描述子分类：

• 基于图像梯度分布（SIFT）
• 基于空间频率

• 基于微分和不变矩

参考：http://blog.csdn.net/horseinch/article/details/51819448

                                                                                     **行人检测**

1.opencv无法使用
已解决

2.pytorch安装时，无法使用CUDA****
安装这个cuda花了我将近20多天的时间，一直找不到问题所在，后来发现是电脑英伟达驱动没有正确更新（快被这个气死了），然后从官网更新了驱动，问题就解决了。

3.pycharm中解释器无效的问题
这个一般就是路径问题，在settings里面找到interinterpreter，然后找到合适的解释器就可以了。

4如何将.anaconda与pycharm链接问题
配置解释器，选择conda版本的就行了

5.pycharm、python命令行、juypyter三者的区别与优缺点
网上都有，这个就略过了

6.pytorch的版本问题，安装完之后无法与电脑的cuda相匹配，也就是说，下载好之后检验的时候显示false
先解决CUda的问题，然后再去下pytorch

7.如何对红外图像进行简单的预处理
未能实现

8.数字图像想处理中的基本函数
已学习

9.红外图像的目标特性、背景特性、噪声特性
已学习

10.pytorch、TensorFlow常用的深度学习开元框架应该从什么地方开始学习，以及需要学到什么程度
因为电脑配置一直不正确，所以暂未学习这两个框架
更新：上面两个二选一就好了，学会构建模型就行了。

11.研究图像处理
图像采样和量化、图像的表示和可视化、简单的图像处理、彩色图像处理、空间滤波、频域滤波、图像特征提取、图像压缩、图像小波变换与多分辨率
（1）.图像特征提取
全局特征：颜色、纹理、形状、空间位置关系特征
局部特征图像边缘特征提取、图像点特征提取
图像边缘特征提取：马尔算子也叫作高斯——拉普拉斯边缘检测算子，是按零交叉检测阶跃状边缘的最佳算子
（2）简单的图像处理
图像基本属性的操作
图像的简单运算
图像卷积操作

12.研究行人目标检测和跟踪方法
预处理→传感器→降噪、增强、→分类检测→图像分割→模型提取→感兴趣区域→行人识别→实现行人检测
行人检测算法：深度学习
深度学习：（1）两部检测算法：备选区划分、判断
（2）单步检测算法：合二为一、SSD、YOLO算法
跟踪方法：将曲线拟合和相关跟踪相结合的红外目标跟踪算法
论文一：夜间复杂场景下红外图像行人检测算法研究
利用先验语义进行ROI提取，够早改进的HOG二分支分类器进行探测，同时利用遮挡判别算法，设计头部检测算子对遮挡行人进行二次判别。问题：满足不了实时性的问题，在行人较多的时候效果有限

论文二：基于深度卷积神经网络的红外图像行人检测
传统的红外行人检测需要人工设计目标表达特征，从深度学习的角度出发，提出可以自动构建目标表达特征的红外行人检测卷积神经网络，设计了红外行人检测卷积神经网络的初始结构，再对初始的神经网络进行调整。问题：网络训练耗时过长

论文三：基于YOLO算法的红外图像目标检测的改进方法
传统红外图像行人检测方法利用人工进行比例模板设计和行人轮廓特征提取。基于深度学习的目标检测通过大量样本的本质特征进行抽象、提取、加工和整合，进而实现对更多样本特征的学习
YOLO3算法：利用回归的方法进行深度学习的检测方法，相对于SSD需要调试经验来说，这个算法更胜一筹，并且这个算法检测速率与检测准确率相对平衡
SSD算法：在调试过程中对调试经验有很大依赖性

论文四：基于改进的SSD的视频行人目标检测
基于视频行人检测的深度学习检测框架不能充分利用上下帧的运动信息，并且计算复杂度较高的问题，提出一种改进的SSD检测框架，框架将SSD的基础特征提取网络的VGG-16替换为改进的MobileNet从而实现计算量的减少，并且将GRU与改进的SSD结合以建立帧与帧之间的关联性。这种方法准确率提高了，运算量减少了。
问题：在调试中非常依赖调试经验，对于经验不足的我们来说，或许YOLO算法是更好的选择

论文五：行人检测综述
行人检测技术的流程：预处理→ROI提取→特征提取→分类→跟踪
方法：背景差分法
帧间差分法
模板匹配法
光流技术（不考虑使用）
深度学习：目前考虑使用这个方法，但是担心训练时间耗时过长，无法按时完成任务

13.总结
所以总体来说，应该对这个夜间复杂场景下红外图像行人检测系统设计有一个大致的规划，首先是对红外图像能够进行简单的预处理（特征提取、图像分割），然后去寻找一种合适的深度学习的算法（目前打算选择YOLO3算法）去实现行人检测，再一个就是去学习pytorch和TensorFlow这两个动态和静态的框架，学习完之后自己去建立一个深度学习框架，完成行人检测系统的设计。

这篇是我的个人学习笔记，本人也是小白，有很多问题也不太懂，个人学习用，不建议作为参考