最近看行人重识别论文，有些研究方向是红外和可见光图片的跨模态识别，对于红外图片不是很了解，于是去网上查了相关知识
红外图象 是获取物体红外光的强度，而成的图象

灰度图象 是获取物体可见光的强度

对于数据格式，是一样的，都是单通道图象

而彩色的是3通道图象

一般红外探测器送出来的是16位的单通道图像,因为要送显才被转化成8位单通道,如果说是24位的话其实相当于R=G=B各8位。

红外图像成像特点：由于红外图像是通过“测量”物体向外辐射的热量而获得的，故与可将光图像相比：分辨率差、对比度低、信噪比低、视觉效果模糊、灰度分布与目标反射特征无线性关系。
红外图像和灰度图像本身就不是在同一分类标准下得到的概念。

红外图像是红外成像设备采集目标在红外波段的辐射形成的影像，这个图像可以是灰度图像，也可以彩色图像。同样的道理，可见光图像可以是灰度图像，也可以彩色图像。

灰度图像是相对彩色图像而言的。灰度图像没有颜色，灰度值由0变化至255时，图像由黑变白。

彩色图像
#include <iostream>
#include <Kinect.h>
#include <opencv2\highgui.hpp>

using   namespace   std;
using   namespace   cv;

int main(void)
{
    IKinectSensor   * mySensor = nullptr;           //第1步打开Sensor
    GetDefaultKinectSensor(&mySensor);
    mySensor->Open();

    IColorFrameSource   * mySource = nullptr;       //第2步获取Source
    mySensor->get_ColorFrameSource(&mySource);

    int     height = 0, width = 0;                  //取得宽和高等下用
    IFrameDescription   * myDescription = nullptr;
    mySource->get_FrameDescription(&myDescription);
    myDescription->get_Height(&height);
    myDescription->get_Width(&width);

    IColorFrameReader   * myReader = nullptr;       //第3步打开Reader
    mySource->OpenReader(&myReader);

    Mat img(height,width,CV_8UC4);
    IColorFrame     * myFrame = nullptr;
    while (1)
    {
        if (myReader->AcquireLatestFrame(&myFrame) == S_OK) //第4步获取Frame
        {
            UINT    size = 0;
            myFrame->CopyConvertedFrameDataToArray(width * height * 4,(BYTE *)img.data,ColorImageFormat_Bgra);
            imshow("TEST",img);
            myFrame->Release();
        }
        if (waitKey(30) == VK_ESCAPE)
            break;
    }
    myReader->Release();        //记得要释放
    myDescription->Release();
    mySource->Release();
    mySensor->Close();
    mySensor->Release();

    return  0;
}
详细解释：
读取彩色图像的步骤和读取深度图像的是一样的，区别在于数据输出的处理上。Kinect V2使用的图像格式是YUY2，不太好处理，好在彩色帧自带了一个转换函数CopyConvertedFrameDataToArray(),它的：
第一个参数是所需的大小
第二个参数是目标数组
第三个参数是要转换的格式，其中第三个参数的类型可以在这里找到。
第一个参数的大小为图像的长乘上宽再乘上4个通道。

因为我们要转成RGB,但是枚举量里带RGB的都还有一个A，这个A代表的是透明度，成了RGBA，所以开Mat时要开成四通道的（另外选8位而不选16位的原因我个人理解是，那个转换函数第二个参数要求类型是BYTE，而一个BYTE是8位的）。
令我费解的是，Rgba和Bgra只是通道的顺序不同，混合出来的效果应该是一样的，但是如果选用Rgba，显示出来的颜色就不正确。懂了以后更新。(更新：原来OpenCV在使用数据时，不是简单的把输入的三种颜色叠加，而是把输入的值当成对应的颜色的值，然后叠加这些值，OpenCV用的颜色模式是BGR，所以RGB中R的量就成了B的量，B的量就成了R的量，因此显示出的图像色彩就不对了)。
红外图像
#include <iostream>
#include <Kinect.h>
#include <opencv2\highgui.hpp>

using   namespace   std;
using   namespace   cv;

int main(void)
{
    IKinectSensor   * mySensor = nullptr;               //第1步打开Sensor
    GetDefaultKinectSensor(&mySensor);
    mySensor->Open();

    IInfraredFrameSource    * mySource = nullptr;       //第2步获取Source
    mySensor->get_InfraredFrameSource(&mySource);

    int     height = 0, width = 0;                      //取得宽和高等下用
    IFrameDescription   * myDescription = nullptr;
    mySource->get_FrameDescription(&myDescription);
    myDescription->get_Height(&height);
    myDescription->get_Width(&width);

    IInfraredFrameReader    * myReader = nullptr;       //第3步打开Reader
    mySource->OpenReader(&myReader);

    Mat img(height,width,CV_16UC1);
    IInfraredFrame  * myFrame = nullptr;
    while (1)
    {
        if (myReader->AcquireLatestFrame(&myFrame) == S_OK) //第4步获取Frame
        {
            myFrame->CopyFrameDataToArray(height * width,(UINT16 *)img.data);
            imshow("TEST",img);
            myFrame->Release();
        }
        if (waitKey(30) == VK_ESCAPE)
            break;
    }
    myReader->Release();        //记得要释放
    myDescription->Release();
    mySource->Release();
    mySensor->Close();
    mySensor->Release();

    return  0;
}
详细解释
可见此段代码于上一段几乎一样，只是输出数据时换个函数就行了，Mat开16位是因为CopyFrameDataToArray()中第2个参数指定16位，因此这样的推论应该是正确的。






转载于:https://www.cnblogs.com/xz816111/p/5184881.html

简介：    

     一种自适应参考图像的可见光与热红外自然感彩色图像融合算法，实现参考图像的自适应选择，提高自然感彩色融

合算法的环境适应性。

算法流程：



用到公式如下：









理论在这篇文章写得很详细：https://blog.csdn.net/u013165921/article/details/78152578

今天弄出效果图如下：



还行，比我开始弄的色彩提升要好，但对比度不够，得再弄个CLAHE什么的增强一下（也有可能是代码撸错了）。


 

红外图像和灰度图像、彩色图像

概念

红外图象：是获取物体红外光的强度，而成的图象

灰度图象：是获取物体可见光的强度

彩色图像：每个像素由R、G、B分量构成的图像

红外图像和灰度图像的数据格式是一样的，都是单通道图象，而彩色的是3通道图象。

红外图像和灰度图像的区分

红外图像和灰度图像本身就不是在同一分类标准下得到的概念。

红外图像是红外成像设备采集目标在红外波段的辐射形成的影像，这个图像可以是灰度图像，也可以彩色图像。同样的道理，可见光图像可以是灰度图像，也可以彩色图像。

灰度图像是相对彩色图像而言的。灰度图像没有颜色，灰度值由0变化至255时，图像由黑变白。

（原文链接：https://blog.csdn.net/qq_37405118/article/details/106782076）
红外彩色图像：

红外灰度图像



红外探测的原理

原文链接：https://zhuanlan.zhihu.com/p/67719009

红外热成像能否穿透墙壁

原文链接：https://www.zhihu.com/question/264497610/answer/282536148

红外热像仪具有不受低照度、太阳强光的干扰,可穿透烟雾、雾霾等特点。但厚衣服无法穿透，完全不透光的物体也是无法穿透观测的。
因此，天气恶劣时，行人打黑伞，穿厚衣服，那么红外图像的行人图像就会较难识别，比较模糊。有的也会因为树林的遮挡而不能判断是否是行人。