点击上方“3D视觉工坊”，选择“星标”
 
干货第一时间送达
 

 
文章导读
 
本文介绍无人驾驶中几种主流的环境感知传感器，包括视觉摄像机、毫米波雷达、超声波雷达、激光雷达。通过分析对比每种传感器的原理和优缺点，进一步理解不同场景下如何构建感知方案。
 
1
 
感知传感器
 
在无人驾驶中，传感器负责感知车辆行驶过程中周围的环境信息，包括周围的车辆、行人、交通信号灯、交通标志物、所处的场景等。为无人驾驶汽车的安全行驶提供及时、可靠的决策依据。目前常用的车载传感器包括相机、毫米波雷达、超声波雷达、激光雷达等。根据各个传感器的特性，在实际应用中往往采用多种传感器功能互补的方式进行环境感知。
 

 
2
 
视觉摄像机
 
传感器原理
 
摄像头属于被动触发式传感器，被摄物体反射光线，传播到镜头，经镜头聚焦到CCD/CMOS芯片上，CCD/CMOS根据光的强弱积聚相应的电荷，经周期性放电，产生表示一幅幅画面的电信号，经过预中放电路放大、AGC自动增益控制，经模数转换由图像处理芯片处理成数字信号。
 
其中感光元器件一般分为CCD和CMOS两种：CCD的灵敏度高，噪声低，成像质量好，具有低功耗的特点，但是制作工艺复杂，成本高，应用在工业相机中居多；CMOS价格便宜，性价比很高，应用在消费电子中居多。为了满足不同功能的视觉需求，有很多不同种类的摄像机。
 
传感器分类
 
组合相机：这里指无人驾驶前视环境感知中常出现的单目/双目/三目，由不同焦距组成光学阵列，用于探测不同范围内的目标。
 
传统的单目做前视感知一般FOV较小，景深会更远，能够探测远距离障碍物，比如mobileye早期产品采用52°的镜头，当然现在主推的是100°摄像头能够感知更广的范围。
 
双目相机利用视差原理计算深度，通过两幅图像因为相机视角不同带来的图片差异构成视差。双目立体视觉在测距精度上要比单目做深度估计准确很多。
 
三目相机采用三个不同焦距单目摄像机的组合，弥补了视野范围和景深不可兼得的问题，由宽视野的摄像头感知近距离范围，中视野的摄像头感知中距离范围，窄视野的摄像头感知远处目标。在AutoPilot 2.0的方案中三个摄像头分别为前视窄视野摄像头（最远感知250米）、前视主视野摄像头（最远感知150米）及前视宽视野摄像头（最远感知60米）。
 

 
鱼眼相机：由十几个不同的透镜组合而成，在成像的过程中，入射光线经过不同程度的折射，投影到尺寸有限的成像平面上，使得鱼眼镜头拥有更大的视野范围。鱼眼相机的视场角一般能达到190°，广阔的视野范围也带来严重的图像畸变。通常应用在自动驾驶泊车功能中，安装在车辆前后保险杠处各一颗，左右后视镜下方各一颗，四颗鱼眼相机拼接成全景图覆盖车身周围5米左右范围做车位线检测。
 

 
红外相机：利用普通CCD摄像机可以感受红外光的光谱特性，配合红外灯作为照明源达到夜视成像的效果，通常在芯片表面加滤光涂层或在镜头中加滤光片滤掉人眼不可见的光以恢复原来色彩，具有夜视效果。近红外线的绕射能力虽然可以穿透烟雾、墨渍、涤纶丝绸之类的材料，但是并不能穿透所有丝织物，所以红外相机是做不到对人体的透视功能的~~~。
 
除了上述几种摄像机，其实还有事件摄像机，结构光摄像机，全景摄像机等，在无人驾驶的感知中目前涉及较少。
 
传感器特性
 
视觉摄像机能够得到丰富的纹理，特征信息，相比毫米波、激光雷达，采用图像数据能够实现车道线检测，交通标识符检测，freespace等功能。但是也有其不足之处，比如：
 
相机容易受到光照的影响：
在强光直射或者阴影背光的情况下成像质量较差；
物体高速运动时容易产生运动模糊；
 
3
 
毫米波雷达
 
传感器原理
 
毫米波雷达通过发射无线电波，然后接收反射回来的信号，通过电磁波返回的飞行时间计算目标的相对距离；根据多普勒原理，当发射的无线电波和被探测目标有相对移动、回波的频率会和发射波的频率不同，通过检测频率差计算目标的相对速度。
 
根据测距原理可以将毫米波雷达分成脉冲测距雷达和连续波测距雷达，由于调频连续波技术成本低廉、技术成熟并且信号处理复杂度低，所以FWCW调制方式的毫米波雷达成为主流。内部结构主要包括收发天线、射频前端、调制信号、信号处理模块等。
 
传感器分类
 
常用的车载毫米波雷达按照频率分为24GHz、77GHz和79GHz，也有少数地区研究其他频率的毫米波雷达，比如日本主要采用60GHz。频率越低，绕射能力越强，所以信号损失越小。通常24GHz毫米波雷达用于近距离探测，77GHz的毫米波雷达用于远距离探测，79GHz的毫米波从带宽、分辨率等方面均优于前者，将成为未来的发展方向。
 

 
近距离雷达（SRR）：如上图所示，车辆四周的角雷达和安装于车辆后方的雷达，常用24GHz的毫米波探测40米以内的目标。
 
远距离雷达（LRR）：安装于车辆前保险杆上的前雷达常用77GHz的毫米波探测200米以内的目标并和摄像头的目标输出做后融合。
 
79GHz的毫米波雷达频率更高，波长更短，分辨率更高，所以在远距离测距，测速上性能优于77GHz，并且由于体积较小，是将来发展趋势。
 
传感器特性
 
毫米波雷达测量距离远，通常能达到200多米，并且受天气影响较小，电磁波在雨雪、大雾、粉尘中具有良好的穿透性。但是也有其不足之处，比如：
 
对某些材质回波弱比如行人、锥桶或塑料制品等识别率较差；
对金属材质特别敏感，导致虚警率很高；
采样稀疏导致原始数据噪声大，目标抖动；
径向目标探测较准，但是切向目标敏感度差；
原始数据只有距离和角度信息，缺乏目标高度信息；
 
4
 
超声波雷达
 
传感器原理
 
超声波雷达通过声音在空气中传输的时间来判断障碍物的距离，在5米以内的精度能达到厘米级范围。其原理是利用超声波在空气中的传播速度，测量声波在发射后遇到障碍物反射回来的时间，根据发射和接收的时间差计算其到障碍物的距离。主流的工作频率有40KHz、48KHz、58KHz三种。
 
传感器分类
 
针对泊车场景一般在车辆周围安装12颗超声波雷达，车辆前后各安装4颗短距离超声波雷达，左右各安装2颗长距离超声波雷达。
 

 
短距离超声波（UPA）测量范围一般在3米以内，如上图所示，安装在车辆的前后保险杠处用于倒车时探测近处障碍物，常用于倒车报警功能。
 
远距离超声波（APA）测量范围一般在5米以内，安装在车辆左右各两颗，用于探测近处障碍物并判断空车位，常用于泊车辅助功能。
 
传感器特性
 
超声波雷达受到雨水、粉尘、泥沙的干扰较小，在空气中穿透性强、 衰减小，短距离探测中精度较高，常用于泊车场景。但是也有其不足之处，比如：
 
声波的传输容易受到天气温度的影响，高低温情况下测距误差较大；
声速相比光速较慢，车速较快时超声波测距无法跟上汽车车距的实时变化，误差较大；
超声波雷达的输出是在视野范围内的距离值，但是无法准确的给出目标位置；
 
5
 
激光雷达
 
传感器原理
 
激光雷达是主动测量传感器，通过对外发射激光脉冲来进行物体检测和测距。根据测距方法的不同可以分为三角法测距、TOF法测距、相干法测距。市面上用的比较多的还是TOF测距的激光雷达。
 
基于TOF测距的激光雷达通过激光器以不同的角度发送多束激光，遇到障碍物后反射回来由接收器接收，最后激光雷达通过计算激光发射和接收的时间差，计算障碍物的相对距离，并根据接收到的强度信息分析障碍物的材质。
 
传感器分类
 
激光雷达从工作方式上可以分为
 
机械式激光雷达
混合固态激光雷达
固态激光雷达
 
机械式激光雷达通过底部旋转马达带动激光束进行360°扫描，每扫描一圈得到一帧激光点云数据，扫描一圈的时间称为一个扫描周期。通过测量激光信号的时间差和相位差来确定距离，并根据每条扫描线的角度和扫描旋转角度构建极坐标关系。
 

 
混合固态激光雷达将机械式的外部旋转元器件做到了设备内部，比如MEMS技术直接在硅基芯片上集成体积十分精巧的微型扫描镜，并通过 MEMS 扫描镜来反射激光器的光线，从而实现微米级的运动扫描。
 

 
固态激光雷达比如相阵控技术通过调节相位偏移来改变激光束的发射方向，从而实现整个平面的扫描。其原理是相控阵发射器由若干发射接收单元组成一个矩形阵列，通过改变阵列中不同单元发射光线的相位差，可以达到调节射出波角度和方向的目的。
 

 
性能指标
 
波长：大多数激光雷达采用905nm波长的光源，也有部分远距离探测雷达使用1550nm的波长。波长越长功率越大，通俗点说就是通过大力出奇迹的方式堆功率来探测的更远。针对多个激光雷达相同波段干扰问题，可以采用连续波调频技术解决。
 
线数：激光雷达可以分为单线、16线、32线、64线、128线等，线数越多单位时间内采样的点数就越多，分辨率越高。单线激光雷达常出现在机器人领域用于扫地机避障等功能；16线激光雷达在园区小车上曝光率较多，用于slam或者近距离障碍物检测；32线和64线激光雷达由于点云更加稠密，采用深度学习技术进行目标识别具有很好的周围环境感知能力。
 
分辨率：包括水平角分辨率和垂直角分辨率，机械式激光雷达水平角分辨率一般在0.08°，垂直角分辨率根据线数的不同有较大的变化，16线激光雷达的垂直角分辨率为2°，呈现出的一帧点云较为稀疏。
 
视场角：包括水平视场角和垂直视场角，机械式激光雷达的水平视场角为360°，垂直视场角一般在20°~50°之间。固态激光雷达达不到全视野范围，水平视场角通常小于100°，垂直视场角通常在20°~70°之间。
 
扫描频率：采样频率在5~20Hz之间，一般默认10Hz，线数越多，每一帧的点数越多。比如16线激光雷达，按照10Hz采样，每帧大约30000多个点。
 
传感器特性
 
激光雷达对光照变化不敏感，不受夜晚场景的影响，可以全天候工作；测距精度相比其他传感器都要高，具有一定的抗干扰能力；感知周围信息量较为丰富；但是也有其不足之处，比如：
 
受雨雪、雾天、粉尘等气候影响性能下降；
对某些低反射特性的材料测距精度不佳；
硬件价格昂贵
 
6
 
各传感器对比
 
从探测距离角度，毫米波雷达（长距）和激光雷达（远距离）均能探测到200左右的物体；摄像机虽然能看到更远的物体，但是远距离测量精度不准，单目估计在20米以外精度就开始下降，立体相机测量80米以外的物体精度也明显下降；超声波雷达用于近距离探测，探测距离通常在3米以内。
 
从测速功能角度，只有毫米波雷达能够通过多普勒频移直接获得物体速度；激光雷达，摄像机，超声波三种传感器均不能直接获得物体速度。
 
从抗干扰角度，摄像机作为被动传感器，依赖外部环境光，在夜间的探测能力较大；而毫米波雷达、超声波雷达、激光雷达均是有源传感器，不受白天/黑夜的影响，具有较好的鲁棒性。在雨雪、大雾、粉尘等天气状况下，毫米波雷达具有良好的穿透性，所以性能不受显著影响；而摄像机、激光雷达在探测性能上有不同程度的衰减。
 

 

光学摄像机
毫米波雷达
超声波雷达
激光雷达
探测距离
中
远
近
较远
探测精度
低
中
较高
高
抗干扰能力
受光照、雨雪、粉尘影响
全天候不受环境影响
受大风、温度影响
受雨雪、粉尘影响
硬件成本
中低
中
低
高
 

 
本文仅做学术分享，如有侵权，请联系删文。
 
下载1
 
在「3D视觉工坊」公众号后台回复：3D视觉，即可下载 3D视觉相关资料干货，涉及相机标定、三维重建、立体视觉、SLAM、深度学习、点云后处理、多视图几何等方向。
 
下载2
 
在「3D视觉工坊」公众号后台回复：3D视觉github资源汇总，即可下载包括结构光、标定源码、缺陷检测源码、深度估计与深度补全源码、点云处理相关源码、立体匹配源码、单目、双目3D检测、基于点云的3D检测、6D姿态估计源码汇总等。
 
下载3
 
在「3D视觉工坊」公众号后台回复：相机标定，即可下载独家相机标定学习课件与视频网址；后台回复：立体匹配，即可下载独家立体匹配学习课件与视频网址。
 
重磅！3DCVer-学术论文写作投稿 交流群已成立
扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。
同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。
一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。
▲长按加微信群或投稿
▲长按关注公众号
 
3D视觉从入门到精通知识星球：针对3D视觉领域的知识点汇总、入门进阶学习路线、最新paper分享、疑问解答四个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近3000星球成员为创造更好的AI世界共同进步，知识星球入口：
 
学习3D视觉核心技术，扫描查看介绍，3天内无条件退款
 圈里有高质量教程资料、可答疑解惑、助你高效解决问题
觉得有用，麻烦给个赞和在看~  
 

 
文章目录
 
一、多传感器融合需要面对的问题
1、数据对准问题
1.1 统一时钟：同步不同传感器的时间戳
1.2 统一坐标系 ：运动补偿+传感器标定
   
2、数据不确定性问题：
  
二、各种传感器性能对比
1、摄像头​
2、毫米波雷达：ADAS 核心传感器
3、激光雷达
4、精度指标
  
三、多传感器融合体系结构：​
1、目标状态估计
1.1 分布式
1.2 集中式。
1.3混合式。
1.4 三种结构对比
   
2、 目标身份估计
2.1 像素级融合
2.2 特征级融合：分为目标状态信息融合和目标特性融合
2.3 决策级融合
2.4 三种融合体系结构的对比
  
  
四、多传感器融合算法
1、 分类1
1.1 基于物理模型
1.2 基于参数分类技术
1.3 基于认知方法
   
2、分类2
2.1 随机类：
2.2 人工智能类
  
  
参考：

 
一、多传感器融合需要面对的问题
 
1、数据对准问题
 
先决条件：统一坐标系和时钟
 
目的是实现三同一不同：同一个目标在同一个时刻出现在不同类别的传感器的同一个世界坐标处
 
1.1 统一时钟：同步不同传感器的时间戳
 
（1）GPS时间戳的时间同步方法
 
需要看传感的硬件是否支持
 
存在问题：不同传感器的数据频率是不同的
 
（2）硬同步方法
 
以激光雷达作为触发其它传感器的源头，当激光雷达转到某个角度时，才触发该角度的摄像头
 （应该是以频率最低的传感器为触发，多为Lidar）
 
1.2 统一坐标系 ：运动补偿+传感器标定
 
（1）运动补偿
 主要针对长周期的传感器，如lidar ，周期为100ms。 周期开始的时间点和结束时间点车辆是处于不同位置的，导致不同时刻采集的数据所处坐标系不同。
 

 自动驾驶车拥有比较准确的实时定位信息，它可提供T和T+1两个时刻内，车本身的姿态差距，利用姿态差，可以比较容易补偿。因而比较容易解决
 
（2）传感器标定 : 分为内参标定和外参标定。
 
 
 
内参标定：解决单独的每个传感器与世界坐标系间的变换；
 外参标定：在世界坐标系下，解决的不同传感器间的变换。
 
 
注: 需要所有传感器单位统一
 
 
2、数据不确定性问题：
 
因为传感器的工作环境不同，可能受到外部环境雨雪、光线的影响，也可能受到内部的温度、电压影响，还可能出现路面颠簸等特殊情况 ，使得数据出现不准确的问题。
 
在数据融合过程中，如何通过算法来甄选出哪些是噪声数据，哪些是真实数据也是一个需要解决的问题。
 
二、各种传感器性能对比
 

 
 
1、摄像头​
 
摄像头分为前视、侧视、后视和内置
 
 
 
 
价格 从 2010 年的 300 多元持续走低，到 2014 年单个摄像头价格已降低至 200 元左右，易于普及应用。
 
 
 
 
分辨率 目前路面上图像传感器的分辨率已经达到1百万像素。在未来几年内，图像传感器的发展趋势将是2百万，甚至4百万像素。
 
 
 
 
功能 立体摄像机往往用于获取图像和距离信息； 交通标志摄像机用于交通标志的识别；
 
 
全景泊车系统 :
 
通过安装在车身周围的多个超广角摄像头，同时采集车辆四周的影像，经过图像处理单元矫正和拼接之后，形成一副车辆四周的全景俯视图，实时传送至中控台的显示设备上
 
 
2、毫米波雷达：ADAS 核心传感器
 
 
 
特点：
 1）同厘米波导引头相比，毫米波导引头体积小、质量轻和空间分辨率高
 
 
2）与红外、激光等光学导引头相比，毫米波导引头穿透雾、烟、灰尘的能力强，传输距离远，具有全天候全天时的特点；
 
 
3）性能稳定，不受目标物体形状、颜色等干扰。毫米波雷达很好的弥补了如红外、激光、超声波、 摄像头等其他传感器在车载应用中所不具备的使用场景。
 
 
 
 
探测距离一 般在 150m-250m 之间，高性能Radar能达到300m
 
 
 
 
功能 能够监测到大范围内车辆的运行情况，同时对于前方车辆的速度、加速度、距离等信息的探测也更加精准，因此是自适应巡航（ACC）、自动紧急刹车(AEB)
 的首选传感器
 
 
 
 
价格 目前 77GHz 毫米波雷达系统单价大约在 250 欧元左右，高昂的价格限制了毫米波雷达的车载化应用。
 
 
 
 
安装 毫米波雷达一般安装在车辆的前保险杆里，用于测量相对于车辆坐标系下的物体，可以用来定位，测距，测速等等，容易受强反射物体的干扰，通常不用于静止物体的检测；
 
 
3、激光雷达
 
 
 
特点
 1）分辨率高。可获得极高的角度、距离和速度分辨率，这意味着激光雷达可以利用多普勒成像技术获得非常清晰的图像。
 2）精度高。激光直线传播、方向性好、光束非常窄，弥散性非常低。
 3）抗有源干扰能力强。与微波、毫米波雷达易受自然界广泛存在的电磁波影响的情况不同，自然界中能对激光雷达起干扰作用的信号源不多。
 
 
 
 
功能 可以测量出周边其他车辆在三个方向上的距离、速度、加速度、角速度等信息，再结合 GPS
 地图计算出车辆的位置，这些庞大丰富的数据信息传输给 ECU 分析处理后，以供车辆快速做出判断。
 
 
 
 
安装 三维激光雷达一般安装在车顶，使用红外激光束来获得物体的距离和位置，但是空间分辨率高，但是笨重，容易被天气影响。
 
 
4、精度指标
 
简单的传感器融合不外乎就是每个传感器的数据能大致在空间跟时间上能得到对齐。而整个多传感器融合技术的核心就在于高精度的时间以及空间同步。精度到什么量级呢？
 
时间上能得到10的-6次方，空间上能得到在一百米外3到5厘米的误差，这是一个典型的技术指标。
 
当然，多传感器同步技术的难度与时间和空间的要求是一个指数级的增加。在百米外能得到3cm的空间精度，换算成角度是0.015度左右。
 
三、多传感器融合体系结构：​
 
1、目标状态估计
 
 
 
在目标状态估计方面, 根据数据处理方法的不同, 多传感器信息融合系统的体系结构可以分为: 分布式、集中式和混合式
 
 
 
1.1 分布式
 
原理
 先对各个独立传感器所获得的原始数据进行局部处理，然后再将结果送入信息融合中心进行智能优化组合来获得最终的结果。
 
 优点：对通信带宽的需求低、 计算速度快、可靠性（在某一传感器失灵的情况下仍能继续工作）和延续性好
 
​缺点：对于传感器的计算能力有一定要求 ，信息的损失可能会大一些， 精度可能远没有集中式高 ，适用于远距离传感器信息反馈, 但在低通信带宽中传输会造成一定损失,
 
1.2 集中式。
 
将各传感器获得的原始数据不进行任何处理 直接送至中央处理器进行融合处理， 可以实现实时融合。
 
 
优点：没有信息损失，因而可以做最精准的判断，算法灵活，实时性好
 缺点：缺少底层传感器之间的信息交流，并且 传输的都是原始图像和日志信息，数据量大， 对中央处理器的要求高，可靠性较低，故难以实现。
 （这应该就是边沿计算诞生的原因之一吧）
 
1.3混合式。
 
混合式多传感器信息融合框架中，部分传感器采用集中式融合方式，剩余的传感器采用分布式融合方式。
 
 
​优点：有较强的适应能力，兼顾了集中式融合和分布式的优点，稳定性强。
 缺点：结构比前两种融合方式的结构复杂，对结构设计要求高，加大了通信和计算上的代价。​
 
1.4 三种结构对比
 
 
2、 目标身份估计
 
 
 
在以目标身份估计为目的的体系结构下, 根据多传感器信息融合技术抽象程度的不同, 可以将其划分为3个层次: 像素级融合、特征级融合、决策级融合
 
 
2.1 像素级融合
 
将同类别的传感器采集的同类型原始数据进行融合, 最大可能地保持了各预处理阶段的细微信息
 
 
由于融合进行在数据的最底层, 计算量大且容易受不稳定性、不确定性因素的影响。同时, 数据融合精确到像素级的准确度, 因而无法处理异构数据。
 
2.2 特征级融合：分为目标状态信息融合和目标特性融合
 
各传感器的原始数据结合决策推理算法, 对信息进行分类、汇集和综合, 提取出具有充分表示量和统计量的属性特征
 
 
 
 
根据融合内容, 特征级融合又可以分为
 1）目标状态信息融合：先进行数据配准以实现对状态和参数相关估计, 更加适用于目标跟踪。
 2） 目标特性融合 ：借用传统模式识别技术, 在特征预处理的前提下进行分类组合。
 
 
2.3 决策级融合
 
处理不同类型的传感器对同一观测目标的原始数据, 并完成特征提取、分类判别, 生成初步结论, 然后根据决策对象的具体需求, 进行相关处理和高级决策判决, 获得简明的综合推断结果
 
 实时性好、容错性高，面对一个或者部分传感器失效时, 仍能给出合理决策
 
2.4 三种融合体系结构的对比
 
 
四、多传感器融合算法
 
要求
 由于信息具有多样性和复杂性，因此对信息融合算法的基本要求是具有鲁棒性和并行处理能力。其他要求还有算法的运算速度和精度；与前续预处理系统和后续信息识别系统的接口性能；与不同技术和方法的协调能力；对信息样本的要求等。
 
一般情况下，基于非线性的数学方法，如果具有容错性、自适应性、联想记忆和并行处理能力，则都可以用来作为融合方法。
 
 
 
原理
 （1）多个不同类型传感器（有源或无源）收集观测目标的数据；
 （2）对传感器的输出数据（离散或连续的时间函数数据、输出矢量、成像数据或一个直接的属性说明）进行特征提取的变换，提取代表观测数据的特征矢量Yi；
 （3）对特征矢量Yi进行模式识别处理（如聚类算法、自适应神经网络或其他能将特征矢量Yi变换成目标属性判决的统计模式识别法等），完成各传感器关于目标的说明；
 （4）将各传感器关于目标的说明数据按同一目标进行分组，即关联；
 （5）利用融合算法将目标的各传感器数据进行合成，得到该目标的一致性解释与描述。
 
 
目前多传感器融合的理论方法有贝叶斯准则法、卡尔曼滤波法、D-S 证据理论法、模糊集理论法、人工神经网络法等
 
1、 分类1
 
1.1 基于物理模型
 
根据物理模型模拟观测结果, 并获取其与真实观测对象特征之间的相关性, 通过预先设置的系数阈值判断二者匹配程度。其中, 最主要的代表就是卡曼 (Kalman) 滤波技术（分为标准卡曼滤波、区间卡曼滤波和两阶段卡曼滤波）
 
能够动态、实时地融合低层次传感器数据, 依据系统的递推特性做出合理估计
 
适用于不同层次原始数据间的融合, 不需要系统强大的存储能力, 具有信息损失小的优点,
 
缺点是需要建立精确的观测对象模型, 数据需求量大, 适用范围比较窄。
 
1.2 基于参数分类技术
 
依照是否需要先验知识, 可以划分为有参技术与无参技术, 主要是从测量的数据中获取属性说明, 并与测量数据形成一种直接映射关系, 常用的该类算法有贝叶斯估计、人工神经网络等。
 
与卡曼滤波不同, 贝叶斯估计适用于静态环境。它利用条件概率组合多种传感器信息, 并且能够通过似然函数最小化方法, 将各单独传感器的关联概率联合成后验分布函数。
 
1.3 基于认知方法
 
以先验知识为基础, 需要深入了解观测目标的组成及内部关联结构, 根据原始数据或属性特征模仿人类的启发式推理过程, 做出判决, 以专家系统最为常用。
 
2、分类2
 
2.1 随机类：
 
（1）加权平均法
 
将一组传感器提供的冗余信息的加权平均作为结果。一种直接对数据源进行操作的最简单直观的方法。
 
（2）卡尔曼滤波法
 
主要用于融合低层次实时动态多传感器冗余数据。 如果系统具有线性动力学模型，且系统与传感器的误差符合高斯白噪声模型，则卡尔曼滤波将为融合数据提供唯一统计意义下的最优估计。
 
问题： ① 在组合信息大量冗余时，计算量将以滤波器维数的三次方剧增，实时性难以满足。② 传感器子系统的增加使故障概率增加，在某一系统出现故障而未被检测出时，故障会污染整个系统，可靠性降低。
 
（3）多贝叶斯估计法
 
将每一个传感器作为一个贝叶斯估计，把各单独物体的关联概率分布合成一个联合的后验概率分布函数，通过使联合分布函数的似然函数为最小，提供多传感器信息的最终融合值，融合信息与环境的一个先验模型以提供整个环境的一个特征描述。
 
（4）D-S证据推理法
 
该方法是贝叶斯推理的扩充，包含3个基本要点：基本概率赋值函数、信任函数和似然函数。
 
D-S方法的推理结构是自上而下的，分为三级：第一级为目标合成，其作用是把来自独立传感器的观测结果合成为一个总的输出结果（ID）；第二级为推断，其作用是获得传感器的观测结果并进行推断，将传感器观测结果扩展成目标报告。这种推理的基础是：一定的传感器报告以某种可信度在逻辑上会产生可信的某些目标报告；第三级为更新，各传感器一般都存在随机误差，因此在时间上充分独立地来自同一传感器的一组连续报告比任何单一报告更加可靠。所以在推理和多传感器合成之前，要先组合（更新）传感器的观测数据。
 
（5）产生式规则
 
采用符号表示目标特征和相应传感器信息之间的联系，与每一个规则相联系的置信因子表示它的不确定性程度。当在同一个逻辑推理过程中，2个或多个规则形成一个联合规则时，可以产生融合。应用产生式规则进行融合的主要问题是每个规则置信因子的定义与系统中其他规则的置信因子相关，如果系统中引入新的传感器，需要加入相应的附加规则。
 
2.2 人工智能类
 
（1）模糊逻辑推理
 
模糊逻辑是多值逻辑，通过指定一个0到1之间的实数表示真实度（相当于隐含算子的前提），允许将多个传感器信息融合过程中的不确定性直接表示在推理过程中。如果采用某种系统化的方法对融合过程中的不确定性进行推理建模，则可以产生一致性模糊推理。
 
与概率统计方法相比，逻辑推理存在许多优点，它在一定程度上克服了概率论所面临的问题，对信息的表示和处理更加接近人类的思维方式，一般比较适合于在高层次上的应用（如决策）。但是逻辑推理本身还不够成熟和系统化。此外由于逻辑推理对信息的描述存在很多的主观因素，所以信息的表示和处理缺乏客观性。
 
模糊集合理论对于数据融合的实际价值在于它外延到模糊逻辑，模糊逻辑是一种多值逻辑，隶属度可视为一个数据真值的不精确表示。在MSF过程中，存在的不确定性可以直接用模糊逻辑表示，然后使用多值逻辑推理，根据模糊集合理论的各种演算对各种命题进行合并，进而实现数据融合。
 
（2）人工神经网络法
 
神经网络具有很强的容错性以及自学习、自组织及自适应能力，能够模拟复杂的非线性映射。神经网络的这些特性和强大的非线性处理能力，恰好满足多传感器数据融合技术处理的要求。在多传感器系统中，各信息源所提供的环境信息都具有一定程度的不确定性，对这些不确定信息的融合过程实际上是一个不确定性推理过程。神经网络根据当前系统所接受的样本相似性确定分类标准，这种确定方法主要表现在网络的权值分布上，同时可以采用学习算法来获取知识，得到不确定性推理机制。利用神经网络的信号处理能力和自动推理功能，即实现了多传感器数据融合。
 
参考：
 
多传感器融合（一）
 多传感器融合（二）
 多传感器融合（三）
 自动驾驶技术-环境感知篇：多传感器融合技术​
 崔硕,姜洪亮,戎辉,王文扬.多传感器信息融合技术综述[J].汽车电器,2018(09):41-43.
 多传感器融合（算法）综述

目录
 
 
信息融合的体系框架
 
集中式
 
 分布式
 
 混合式
 
信息融合的级别分类
 
前融合
 
后融合
 

信息融合的体系框架
 
在多传感器融合中，按照对原始数据 处理方法的不同，多传感器融合系统的体 系结构可以分为三种：集中式，分布式和 混合式(混合式又分为有反馈结构和无反 馈结构)
 
集中式
 
集中式，就是将各传感器获得的原始数据直接送到中央处理器进行融合处理，可以实现实时融合。
 
从上图中可以看出，各传感器没有自己的处理器，只有将数据都传到中央处理器中，然后实现实时融合。 集中式融合结构结构简单，数据处理精度较高，算法相对灵活，融合速度快；但也存在一定的弊端，如各 传感器之间相互独立，数据直接流向融合中心，缺乏必要的联系；融合中心的计算和通信负载过重，系统容 错性差，可靠性较低。
 
 
 分布式
 
分布式融合结构就是先对各个独立传感器所获得的原始数据进行局部处理，然后将结果送入到中央处理器中 进行融合处理，最终获得目标结果。 
 
 
如上图，每个传感器都有自己的处理器，各自处理完各自收集的数据后，将目标结果送入到中央处理器中。这种分布式融合的优点
 在于：
 
a. 每个传感器都具有估计全局信息的能力，任何一种传感器失效都不会导致系统崩溃，系统可靠性和容错性高；
 
b. 对通信带宽要求低，计算速度快，可靠性和延续性好；
 
但也有明显的缺点：
 
a）传感器模块需要具备应用处理器，这样的话自身的体积将更大，功耗也就更高；
 
b）中央处理器只能获取各个传感器经过处理后的对象数据，而无法访问原始数据；
 
因此，想要“放大”感兴趣的区域将很难实现； 
 
 混合式
 
混合式架构，是集中式和分布式的混合应用，即部分传感器采用集中式融合架构，其余传感器采用分布式 融合架构。
 
如上图，部分传感器带有处理器(如毫米波一直都输出目标），剩余传感器不带有处理器。带有处理的传感 器输出目标数据到中央处理器中，而不带处理器的传感器将原始数据传输到中央处理器中。混合式融合架构有 其自有的特点：
 
a) 兼顾了集中式融合和分布式的优点，稳定性强，且具有较强的使用能力；
 
b) 对通信带宽和计算能力要求较高；
 
 
 
 
信息融合的级别分类
 
依据传感器信息在整个融合流程中的位置划分（也可以理解为传感器信息在处理过程中的抽象程 度），即前融合（包括数据级融合（或者像元级融合）与特征级融合）、后融合（目标级融合/决策级 融合）。
 
 
 判断一个融合系统是前融合还是后融合，主要看该系统中有几个感知算法。前融合只有一个感知算法（不管是数据层面的融合还是特层面的融合，都只有一个感知算法 ），而后融合系统中，有几个传感器，就有几个感知算法。
 
前融合
 
所谓前融合，就是在空间、时间同步的前提下 ，将传感器数据融合在一起，然后进行处理，得到一个具有多维综合属性的结果层目标。比如将 摄像头、激光雷达、毫米比雷达数据进行融合， 就可以得到一个既有颜色信息、形状信息、又有运动信息的目标（即融合了图像RGB、Lidar三维 信息、毫米波距离速度信息）。
 
 
 
前融合根据传感器数据信息的处理程度，又可以分为像元级融合和特征级融合。 
 
前融合--像元级融合 
 
像元级融合就是将多个传感器对共视区内同一目标探测的原始数据（raw data）直接进行融合，然后再从融合数 据中提取特征向量进行判断识别。如相机和激光雷达的融合，将激光雷达的点云数据（x,y,z)通过标定参数投影到图 像上，实现图像和深度的融合，即RGBD信息，从而帮助感知系统进行基于图像的分割或者深度学习模型的训练。
 
这种将原始数据直接融合的方式，可以尽可能多的保留传感器信息，具有很高的精度。但这种方法也有其局限性：
 
1) 由于传感器数据量大，所以处理时间较长，效率低下，实时性很难 保证；对融合系统的通信带宽要求较高；
 
2) 不同传感器的采样频率和内外参数各不相同，所以对传感器的时间 同步和空间同步精度要求极高；
 
3) 由于传感器信息存在不确定性或者不稳定性，所以需要融合系统具 有极强的鲁棒性。
 
 
 像元级融合主要有如下方法：代数法、IHS变换、小波变化、主城分析变换（PCT）、K-T变换，深度学习方法等
 
前融合--特征级融合 
 
特征级融合，就是先把每个传感器获得的原始数据进行特征提取，提取的特征信息应该为原始信息的充分表示 量或充分统计量，然后按特征信息对多源数据进行分类、聚类和综合，产生特征矢量，然后再采用一些基于特征融合 的方法融合这些特征矢量，最终数据基于融合特征的目标。这其中，选择合适的特征进行融合是比较关键的。 根据特征信息，又可以分为目标状态融合和目标属性融合。两者存在如下区别：目标状态融合关注于目标的跟 踪状态，在完成传感器数据在线标定后，才开始数据关联和状态估计；而目标属性融合关于点在于目标特征的处理， 即先完成特征关联，然后再对特征矢量进行模式识别，（这其中的目标属性包括目标边缘、方向、速度、形状等）。
 
 
后融合
 
也叫目标级融合，就是每个传感器各自独立处理生成的目标数据；比如激光雷达处理后得 到点云目标属性，摄像头处理后得到图像目标，然后经过坐标转换得到世界坐标系下的目标属性，毫 米波雷达直接获得目标的速度、距离信息；当所有传感器完成目标数据处理后（如目标检测、速度预 测），再使用一些传统方法来融合所有传感器的结果，得到最终的目标信息。这一类融合所有传感器 结果的方法一般是一些滤波算法，如前面提到的卡尔曼滤波等，也可以用基于优化的方法。 
 
 
 
 
 点个赞吧！
 
The end!
 
 
 
 
 
 

随着机器人技术的不断发展，机器人的应用领域和功能有了极大的拓展和提高。智能化已成为机器人技术的发展趋势，而传感器技术则是实现机器人智能化的基础之一。由于单一传感器获得的信息非常有限，而且，还要受到自身品质和性能的影响，因此，智能机器人通常配有数量众多的不同类型的传感器，以满足探测和数据采集的需要。若对各传感器采集的信息进行单独、孤立地处理，不仅会导致信息处理工作量的增加，而且，割断了各传感器信息间的内在联系，丢失了信息经有机组合后可能蕴含的有关环境特征，造成信息资源的浪费，甚至可能导致决策失误。为了解决上述问题人们提出了多传感器融合技术（multi-sensorfusion）。
　　概述
　　多传感器融合又称多传感器信息融合（multi-sensor information fusion)，有时也称作多传感器数据融合(multi-sensor data fusion)，于1973年在美国国防部资助开发的声纳信号处理系统中被首次提出，它是对多种信息的获取、表示及其内在联系进行综合处理和优化的技术。它从多信息的视角进行处理及综合，得到各种信息的内在联系和规律，从而剔除无用的和错误的信息，保留正确的和有用的成分，最终实现信息的优化，也为智能信息处理技术的研究提供了新的观念。
多传感器融合的层次结构
　　多传感器融合在结构上按其在融合系统中信息处理的抽象程度，主要划分为三个层次:数据层融合、特征层融合和决策层融合。
　　1.数据层融合：也称像素级融合，首先将传感器的观测数据融合,然后从融合的数据中提取特征向量,并进行判断识别。数据层融合需要传感器是同质的(传感器观测的是同一物理现象),如果多个传感器是异质的(观测的不是同一个物理量),那么数据只能在特征层或决策层进行融合。数据层融合不存在数据丢失的问题,得到的结果也是最准确的,但计算量大，且对系统通信带宽的要求很高。


　2.特征层融合：特征层融合属于中间层次，先从每种传感器提供的观测数据中提取的有代表性的特征,这些特征融合成单一的特征向量,然后运用模式识别的方法进行处理。这种方法的计算量及对通信带宽的要求相对降低,但由于部分数据的舍弃使其准确性有所下降。



3.决策层融合：决策层融合属于高层次的融合，由于对传感器的数据进行了浓缩,这种方法产生的结果相对而言最不准确,但它的计算量及对通信带宽的要求最低。



对于特定的多传感器融合系统工程应用,应综合考虑传感器的性能、系统的计算能力、通信带宽、期望的准确率以及资金能力等因素,以确定哪种层次是最优的。另外,在一个系统中,也可能同时在不同的融合层次上进行融合。




多传感器融合的算法
　　融合算法是融合处理的基础。它是将多元输入数据根据信息融合的功能要求,在不同融合层次上采用不同的数学方法,对数据进行综合处理,最终实现融合。目前已有大量的融合算法,它们都有各自的优缺点。这些融合算法总体上法可以分为三大类型：嵌入约束法、证据组合法、人工神经网络法。
1.嵌入约束法
　　由多种传感器所获得的客观环境的多组数据就是客观环境按照某种映射关系形成的像，传感器信息融合就是通过像求解原像，即对客观环境加以了解。用数学语言描述就是，即使所有传感器的全部信息，也只能描述环境的某些方面的特征，而具有这些特征的环境却有很多，要使一组数据对应惟一的环境(即上述映射为一一映射)，就必须对映射的原像和映射本身加约束条件，使问题能有惟一的解。嵌入约束法有两种基本的方法：贝叶斯估计和卡尔曼滤波。
2.证据组合法
　　证据组合法认为完成某项智能任务是依据有关环境某方面的信息做出几种可能的决策，而多传感器数据信息在一定程度上反映环境这方面的情况。因此，分析每一数据作为支持某种决策证据的支持程度，并将不同传感器数据的支持程度进行组合，即证据组合，分析得出现有组合证据支持程度最大的决策作为信息融合的结果。
　　证据组合法是为完成某一任务的需要而处理多种传感器的数据信息。它先对单个传感器数据信息每种可能决策的支持程度给出度量(即数据信息作为证据对决策的支持程度)，再寻找一种证据组合方法或规则，使在已知两个不同传感器数据(即证据)对决策的分别支持程度时，通过反复运用组合规则，最终得出全体数据信息的联合体对某决策总的支持程度，得到最大证据支持决策，即传感器信息融合的结果。
　　常用的证据组合方法有：概率统计方法、D-S（Dempster-Shafer)证据推理法。
3.人工神经网络法
　　人工神经网络通过模仿人脑的结构和工作原理，设计和建立相应的机器和模型并完成一定的智能任务。神经网络根据当前系统所接收到的样本的相似性，确定分类标准。这种确定方法主要表现在网络权值分布上，同时可采用神经网络特定的学习算法来获取知识，得到不确定性推理机制。采用神经网络法的多传感器信息融合，分三个主要步骤：
　　(1).根据智能系统要求及传感器信息融合的形式，选择其拓扑结构；
　　(2).各传感器的输入信息综合处理为一总体输入函数，并将此函数映射定义为相关单元的映射函数,通过神经网络与环境的交互作用把环境的统计规律反映网络本身的结构；
　　(3).对传感器输出信息进行学习、理解，确定权值的分配，进而对输入模式作出解释，将输入数据向量转换成高级逻辑(符号)概念。




多传感器数据融合是一个新兴的研究领域，是针对一个系统使用多种传感器这一特定问题而展开的一种关于数据处理的研究。多传感器数据融合技术是近几年来发展起来的一门实践性较强的应用技术，是多学科交叉的新技术，涉及到信号处理、概率统计、信息论、模式识别、人工智能、模糊数学等理论。
近年来，多传感器数据融合技术无论在军事还是民事领域的应用都极为广泛。多传感器融合技术已成为军事、工业和高技术开发等多方面关心的问题。这一技术广泛应用于C3I系统、复杂工业过程控制、机器人、自动目标识别、交通管制、惯性导航、海洋监视和管理、农业、遥感、医疗诊断、图像处理、模式识别等领域。实践证明：与单传感器系统相比，运用多传感器数据融合技术在解决探测、跟踪和目标识别等问题方面，能够增强系统生存能力，提高整个系统的可靠性和鲁棒性，增强数据的可信度，并提高精度，扩展整个系统的时间、空间覆盖率，增加系统的实时性和信息利用率等。
1 基本概念及融合原理
1．1 多传感器数据融合概念
数据融合又称作信息融合或多传感器数据融合，对数据融合还很难给出一个统一、全面的定义。随着数据融合和计算机应用技术的发展，根据国内外研究成果，多传感器数据融合比较确切的定义可概括为：充分利用不同时间与空间的多传感器数据资源，采用计算机技术对按时间序列获得的多传感器观测数据，在一定准则下进行分析、综合、支配和使用，获得对被测对象的一致性解释与描述，进而实现相应的决策和估计，使系统获得比它的各组成部分更充分的信息。
1．2 多传感器数据融合原理
多传感器数据融合技术的基本原理就像人脑综合处理信息一样，充分利用多个传感器资源，通过对多传感器及其观测信息的合理支配和使用，把多传感器在空间或时间上冗余或互补信息依据某种准则来进行组合，以获得被测对象的一致性解释或描述。具体地说，多传感器数据融合原理如下：
　　（1）N个不同类型的传感器（有源或无源的）收集观测目标的数据；
　　（2）对传感器的输出数据（离散的或连续的时间函数数据、输出矢量、成像数据或一个直接的属性说明）进行特征提取的变换，提取代表观测数据的特征矢量Yi；
　　（3）对特征矢量Yi进行模式识别处理（如，聚类算法、自适应神经网络或其他能将特征矢量Yi变换成目标属性判决的统计模式识别法等）完成各传感器关于目标的说明；
　　（4）将各传感器关于目标的说明数据按同一目标进行分组，即关联；
　　（5）利用融合算法将每一目标各传感器数据进行合成，得到该目标的一致性解释与描述。
2 多传感器数据融合方法
利用多个传感器所获取的关于对象和环境全面、完整的信息，主要体现在融合算法上。因此，多传感器系统的核心问题是选择合适的融合算法。对于多传感器系统来说，信息具有多样性和复杂性，因此，对信息融合方法的基本要求是具有鲁棒性和并行处理能力。此外，还有方法的运算速度和精度；与前续预处理系统和后续信息识别系统的接口性能；与不同技术和方法的协调能力；对信息样本的要求等。一般情况下，基于非线性的数学方法，如果它具有容错性、自适应性、联想记忆和并行处理能力，则都可以用来作为融合方法。
多传感器数据融合虽然未形成完整的理论体系和有效的融合算法，但在不少应用领域根据各自的具体应用背景，已经提出了许多成熟并且有效的融合方法。多传感器数据融合的常用方法基本上可概括为随机和人工智能两大类，随机类方法有加权平均法、卡尔曼滤波法、多贝叶斯估计法、Dempster-Shafer（D-S）证据推理、产生式规则等；而人工智能类则有模糊逻辑理论、神经网络、粗集理论、专家系统等。可以预见，神经网络和人工智能等新概念、新技术在多传感器数据融合中将起到越来越重要的作用。
2．1 随机类方法
2．1．1 加权平均法
信号级融合方法最简单、最直观方法是加权平均法，该方法将一组传感器提供的冗余信息进行加权平均，结果作为融合值，该方法是一种直接对数据源进行操作的方法。
2．1．2 卡尔曼滤波法
卡尔曼滤波主要用于融合低层次实时动态多传感器冗余数据。该方法用测量模型的统计特性递推，决定统计意义下的最优融合和数据估计。如果系统具有线性动力学模型，且系统与传感器的误差符合高斯白噪声模型，则卡尔曼滤波将为融合数据提供唯一统计意义下的最优估计。卡尔曼滤波的递推特性使系统处理不需要大量的数据存储和计算。但是，采用单一的卡尔曼滤波器对多传感器组合系统进行数据统计时，存在很多严重的问题，例如：（1）在组合信息大量冗余的情况下，计算量将以滤波器维数的三次方剧增，实时性不能满足；（2）传感器子系统的增加使故障随之增加，在某一系统出现故障而没有来得及被检测出时，故障会污染整个系统，使可靠性降低。
2．1．3 多贝叶斯估计法
贝叶斯估计为数据融合提供了一种手段，是融合静环境中多传感器高层信息的常用方法。它使传感器信息依据概率原则进行组合，测量不确定性以条件概率表示，当传感器组的观测坐标一致时，可以直接对传感器的数据进行融合，但大多数情况下，传感器测量数据要以间接方式采用贝叶斯估计进行数据融合。
多贝叶斯估计将每一个传感器作为一个贝叶斯估计，将各个单独物体的关联概率分布合成一个联合的后验的概率分布函数，通过使用联合分布函数的似然函数为最小，提供多传感器信息的最终融合值，融合信息与环境的一个先验模型提供整个环境的一个特征描述。
2．1．4 D-S证据推理方法
D-S证据推理是贝叶斯推理的扩充，其3个基本要点是：基本概率赋值函数、信任函数和似然函数。D-S方法的推理结构是自上而下的，分三级。第1级为目标合成，其作用是把来自独立传感器的观测结果合成为一个总的输出结果（ID）；第2级为推断，其作用是获得传感器的观测结果并进行推断，将传感器观测结果扩展成目标报告。这种推理的基础是：一定的传感器报告以某种可信度在逻辑上会产生可信的某些目标报告；第3级为更新，各种传感器一般都存在随机误差，所以，在时间上充分独立地来自同一传感器的一组连续报告比任何单一报告可靠。因此，在推理和多传感器合成之前，要先组合（更新）传感器的观测数据。
2．1．5 产生式规则
产生式规则采用符号表示目标特征和相应传感器信息之间的联系，与每一个规则相联系的置信因子表示它的不确定性程度。当在同一个逻辑推理过程中，2个或多个规则形成一个联合规则时，可以产生融合。应用产生式规则进行融合的主要问题是每个规则的置信因子的定义与系统中其他规则的置信因子相关，如果系统中引入新的传感器，需要加入相应的附加规则。
2．2 人工智能类方法
2．2．1 模糊逻辑推理
模糊逻辑是多值逻辑，通过指定一个0到1之间的实数表示真实度，相当于隐含算子的前提，允许将多个传感器信息融合过程中的不确定性直接表示在推理过程中。如果采用某种系统化的方法对融合过程中的不确定性进行推理建模，则可以产生一致性模糊推理。与概率统计方法相比，逻辑推理存在许多优点，它在一定程度上克服了概率论所面临的问题，它对信息的表示和处理更加接近人类的思维方式，它一般比较适合于在高层次上的应用（如决策），但是，逻辑推理本身还不够成熟和系统化。此外，由于逻辑推理对信息的描述存在很大的主观因素，所以，信息的表示和处理缺乏客观性。
模糊集合理论对于数据融合的实际价值在于它外延到模糊逻辑，模糊逻辑是一种多值逻辑，隶属度可视为一个数据真值的不精确表示。在MSF过程中，存在的不确定性可以直接用模糊逻辑表示，然后，使用多值逻辑推理，根据模糊集合理论的各种演算对各种命题进行合并，进而实现数据融合。
2．2．2 人工神经网络法
神经网络具有很强的容错性以及自学习、自组织及自适应能力，能够模拟复杂的非线性映射。神经网络的这些特性和强大的非线性处理能力，恰好满足了多传感器数据融合技术处理的要求。在多传感器系统中，各信息源所提供的环境信息都具有一定程度的不确定性，对这些不确定信息的融合过程实际上是一个不确定性推理过程。神经网络根据当前系统所接受的样本相似性确定分类标准，这种确定方法主要表现在网络的权值分布上，同时，可以采用经*定的学习算法来获取知识，得到不确定性推理机制。利用神经网络的信号处理能力和自动推理功能，即实现了多传感器数据融合。
常用的数据融合方法及特性如表1所示。通常使用的方法依具体的应用而定，并且，由于各种方法之间的互补性，实际上，常将2种或2种以上的方法组合进行多传感器数据融合。
3 应用领域
随着多传感器数据融合技术的发展，应用的领域也在不断扩大，多传感器融合技术已成功地应用于众多的研究领域。多传感器数据融合作为一种可消除系统的不确定因素、提供准确的观测结果和综合信息的智能化数据处理技术，已在军事、工业监控、智能检测、机器人、图像分析、目标检测与跟踪、自动目标识别等领域获得普遍关注和广泛应用称重传感器。
（1）军事应用
数据融合技术起源于军事领域，数据融合在军事上应用最早、范围最广，涉及战术或战略上的检测、指挥、控制、通信和情报任务的各个方面。主要的应用是进行目标的探测、跟踪和识别，包括C31系统、自动识别武器、自主式运载制导、遥感、战场监视和自动威胁识别系统等。如，对舰艇、飞机、导弹等的检测、定位、跟踪和识别及海洋监视、空对空防御系统、地对空防御系统等。海洋监视系统包括对潜艇、鱼雷、水下导弹等目标的检测、跟踪和识别，传感器有雷达、声纳、远红外、综合孔径雷达等。空对空、地对空防御系统主要用来检测、跟踪、识别敌方飞机、导弹和防空武器，传感器包括雷达、ESM（电子支援措施）接收机、远红外敌我识别传感器、光电成像传感器等。迄今为止，美、英、法、意、日、俄等国家已研制出了上百种军事数据融合系统，比较典型的有：TCAC—战术指挥控制，BETA—战场利用和目标截获系统，AIDD—炮兵情报数据融合等。在近几年发生的几次局部战争中，数据融合显示了强大的威力，特别是在海湾战争和科索沃战争中，多国部队的融合系统发挥了重要作用。
（2）复杂工业过程控制
复杂工业过程控制是数据融合应用的一个重要领域。目前，数据融合技术已在核反应堆和石油平台监视等系统中得到应用。融合的目的是识别引起系统状态超出正常运行范围的故障条件，并据此触发若干报警器。通过时间序列分析、频率分析、小波分析，从各传感器获取的信号模式中提取出特征数据，同时，将所提取的特征数据输入神经网络模式识别器，神经网络模式识别器进行特征级数据融合，以识别出系统的特征数据，并输入到模糊专家系统进行决策级融合；专家系统推理时，从知识库和数据库中取出领域知识规则和参数，与特征数据进行匹配（融合）；最后，决策出被测系统的运行状态、设备工作状况和故障等。
（3）机器人
多传感器数据融合技术的另一个典型应用领域为机器人。目前，主要应用在移动机器人和遥操作机器人上，因为这些机器人工作在动态、不确定与非结构化的环境中（如“勇气”号和“机遇”号火星车），这些高度不确定的环境要求机器人具有高度的自治能力和对环境的感知能力，而多传感器数据融合技术正是提高机器人系统感知能力的有效方法。实践证明：采用单个传感器的机器人不具有完整、可靠地感知外部环境的能力。智能机器人应采用多个传感器，并利用这些传感器的冗余和互补的特性来获得机器人外部环境动态变化的、比较完整的信息，并对外部环境变化做出实时的响应。目前，机器人学界提出向非结构化环境进军，其核心的关键之一就是多传感器系统和数据融合。
（4）遥感
多传感器融合在遥感领域中的应用，主要是通过高空间分辨力全色图像和低光谱分辨力图像的融合，得到高空问分辨力和高光谱分辨力的图像，融合多波段和多时段的遥感图像来提高分类的准确*。
****通管理系统
数据融合技术可应用于地面车辆定位、车辆跟踪、车辆导航以及空中交通管制系统等。
（6）全局监视
监视较大范围内的人和事物的运动和状态，需要运用数据融合技术。例如：根据各种医疗传感器、病历、病史、气候、季节等观测信息，实现对病人的自动监护；从空中和地面传感器监视庄稼生长情况，进行产量预测；根据卫星云图、气流、温度、压力等观测信息，实现天气预报。
4 存在问题及发展趋势
数据融合技术方兴未艾，几乎一切信息处理方法都可以应用于数据融合系统。随着传感器技术、数据处理技术、计算机技术、网络通讯技术、人工智能技术、并行计算软件和硬件技术等相关技术的发展，尤其是人工智能技术的进步，新的、更有效的数据融合方法将不断推出，多传感器数据融合必将成为未来复杂工业系统智能检测与数据处理的重要技术，其应用领域将不断扩大。多传感器数据融合不是一门单一的技术，而是一门跨学科的综合理论和方法，并且，是一个不很成熟的新研究领域，尚处在不断变化和发展过程中压力传感器。
4．1 数据融合存在的问题
　　（1）尚未建立统一的融合理论和有效广义融合模型及算法；
　　（2）对数据融合的具体方法的研究尚处于初步阶段；
　　（3）还没有很好解决融合系统中的容错性或鲁棒性问题；
　　（4）关联的二义性是数据融合中的主要障碍；
　　（5）数据融合系统的设计还存在许多实际问题。
4．2 数据融合发展趋势
数据融合的发展趋势如下：
　　（1）建立统一的融合理论、数据融合的体系结构和广义融合模型；
　　（2）解决数据配准、数据预处理、数据库构建、数据库管理、人机接口、通用软件包开发问题，利用成熟的辅助技术，建立面向具体应用需求的数据融合系统；
　　（3）将人工智能技术，如，神经网络、遗传算法、模糊理论、专家理论等引入到数据融合领域；利用集成的计算智能方法（如，模糊逻辑＋神经网络，遗传算法＋模糊＋神经网络等）提高多传感融合的性能；
　　（4）解决不确定性因素的表达和推理演算，例如：引入灰数的概念；
　　（5）利用有关的先验数据提高数据融合的性能，研究更加先进复杂的融合算法（未知和动态环境中，采用并行计算机结构多传感器集成与融合方法的研究等）；
　　（6）在多平台／单平台、异类／同类多传感器的应用背景下，建立计算复杂程度低，同时，又能满足任务要求的数据处理模型和算法；
　　（7）构建数据融合测试评估平台和多传感器管理体系；
　　（8）将已有的融合方法工程化与商品化，开发能够提供多种复杂融合算法的处理硬件，以便在数据获取的同时就实时地完成融合。
5 结束语
随着研究者的不断努力，不久的将来，数据融合的基础理论、兼有鲁棒性和准确性的融合算法将不断地得到完善，实现技术将不断地得到更新，实际应用将不断地被扩展。多传感器数据融合技术必将不断地走向成熟。
转载于https://blog.csdn.net/young951023/article/details/78418952