精华内容
下载资源
问答
  • 在此将该算法用于多传感器目标识别系统,首先介绍了Choquet模糊积分以及模糊测度的定义,再建立了基于动态模糊积分的决策层融合目标识别模型,将该过程转化为多个传感器的身份识别结果关于各自重要程度的广义...
  • 决策层融合的matlab代码

    千次阅读 2019-05-06 23:30:05
    应用自https://download.csdn.net/download/zhujiangtaotaise/4783521

    应用自https://download.csdn.net/download/zhujiangtaotaise/4783521

    展开全文
  • 基于加权表决的决策层融合多系统调制识别 防止网上重复投票方法研究 基于公共IP网通信模块的设计与实现 计算机网络远程数据采集系统的设计与实现 基于局域网的小型投票系统实现方案 基于加权表决的决策层融合多系统...
  • 基于多域特征提取和决策层融合的人脸识别.pdf
  • 一种基于灰色定权聚类的决策层融合目标识别算法.pdf
  • Globus中原始的RLS服务通过静态配置,在多个冗余的副本定位索引(RLI)节点间建立起一个分层的网络,从而确保服务的可靠性和负载平衡。结合P2P网络中的资源定位方法,提出了一种基于分布式生成树(DST)的副本定位服务...
  • 针对在复杂环境中目标尺度变化、形状变化以及场景光照变化、背景干扰等因素导致的目标跟踪稳定性下降问题,提出一种基于自适应多层卷积特征决策融合的目标跟踪算法。首先,通过卷积神经网络VGG-Net-19提取目标候选区域...
  • 信息融合层次

    千次阅读 2019-11-26 11:26:17
    根据信息融合的处理层次,可以将信息融合分为三类,包括数据层信息融合、特征层信息融合以及决策层信息融合。 1.数据层信息融合 数据层信息融合是对各传感器的原始观测数据进行统计分析。该方法的优点是原始数据...

    根据信息融合的处理层次,可以将信息融合分为三类,包括数据层信息融合、特征层信息融合以及决策层信息融合。
    1.数据层信息融合
    数据层信息融合是对各传感器的原始观测数据进行统计分析。该方法的优点是原始数据保存完整、强调了原始数据之间的关联性,使得测量结果更加精确;缺点是运算量较大,降低了系统的实时性,同时观测数据的不确定性和不稳定性增加了系统处理难度。常用的数据层信息融合算法有加权平均法、卡尔曼滤波和贝叶斯估计法等。
    2.特征层信息融合
    特征层信息融合是对从原始数据中提取的特征向量进行联合,对特征向量进行计算和处理。针对特征向量进行融合处理,减小了原始数据的处理量,提高了系统处理速度和实时性。而缺点在于,原始观测数据在压缩的同时,也丢失了部分可用信息,降低了系统的精确度。常用的特征层信息融合算法有遗传算法、搜索树算法等
    3.决策层信息融合
    决策层信息融合的各部分传感器针对同一观测目标都具有独立的数据处理能力,包括原始观测数据预处理、原始信息特征提取和对目标识别的判断,根据各自的测量结果得出初步结论,然后将各传感器结论进行融合,得出观测目标的最终判断结果。该方法的优点在于可以灵活的选取传感器结果,提高了系统的容错能力;对多源异构传感器的容纳能力增强;融合信息计算量减小,系统实时性提高。常用的决策层信息融合算法有投票表决法、贝叶斯法等。

    引用:李菲. 基于图像信号与无线通信信号融合的室内定位关键技术研究[D]. 2018.

    展开全文
  • 此处提出了一种新的基于特征级决策级双层融合的语音情感识别方法,可以将统计特征和局部频谱特征在该方法的特征级上融合;基于SVM和ANN集成多个不同的识别系统,然后在决策级对使用不同的声学特征的多个分类器的输出...
  • 论文研究-基于距离熵的应急决策层信息融合方法.pdf, 通过分析决策层信息融合和应急决策的特点,并考虑到应急决策对客观性、科学性的要求,提出了基于距离熵的应急决策层...
  • 针对雷达组网量测数据不确定性大、信息不完备等特点, 基于决策树分类算法的思想, 创建类决策树的概念, 提出一种基于类决策树分类的特征层融合识别算法. 所给出的算法无需训练样本, 采用边构造边分类的方式, 选取信 ...
  • 多传感器融合

    千次阅读 2018-04-17 21:18:19
     多传感器融合在结构上按其在融合系统中信息处理的抽象程度,主要划分为三个层次:数据层融合、特征层融合和决策层融合。   1.数据层融合: 也称像素级融合,首先将传感器的观测数据融合,然后从融合的数据中提取...

    随着机器人技术的不断发展,机器人的应用领域和功能有了极大的拓展和提高。智能化已成为机器人技术的发展趋势,而传感器技术则是实现机器人智能化的基础之一。由于单一传感器获得的信息非常有限,而且,还要受到自身品质和性能的影响,因此,智能机器人通常配有数量众多的不同类型的传感器,以满足探测和数据采集的需要。若对各传感器采集的信息进行单独、孤立地处理,不仅会导致信息处理工作量的增加,而且,割断了各传感器信息间的内在联系,丢失了信息经有机组合后可能蕴含的有关环境特征,造成信息资源的浪费,甚至可能导致决策失误。为了解决上述问题人们提出了多传感器融合技术(multi-sensorfusion)。

      概述

      多传感器融合又称多传感器信息融合(multi-sensor information fusion),有时也称作多传感器数据融合(multi-sensor data fusion),于1973年在美国国防部资助开发的声纳信号处理系统中被首次提出,它是对多种信息的获取、表示及其内在联系进行综合处理和优化的技术。它从多信息的视角进行处理及综合,得到各种信息的内在联系和规律,从而剔除无用的和错误的信息,保留正确的和有用的成分,最终实现信息的优化,也为智能信息处理技术的研究提供了新的观念。

    多传感器融合的层次结构

      多传感器融合在结构上按其在融合系统中信息处理的抽象程度,主要划分为三个层次:数据层融合、特征层融合和决策层融合。

      1.数据层融合:也称像素级融合,首先将传感器的观测数据融合,然后从融合的数据中提取特征向量,并进行判断识别。数据层融合需要传感器是同质的(传感器观测的是同一物理现象),如果多个传感器是异质的(观测的不是同一个物理量),那么数据只能在特征层或决策层进行融合。数据层融合不存在数据丢失的问题,得到的结果也是最准确的,但计算量大,且对系统通信带宽的要求很高。


     2.特征层融合:特征层融合属于中间层次,先从每种传感器提供的观测数据中提取的有代表性的特征,这些特征融合成单一的特征向量,然后运用模式识别的方法进行处理。这种方法的计算量及对通信带宽的要求相对降低,但由于部分数据的舍弃使其准确性有所下降。


    3.决策层融合:决策层融合属于高层次的融合,由于对传感器的数据进行了浓缩,这种方法产生的结果相对而言最不准确,但它的计算量及对通信带宽的要求最低。


    对于特定的多传感器融合系统工程应用,应综合考虑传感器的性能、系统的计算能力、通信带宽、期望的准确率以及资金能力等因素,以确定哪种层次是最优的。另外,在一个系统中,也可能同时在不同的融合层次上进行融合。


    多传感器融合的算法

      融合算法是融合处理的基础。它是将多元输入数据根据信息融合的功能要求,在不同融合层次上采用不同的数学方法,对数据进行综合处理,最终实现融合。目前已有大量的融合算法,它们都有各自的优缺点。这些融合算法总体上法可以分为三大类型:嵌入约束法、证据组合法、人工神经网络法。

    1.嵌入约束法

      由多种传感器所获得的客观环境的多组数据就是客观环境按照某种映射关系形成的像,传感器信息融合就是通过像求解原像,即对客观环境加以了解。用数学语言描述就是,即使所有传感器的全部信息,也只能描述环境的某些方面的特征,而具有这些特征的环境却有很多,要使一组数据对应惟一的环境(即上述映射为一一映射),就必须对映射的原像和映射本身加约束条件,使问题能有惟一的解。嵌入约束法有两种基本的方法:贝叶斯估计和卡尔曼滤波。

    2.证据组合法

      证据组合法认为完成某项智能任务是依据有关环境某方面的信息做出几种可能的决策,而多传感器数据信息在一定程度上反映环境这方面的情况。因此,分析每一数据作为支持某种决策证据的支持程度,并将不同传感器数据的支持程度进行组合,即证据组合,分析得出现有组合证据支持程度最大的决策作为信息融合的结果。

      证据组合法是为完成某一任务的需要而处理多种传感器的数据信息。它先对单个传感器数据信息每种可能决策的支持程度给出度量(即数据信息作为证据对决策的支持程度),再寻找一种证据组合方法或规则,使在已知两个不同传感器数据(即证据)对决策的分别支持程度时,通过反复运用组合规则,最终得出全体数据信息的联合体对某决策总的支持程度,得到最大证据支持决策,即传感器信息融合的结果。

      常用的证据组合方法有:概率统计方法、D-S(Dempster-Shafer)证据推理法。

    3.人工神经网络法

      人工神经网络通过模仿人脑的结构和工作原理,设计和建立相应的机器和模型并完成一定的智能任务。神经网络根据当前系统所接收到的样本的相似性,确定分类标准。这种确定方法主要表现在网络权值分布上,同时可采用神经网络特定的学习算法来获取知识,得到不确定性推理机制。采用神经网络法的多传感器信息融合,分三个主要步骤:

      (1).根据智能系统要求及传感器信息融合的形式,选择其拓扑结构;

      (2).各传感器的输入信息综合处理为一总体输入函数,并将此函数映射定义为相关单元的映射函数,通过神经网络与环境的交互作用把环境的统计规律反映网络本身的结构;

      (3).对传感器输出信息进行学习、理解,确定权值的分配,进而对输入模式作出解释,将输入数据向量转换成高级逻辑(符号)概念。



    多传感器数据融合是一个新兴的研究领域,是针对一个系统使用多种传感器这一特定问题而展开的一种关于数据处理的研究。多传感器数据融合技术是近几年来发展起来的一门实践性较强的应用技术,是多学科交叉的新技术,涉及到信号处理、概率统计、信息论、模式识别、人工智能、模糊数学等理论。

    近年来,多传感器数据融合技术无论在军事还是民事领域的应用都极为广泛。多传感器融合技术已成为军事、工业和高技术开发等多方面关心的问题。这一技术广泛应用于C3I系统、复杂工业过程控制、机器人、自动目标识别、交通管制、惯性导航、海洋监视和管理、农业、遥感、医疗诊断、图像处理、模式识别等领域。实践证明:与单传感器系统相比,运用多传感器数据融合技术在解决探测、跟踪和目标识别等问题方面,能够增强系统生存能力,提高整个系统的可靠性和鲁棒性,增强数据的可信度,并提高精度,扩展整个系统的时间、空间覆盖率,增加系统的实时性和信息利用率等。

    1 基本概念及融合原理

    1.1 多传感器数据融合概念

    数据融合又称作信息融合或多传感器数据融合,对数据融合还很难给出一个统一、全面的定义。随着数据融合和计算机应用技术的发展,根据国内外研究成果,多传感器数据融合比较确切的定义可概括为:充分利用不同时间与空间的多传感器数据资源,采用计算机技术对按时间序列获得的多传感器观测数据,在一定准则下进行分析、综合、支配和使用,获得对被测对象的一致性解释与描述,进而实现相应的决策和估计,使系统获得比它的各组成部分更充分的信息。

    1.2 多传感器数据融合原理

    多传感器数据融合技术的基本原理就像人脑综合处理信息一样,充分利用多个传感器资源,通过对多传感器及其观测信息的合理支配和使用,把多传感器在空间或时间上冗余或互补信息依据某种准则来进行组合,以获得被测对象的一致性解释或描述。具体地说,多传感器数据融合原理如下:

      (1)N个不同类型的传感器(有源或无源的)收集观测目标的数据;

      (2)对传感器的输出数据(离散的或连续的时间函数数据、输出矢量、成像数据或一个直接的属性说明)进行特征提取的变换,提取代表观测数据的特征矢量Yi;

      (3)对特征矢量Yi进行模式识别处理(如,聚类算法、自适应神经网络或其他能将特征矢量Yi变换成目标属性判决的统计模式识别法等)完成各传感器关于目标的说明;

      (4)将各传感器关于目标的说明数据按同一目标进行分组,即关联;

      (5)利用融合算法将每一目标各传感器数据进行合成,得到该目标的一致性解释与描述。

    2 多传感器数据融合方法

    利用多个传感器所获取的关于对象和环境全面、完整的信息,主要体现在融合算法上。因此,多传感器系统的核心问题是选择合适的融合算法。对于多传感器系统来说,信息具有多样性和复杂性,因此,对信息融合方法的基本要求是具有鲁棒性和并行处理能力。此外,还有方法的运算速度和精度;与前续预处理系统和后续信息识别系统的接口性能;与不同技术和方法的协调能力;对信息样本的要求等。一般情况下,基于非线性的数学方法,如果它具有容错性、自适应性、联想记忆和并行处理能力,则都可以用来作为融合方法。

    多传感器数据融合虽然未形成完整的理论体系和有效的融合算法,但在不少应用领域根据各自的具体应用背景,已经提出了许多成熟并且有效的融合方法。多传感器数据融合的常用方法基本上可概括为随机和人工智能两大类,随机类方法有加权平均法、卡尔曼滤波法、多贝叶斯估计法、Dempster-Shafer(D-S)证据推理、产生式规则等;而人工智能类则有模糊逻辑理论、神经网络、粗集理论、专家系统等。可以预见,神经网络和人工智能等新概念、新技术在多传感器数据融合中将起到越来越重要的作用。

    2.1 随机类方法

    2.1.1 加权平均法

    信号级融合方法最简单、最直观方法是加权平均法,该方法将一组传感器提供的冗余信息进行加权平均,结果作为融合值,该方法是一种直接对数据源进行操作的方法。

    2.1.2 卡尔曼滤波法

    卡尔曼滤波主要用于融合低层次实时动态多传感器冗余数据。该方法用测量模型的统计特性递推,决定统计意义下的最优融合和数据估计。如果系统具有线性动力学模型,且系统与传感器的误差符合高斯白噪声模型,则卡尔曼滤波将为融合数据提供唯一统计意义下的最优估计。卡尔曼滤波的递推特性使系统处理不需要大量的数据存储和计算。但是,采用单一的卡尔曼滤波器对多传感器组合系统进行数据统计时,存在很多严重的问题,例如:(1)在组合信息大量冗余的情况下,计算量将以滤波器维数的三次方剧增,实时性不能满足;(2)传感器子系统的增加使故障随之增加,在某一系统出现故障而没有来得及被检测出时,故障会污染整个系统,使可靠性降低。

    2.1.3 多贝叶斯估计法

    贝叶斯估计为数据融合提供了一种手段,是融合静环境中多传感器高层信息的常用方法。它使传感器信息依据概率原则进行组合,测量不确定性以条件概率表示,当传感器组的观测坐标一致时,可以直接对传感器的数据进行融合,但大多数情况下,传感器测量数据要以间接方式采用贝叶斯估计进行数据融合。

    多贝叶斯估计将每一个传感器作为一个贝叶斯估计,将各个单独物体的关联概率分布合成一个联合的后验的概率分布函数,通过使用联合分布函数的似然函数为最小,提供多传感器信息的最终融合值,融合信息与环境的一个先验模型提供整个环境的一个特征描述。

    2.1.4 D-S证据推理方法

    D-S证据推理是贝叶斯推理的扩充,其3个基本要点是:基本概率赋值函数、信任函数和似然函数。D-S方法的推理结构是自上而下的,分三级。第1级为目标合成,其作用是把来自独立传感器的观测结果合成为一个总的输出结果(ID);第2级为推断,其作用是获得传感器的观测结果并进行推断,将传感器观测结果扩展成目标报告。这种推理的基础是:一定的传感器报告以某种可信度在逻辑上会产生可信的某些目标报告;第3级为更新,各种传感器一般都存在随机误差,所以,在时间上充分独立地来自同一传感器的一组连续报告比任何单一报告可靠。因此,在推理和多传感器合成之前,要先组合(更新)传感器的观测数据。

    2.1.5 产生式规则

    产生式规则采用符号表示目标特征和相应传感器信息之间的联系,与每一个规则相联系的置信因子表示它的不确定性程度。当在同一个逻辑推理过程中,2个或多个规则形成一个联合规则时,可以产生融合。应用产生式规则进行融合的主要问题是每个规则的置信因子的定义与系统中其他规则的置信因子相关,如果系统中引入新的传感器,需要加入相应的附加规则。

    2.2 人工智能类方法

    2.2.1 模糊逻辑推理

    模糊逻辑是多值逻辑,通过指定一个0到1之间的实数表示真实度,相当于隐含算子的前提,允许将多个传感器信息融合过程中的不确定性直接表示在推理过程中。如果采用某种系统化的方法对融合过程中的不确定性进行推理建模,则可以产生一致性模糊推理。与概率统计方法相比,逻辑推理存在许多优点,它在一定程度上克服了概率论所面临的问题,它对信息的表示和处理更加接近人类的思维方式,它一般比较适合于在高层次上的应用(如决策),但是,逻辑推理本身还不够成熟和系统化。此外,由于逻辑推理对信息的描述存在很大的主观因素,所以,信息的表示和处理缺乏客观性。

    模糊集合理论对于数据融合的实际价值在于它外延到模糊逻辑,模糊逻辑是一种多值逻辑,隶属度可视为一个数据真值的不精确表示。在MSF过程中,存在的不确定性可以直接用模糊逻辑表示,然后,使用多值逻辑推理,根据模糊集合理论的各种演算对各种命题进行合并,进而实现数据融合。

    2.2.2 人工神经网络法

    神经网络具有很强的容错性以及自学习、自组织及自适应能力,能够模拟复杂的非线性映射。神经网络的这些特性和强大的非线性处理能力,恰好满足了多传感器数据融合技术处理的要求。在多传感器系统中,各信息源所提供的环境信息都具有一定程度的不确定性,对这些不确定信息的融合过程实际上是一个不确定性推理过程。神经网络根据当前系统所接受的样本相似性确定分类标准,这种确定方法主要表现在网络的权值分布上,同时,可以采用经*定的学习算法来获取知识,得到不确定性推理机制。利用神经网络的信号处理能力和自动推理功能,即实现了多传感器数据融合。

    常用的数据融合方法及特性如表1所示。通常使用的方法依具体的应用而定,并且,由于各种方法之间的互补性,实际上,常将2种或2种以上的方法组合进行多传感器数据融合。

    3 应用领域

    随着多传感器数据融合技术的发展,应用的领域也在不断扩大,多传感器融合技术已成功地应用于众多的研究领域。多传感器数据融合作为一种可消除系统的不确定因素、提供准确的观测结果和综合信息的智能化数据处理技术,已在军事、工业监控、智能检测、机器人、图像分析、目标检测与跟踪、自动目标识别等领域获得普遍关注和广泛应用称重传感器。

    (1)军事应用

    数据融合技术起源于军事领域,数据融合在军事上应用最早、范围最广,涉及战术或战略上的检测、指挥、控制、通信和情报任务的各个方面。主要的应用是进行目标的探测、跟踪和识别,包括C31系统、自动识别武器、自主式运载制导、遥感、战场监视和自动威胁识别系统等。如,对舰艇、飞机、导弹等的检测、定位、跟踪和识别及海洋监视、空对空防御系统、地对空防御系统等。海洋监视系统包括对潜艇、鱼雷、水下导弹等目标的检测、跟踪和识别,传感器有雷达、声纳、远红外、综合孔径雷达等。空对空、地对空防御系统主要用来检测、跟踪、识别敌方飞机、导弹和防空武器,传感器包括雷达、ESM(电子支援措施)接收机、远红外敌我识别传感器、光电成像传感器等。迄今为止,美、英、法、意、日、俄等国家已研制出了上百种军事数据融合系统,比较典型的有:TCAC—战术指挥控制,BETA—战场利用和目标截获系统,AIDD—炮兵情报数据融合等。在近几年发生的几次局部战争中,数据融合显示了强大的威力,特别是在海湾战争和科索沃战争中,多国部队的融合系统发挥了重要作用。

    (2)复杂工业过程控制

    复杂工业过程控制是数据融合应用的一个重要领域。目前,数据融合技术已在核反应堆和石油平台监视等系统中得到应用。融合的目的是识别引起系统状态超出正常运行范围的故障条件,并据此触发若干报警器。通过时间序列分析、频率分析、小波分析,从各传感器获取的信号模式中提取出特征数据,同时,将所提取的特征数据输入神经网络模式识别器,神经网络模式识别器进行特征级数据融合,以识别出系统的特征数据,并输入到模糊专家系统进行决策级融合;专家系统推理时,从知识库和数据库中取出领域知识规则和参数,与特征数据进行匹配(融合);最后,决策出被测系统的运行状态、设备工作状况和故障等。

    (3)机器人

    多传感器数据融合技术的另一个典型应用领域为机器人。目前,主要应用在移动机器人和遥操作机器人上,因为这些机器人工作在动态、不确定与非结构化的环境中(如“勇气”号和“机遇”号火星车),这些高度不确定的环境要求机器人具有高度的自治能力和对环境的感知能力,而多传感器数据融合技术正是提高机器人系统感知能力的有效方法。实践证明:采用单个传感器的机器人不具有完整、可靠地感知外部环境的能力。智能机器人应采用多个传感器,并利用这些传感器的冗余和互补的特性来获得机器人外部环境动态变化的、比较完整的信息,并对外部环境变化做出实时的响应。目前,机器人学界提出向非结构化环境进军,其核心的关键之一就是多传感器系统和数据融合。

    (4)遥感

    多传感器融合在遥感领域中的应用,主要是通过高空间分辨力全色图像和低光谱分辨力图像的融合,得到高空问分辨力和高光谱分辨力的图像,融合多波段和多时段的遥感图像来提高分类的准确*。

    ****通管理系统

    数据融合技术可应用于地面车辆定位、车辆跟踪、车辆导航以及空中交通管制系统等。

    (6)全局监视

    监视较大范围内的人和事物的运动和状态,需要运用数据融合技术。例如:根据各种医疗传感器、病历、病史、气候、季节等观测信息,实现对病人的自动监护;从空中和地面传感器监视庄稼生长情况,进行产量预测;根据卫星云图、气流、温度、压力等观测信息,实现天气预报。

    4 存在问题及发展趋势

    数据融合技术方兴未艾,几乎一切信息处理方法都可以应用于数据融合系统。随着传感器技术、数据处理技术、计算机技术、网络通讯技术、人工智能技术、并行计算软件和硬件技术等相关技术的发展,尤其是人工智能技术的进步,新的、更有效的数据融合方法将不断推出,多传感器数据融合必将成为未来复杂工业系统智能检测与数据处理的重要技术,其应用领域将不断扩大。多传感器数据融合不是一门单一的技术,而是一门跨学科的综合理论和方法,并且,是一个不很成熟的新研究领域,尚处在不断变化和发展过程中压力传感器。

    4.1 数据融合存在的问题

      (1)尚未建立统一的融合理论和有效广义融合模型及算法;

      (2)对数据融合的具体方法的研究尚处于初步阶段;

      (3)还没有很好解决融合系统中的容错性或鲁棒性问题;

      (4)关联的二义性是数据融合中的主要障碍;

      (5)数据融合系统的设计还存在许多实际问题。

    4.2 数据融合发展趋势

    数据融合的发展趋势如下:

      (1)建立统一的融合理论、数据融合的体系结构和广义融合模型;

      (2)解决数据配准、数据预处理、数据库构建、数据库管理、人机接口、通用软件包开发问题,利用成熟的辅助技术,建立面向具体应用需求的数据融合系统;

      (3)将人工智能技术,如,神经网络、遗传算法、模糊理论、专家理论等引入到数据融合领域;利用集成的计算智能方法(如,模糊逻辑+神经网络,遗传算法+模糊+神经网络等)提高多传感融合的性能;

      (4)解决不确定性因素的表达和推理演算,例如:引入灰数的概念;

      (5)利用有关的先验数据提高数据融合的性能,研究更加先进复杂的融合算法(未知和动态环境中,采用并行计算机结构多传感器集成与融合方法的研究等);

      (6)在多平台/单平台、异类/同类多传感器的应用背景下,建立计算复杂程度低,同时,又能满足任务要求的数据处理模型和算法;

      (7)构建数据融合测试评估平台和多传感器管理体系;

      (8)将已有的融合方法工程化与商品化,开发能够提供多种复杂融合算法的处理硬件,以便在数据获取的同时就实时地完成融合。

    5 结束语

    随着研究者的不断努力,不久的将来,数据融合的基础理论、兼有鲁棒性和准确性的融合算法将不断地得到完善,实现技术将不断地得到更新,实际应用将不断地被扩展。多传感器数据融合技术必将不断地走向成熟。

    转载于https://blog.csdn.net/young951023/article/details/78418952

    展开全文
  • 关于多模态融合

    2021-09-02 17:14:54
    主要分为四个层次,像素层、特征层、匹配层、决策层 像素层:研究原始数据,例如对图像数据是基于像素矩阵。 当像素矩阵维度差异较大时,需要舍弃图片维度较大的模态的部分特征,或者对维度较小的特征进行维度扩大,...

    源自论文《基于GCN的手指生物特征识别方法研究》
    ——————————
    主要分为四个层次,像素层、特征层、匹配层、决策层

    像素层

    研究原始数据,例如对图像数据是基于像素矩阵。
    当像素矩阵维度差异较大时,需要舍弃图片维度较大的模态的部分特征,或者对维度较小的特征进行维度扩大,这会降低识别率和识别效率;
    同时,图像本身冗余噪声多也不利

    特征层

    研究提取出的各模态特征,这时可以用典型相关分析、主成分分析等
    依然需要克服模态间维度不统一以及融合后维度爆炸等问题,特征相差较大的模态有时还需要各自不同千差万别的特征表达方式。
    不同模态间的特征融合也叫做异质特征融合,需要克服的问题有很多,比如不同模态特征维度空间差异(体现在特征向量上的数据值维度的差距),融合后导致不能发挥单模态各自的优势;融合后特征维度爆炸,冗余信息过多,计算复杂度很高,尤其是堆叠为统一模态特征空间差异而采取的归一化方法后
    而考虑表达成图结构数据,图块划分成节点,可以说对原图像进行了降维,这里原文提出的融合策略是将多模态图节点建模在一个graph中,根据节点特征计算欧氏距离链接出边,从而实现融合
    个人理解这算是先融合后识别,把各个模态的数据杂糅成一体后再进行识别分类,虽然比较难联想类比到其他场景,但这样好歹强调了融合。
    只是这样具体如何融合,如何适配各模态甚至说模态内各样本的差异(比如顺序、规模等)就是很大的问题,本身归一化所有样本规模就有系统误差,接下来一方面如何保证模态数据能够对齐,另一方面如何说明融合的结果没有给元数据造成破坏
    原文的实验是同时采用两种图表达方式得到的图结构,也即n个模态共2^n个融合后的图(但是关于如何对齐之类的问题并没有探究,拿实验结果说话效果好就完事了)

    (匹配层和决策层融合不太受限于模态维度和特征的差异,更易实现)

    匹配层

    按照有利的运算规则,融合各模态特征的分值,然后得出融合后的总分。还可以给不同模态赋予权值,提高多模态中优势模态的分数占比,从而起到提高识别率的作用。

    决策层

    基于权重、乘积以及求和等预设策略,可以实现对每个模态的特征信息都保留完整。但传统的决策层融合方法又存在新的问题,受不同模态间匹配方法差异影响较大,以及匹配的结果意义不同也使得决策层融合难以实现
    个人理解传统决策层融合就是先识别后融合,各个分类识别完之后,将识别结果融合,(和匹配层的描述看起来差异不大啊,都是打分融合)这样灵活容错,也可以联想类比到现实里各种打分机制,合常理好理解。
    但是这样融合本身的意义就有些弱化吧,直接给用户看分别的各项指标,融合结果就只是个给想省事的用户做个参考,纯粹有点为数据分析了
    决策层融合的主要方法包括:与或法、加权多数表决法、贝叶斯决策融合法以及行为知识空间法等。其中加权多数表决法就是很像打分的一种,优势模态权重最大
    另外原文的实验结果是逊于特征层的,分析原因是新的图结构数据对全体数据统一学习

    展开全文
  • 常用的有三种方式,特征层融合、决策层融合、模型层融合。 目前研究大部分采用的是前两种融合方式(决策方式用得更多),但这两种方式都存在较大弊端。 特征层:只是对各个模态的情感特征进行简单拼接,并没有考虑到...
  • 研究了基于多类电量测试信息及其多诊断方法融合的模拟电路故障诊断。获取可及节点电压,运用K故障诊断法进行故障在线检测与初步定位,再离线测量电路在不同的测试频率下输出对输入的增益,运用最小标准差法进行诊断...
  • 针对提升机减速器提出了一种决策层融合结构模型应用在齿轮故障诊断中。对各个传感器的信息进行神经网络属性判决,再将各神经网络的属性判决进行决策层融合,此种方法具有较强的灵活性,当传感器数目增加时,只需增加神经...
  • 我们可以通过模型融合大大提高决策树的精确度。一个决策树是弱的,整合多个弱模型能够构造一个强的模型,三个臭皮匠顶个诸葛亮。 Bagging Bagging 是 Bootstrap aggregating的缩写。思路就是重复取样,相同...
  • 多模态融合技术

    千次阅读 2020-08-26 09:35:03
    Soleymani M 等利用线性混合模型在决策层融合 EEG 和表情,在提升分类效果的同时,也验证了在面部表情存在的情况下,EEG 信号仍然携带着互补信息[21]。 2. 4 混合融合 顾名思义,混合融合就是将信号级融合、特征...
  • 接着,通过主-分层和信号强度进行网络大数据的多维描述,结合3步分解和三性融合,以逆变换去噪为驱动,提出了网络大数据协作数据融合算法。最后,实验和仿真结果表明,与实验统计值相比,所提算法在数据融合精度和...
  • 数据级融合、特征级融合决策融合。 目前我们所采用的融合策略是决策融合。 ( 1)特征级融合的特点,主要是雷达辅助图像。 基本的思路是将雷达的点目标投影到图像上,围绕该点我们生成一个矩阵的感兴趣区域...
  • 使用提出的二次比较选择模型(second comparison of choosing model,SCCM)在决策层上利用分数层数据信息进行辅助分类,根据类别判断是否启用声纹识别,使得双模态融合系统平均数据处理量降低了32.8%。基于FVC2002...
  • 数据融合基础概念

    千次阅读 2019-09-06 14:44:47
    数据融合技术定义 数据融合技术是指利用计算机对按时序获得的若干观测信息,在一定准则下加以自动分析、综合,以完成所需决策和评估任务而进行的...特征层融合:属于中间层融合,先对来自传感器的原始信息进行特征提...
  • 图像融合算法(像素级)

    万次阅读 多人点赞 2019-10-25 09:26:06
    图像融合技术可以提取自然光图像和红外图像的互补信息,获得对同一场景描述解释更为准确、全面和可靠的图像。像素级融合是常用于灰度图像与可见光图像的融合。基于源图像的彩色化就是源图像和目标图像的融合过程,使...
  • 这里使用到了两种传感器数据,因此我们需要进行数据融合,同时由于两种传感器工作原理不同,我们需要分别应用卡尔曼滤波与扩展卡尔曼滤波技术。本文主要参考Udacity《无人驾驶工程师》课程相关项目。 文章目录1....
  • DeepLearning-深度学习中特征融合方式

    千次阅读 2021-02-01 23:04:03
    从多源信息融合谈起,其主要是数据层、特征层和决策层,数据层融合计算开销大,但是不损失信息,另外两类都是在数据分析之后,损失了部分信息,但是操作性较高。在深度学习任务中,海量的结构化数据使得从数据层融合...
  • pytorch之多模型融合

    千次阅读 2020-02-24 10:36:07
    2. 多模型融合+迁移学习 辅助模型的融合 2.多模型融合的方法 1.结果多数表决 2.结果直接平均 3.结果加权平均 3.pytorch 之多模型融合实战(vgg16+resnet50) 思路:首先构建两个卷积神经网络模型,然后使用我们的...
  • 多传感器数据融合算法整理

    万次阅读 多人点赞 2019-04-28 19:09:47
    1 基本概念及融合原理 1.1 多传感器数据融合概念 数据融合又称作信息融合或多传感器数据融合,对数据融合还很难给出一个统一、全面的定义。随着数据融合和计算机应用技术的发展,根据国内外研究成果,多传感器数据...
  • 更新添加了模型蒸馏的的训练方法 添加中间可视化 更新模型部署(采用flask+Redis的方法) c++ libtorch进行模型部署的简单demo 代码运行教程 获取: 关注微信公众号 datayx 然后回复 图像分类 即可获取。...
  • 相关算法 2.1随机森林(RandomForest) 随机森林是一种Bagging算法,其基模型为决策树,关于决策树的讲解可以看这篇文章,可用于分类和回归问题。具体的过程如下所示 1.从原始训练集中使用Bootstraping(有放回的随机...
  • 最后设计特征层和决策层融合的方法,将文本和图片情感分类模型进行融合。实验结果表明,内容特征和用户特征有效增强了模型捕捉情感语义的能力,并在多项性能指标上都取得了很好的效果, 构建的图文情感分类模型和...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 28,203
精华内容 11,281
关键字:

决策层融合