精华内容
下载资源
问答
  • 针对多源数据融合定位的数据的种类及数据融合处理方法进行了整理,整理了几篇文章的主要摘要部分,供大家参考,能了解到多源数据融合具体应用在了那些方面,每一方面进行数据融合定位用到的方法,包括车载定位、航空...

    针对多源数据融合定位的数据的种类及数据融合处理方法进行了整理,整理了几篇文章的主要摘要部分,供大家参考,能了解到多源数据融合具体应用在了那些方面,每一方面进行数据融合定位用到的方法,包括车载定位、航空器/飞机定位、室内定位。

     

    1. 综述

    遥测遥控期刊论文《多源融合导航技术综述》哈尔滨工业大学,博士生导师  2016

     

    随着定位与导航技术的快速发展,基于位置的服务给人们带来越来越好的用户体验。但是单一的导航源往往达不到用户的精度要求,同时也不具备足够好的鲁棒性和可靠性。多源融合导航基于信息融合技术,将来自不同导航源的同构或者异构的导航信息按照相应的融合算法进行融合,从而得到最佳的融合结果。相对于传统的单一导航源,多源融合导航可以充分利用每一个导航源的优势,从而提供最好的定位与导航服务。对多源信息融合以及多源融合导航技术进行分析和概述,同时阐述常用的多源融合算法及多源融合导航的性能评估。

    现有的导航系统种类多样,例如卫星导航、惯性导航、光/声学导航、重力/磁力导航以及典型室内定位方法等等。

    1) 卫星导航系统由导航卫星、地面台站以及用户定位设备组成。

    定位方法:多普勒测速、时间测距。

    多普勒测速是用户测量实际接收到的信号频率与卫星发射的频率之间的多普勒频移,并根据卫星的轨道参数算出用户的位置。

    时间测距则是通过测量卫星信号的传播时间,继而通过特定方程式的数学模型计算,得出用户位置信息。

    2)惯性导航技术是通过陀螺和加速度计测量目标的角速率和加速度,然后通过积分运算计算出目标的位置信息以及速度信息。在 x 轴和 y 轴方向上分别对分项加速度求积分,从而得到速度信息。然后在已知初始速度的情况下再次求积分,得到测量目标的位置坐标(x,y)

    3/声学导航

    光学导航主要为可见光通信定位,可见光通信定位将配备信号控制装置的 LED 灯发光的明暗变化作为 ID 信号发送,接收到 ID 信号的便携终端将其转换成位置信息。该技术的定位精度约为 1m

    声学导航系统主要应用于水下潜艇的定位。与其他导航系统相比,声学导航具有以下优点:既可以用于水面,也可以用于水下导航;能够实时准确地测量载体的速度、艏向等信息。

    4重力/磁力导航

    重力导航是在重力测量、重力异常及垂线偏差的测量和补偿的基础上发展起来的。磁力导航则是根据地球上不同位置的地磁场各不相同,首先采用地磁传感器测量地磁矢量数据库,然后在线定位时根据匹配算法,将实时测量的地磁场与地磁矢量数据库进行比对,从而获取当前用户位置信息。

    5典型室内定位方法得益于卫星导航系统的存在,室外定位很大程度上满足了人们对定位导航服务的要求。但是由于室内环境中可见星的遮挡问题,卫星导航无法使用。目前室内定位方法主要包括无线传感器网络定位、超宽带定位、蓝牙定位、WLAN 定位等等。其中 WLAN 定位具有定位成本低、实现方便的特点,被认为是最具有前景的定位手段。WLAN 室内定位主要有基于匹配算法的指纹定位基于接收信号强度RSSReceived  Signal  Strength)测距的无线定位。

    3   多源融合算法

    在多源融合导航系统中,多源融合算法是充分利用导航源实现融合定位的关键步骤。下面就几种典型的融合算法进行介绍。

    1)加权融合算法

    加权算法是一种最简单直观的融合算法。在加权融合算法中,将多个融合源提供的位置信息分别冠以相应的权重,从而获取最后的融合结果,优点:加权融合具有算法简单、实现方便的特点,缺点:但是当权重因子选取不当的时候,并不能获得较佳的融合结果。

     

    2)基于贝叶斯估计的滤波融合算法

    贝叶斯统计理论相对于经典统计理论的主要优势是,其对先验知识进行了充分的利用,将每一次检验过程动态地认为是对先验知识的不断修正过程。优点:贝叶斯估计方式充分利用先验信息,系统预测准确,缺点:但是它需要明确地了解量测的先验模型,而在实际应用中较难取得所有传感器的先验信息。

    作为贝叶斯滤波的一个特例,卡尔曼滤波就是在线性滤波的前提下,以最小均方误差为最佳准则采用最小均方误差作为最佳准则是因为在这种准则下的理论比较简单。

    对于非线性系统来说,贝叶斯滤波中的状态后验概率密度函数将难以求解。为此,贝叶斯滤波的各种近似解相继出现,例如扩展卡尔曼滤波、无迹卡尔曼滤波、粒子滤波等等。

    3基于因子图的融合算法

    指基 斯网 马尔 机游 的概 模型 局函 g(x^{_{1}},x^{_{2}},x^{_{3}},x^{_{4}},x^{_{5}})为例,其为具有 5 个变量的实值函数,将其分解为 5 个局部函数之积。

    g(x^{_{1}},x^{_{2}},x^{_{3}},x^{_{4}},x^{_{5}})=f_{A}(x^{_{1}})f_{B}(x^{_{2}})f_{C}(x^{_{1}},x^{_{2}},x^{_{3}})f_{D}(x^{_{3}},x^{_{4}})f_{E}(x^{_{3}},x^{_{5}})

    因子图的因式分解特性为多源信息融合的精度提高提供了可能性。在基于因子图的多源融合导航算法中,将每一个导航源视作一个变量节点,变量节点在函数节点实现局部融合,最终通过基于和积算法的消息传递过程,得到最终的融合结果。 

    当添加和删除导航源时,启用或者弃用相应的函数节点。在融合过程中,充分利用因子图的这一特性,可以实现多源融合导航的即插即用性

     

    4)交互式多模型融合算法交互式多模型算法是一种高效的混合估计方案,已经成功应用于很多问题。交互式多模型算法是一种具有马尔科夫切换系数的算法,其估计算法采取递推形式,主要分为四个步骤,分别是模型条件初始化、模型条件滤波、模型概率更新以及估计融合。

    此种算法性能非常依赖于所使用的模糊集,而大量模型在提高估计精度的同时也带来了极

    大的计算量,所以模糊集的选取是交互式多模型算法研究中的重要问题。 

     

    5.评价

    对于模型性能的评价,一些学者特别提出了即插即用性指标,提出了多源融合导航系统

    的即插即用性要求。即插即用性可用于评价添加和删除导航源过程中融合系统的适配性。

     

    1. 毕业论文

    1)硕士 . 2019 . 室内定位 .《基于自适应矢量粒子滤波的多源融合定位筧法研究与实现》北京邮电大学  2019

     

    室内定位技术   粒子滤波器,考虑到无线电信号非线性、非高斯的特点,在室内信号中断问题。 

     

    非自主导航定位技术

     

    无线电

    红外线

    TC-OFDM

    无线保真技术Wi-fi

    蓝牙

     

    超宽带(UWB

    室内多遮挡、强干扰、非视距等恶劣环境下,往往会产生不连续的定位结果,但是长时间定位会出现较大的累积误差,导致定位精度严重下降

     

     

    自主导航定位技术

    惯性导航系统(IMU)

    行人航位推算(PDR)

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

    对无线信号、PDR和地图信息的融合定位技术开展研究,以提高定位系统的定位精度与鲁棒性,为位置服务提供高精度尚鲁棒的定位保障。 

    室内无线信号指纹定位由于起成本低、无需布设额外设施而被广泛应用,具有非线性、非高斯、非平稳的特点。 

    卡尔曼滤波为线性滤波器,不能滤出系统非线性产生的误差,精度会低。

    例子滤波具有非参数化的特点,可以表征比高斯模型更广泛的分布,所以粒子滤波被广泛应用于多源融合定位系统 

    线信号在复杂室内环境下由于在离线阶段和在线阶段接受的信号强度测量值匹配度不高,降低了无限信号的定位精度, 

    文中提出一种模型校准在线RSSI的指纹定位算mcrt),旨在通过建立离线阶段RSSI和在线阶段到达时间差TDOA)的映射模型来探究离线阶段和在线阶段的环境波动规律,从而利用该映射模型估计出最匹配离线指纹的在线RSSI值,但是根据模型估计出的RSSI值仍然不可避免的会存在噪声,所以该算法利用卡尔曼滤波来优化模型估计值和在线测量值,从而减小离线阶段和在线阶段测量值的波动差异,提高指纹定位的定位精度,为基于自适应矢量粒子滤波算法的无线信号、PDR和地图的融合定位系统奠定坚实的基础。

     

    2)硕士 . 2015 . 室内定位 .《多源室内定位系统的设计与实现》华中科技大学

    传统的基于 WiFi的单源室内定位虽然成本低、易部署的特点得到了广泛的应用,但其定位精度不高。为此,本文主要讨论多源室内定位系统的设计与实现。 首先本文设计了一种多源室内定位算法,算法的多源体现在算法采用了声音、WiFi 和加速度多个信息源,且算法不仅仅是对这些多源信息进行简单的融合处理,而是利用多源的信息提出一种新型的定位框架。该算法充分利用目标用户周围一些静态用户的位置信息来协助完成目标用户位置的确定。首先在定位区内找寻一些移动频率较低的静态用户,将他们作为基站(Beacon),并事先确定这些 Beacon 的位置。然后利用声音测距的方法计算待定位目标用户与这些 Beacon 间的距离,最后利用三边定位法求出目标用户的位置。同单源 WiFi 定位系统一样,多源室内定位系统不需要任何额外硬件的部署,然而它的定位精度却有明显的改善。 接着,本文给出了该室内定位算法的系统实现。此种多源室内定位系统的平均定位误差在 3M 左右

    3)硕士 . 2018 . 车载定位 .《基于多源信息融合的车载定位技术研究 》中国航天科技集团公司第一研究院

    多源信息融合车载定位技术 

    论文以车载捷联惯导为核心,结合了多种定位信息源,以提高系统的定位精度和复杂环境适应能力为目的,对多源信息融合车载定位技术进行了研究。研究的主要内容和成果有:

    (1) 提出了一种开放式多源信息融合算法架构。算法架构以捷联惯性导航系统SINS)为主参考系统,分别与其他定位信息源组成子滤波器。对子滤波器的输出结果进行故障诊断,由重构机制决定是否采用子滤波的数据融合结果。将定位信息源按信号输出特性划分为三类,信号以固定频率发送的信息源信号异步输出且间隔较短的信息源信号异步输出且间隔较长的信息源。并采用相应的数据融合方法分类进行信息源的数据融合处理。

    (2) 采用联邦卡尔曼滤波器融合了第一类定位信息源的数据。以 SINS 为主参考系统,分别与其它信息源组成子滤波器,子滤波器的输出结果经故障诊断和系统重构后,进入主滤波器进行信息融合。各子滤波器独立滤波、互不影响,提高了算法框架的扩展能力与容错性能。通过仿真试验和跑车试验,结果表明:相较于传统的集中式卡尔曼滤波算法,该算法的误差状态维数较低,具有鲁棒性。且在信息源出现故障时,算法仍能保持系统的定位精度。提高了车载定位系统的环境适应能力,保证了车载定位系统的性能稳定性。

    (3) 采用基于因子图的异步非等间隔信息融合算法融合了第二类定位信息源的数据。采用因子图关联系统状态模型与观测模型,基于最小方差估计进行状态估计,对量测信息进行序贯处理,有效解决了传统非等间隔数据融合算法存在的拟合误差,以及信息源的即插即用问题。对异步非等间隔信息融合算法进行了仿真,结果表明:与采用 GMNS信息直接校正惯导位置的校正方法相比,异步非等间隔信息融合算法的定位误差减少了30%。此外,进行了实车试验,试验进一步验证了该算法的定位精度,并解决了车载定位信息源的即插即用问题。

    (4) 采用基于位置信息的捷联惯导系统综合校正技术融合了第三类信息源的数据。针对以地为代表的第三类信息源采用位置综合校正算法,利用间歇获得的外部位置信息,建立了陀螺漂移与方位误差的误差传递模型,利用最小二乘法估计出陀螺漂移并进行误差补偿。充分利用了以地标为代表的第三类信息源,显著提高了捷联惯性导航系统的长时间定位精度。

    (5) 针对论文提出的开放式多源信息融合整体算法架构进行了仿真分析与实车试验。将联邦卡尔曼滤波算法、基于因子图的异步数据融合算法,基于位置的综合校正算法综合运用。仿真分析表明:论文提出的算法可融合多种类型的定位信息源,数据融合后的定位精度与融合时定位精度最高的定位子系统一致,实车试验表明:论文提出的算法可融合多种类型的定位信息源,明显改善了传统组合定位算法误差发散的缺陷,在长时间、大范围机动过程中将定位误差控制在一定范围内,具备良好的故障诊断与系统重构能力,实现了定位信息源的“即插即用”。 

    4)硕士 . 2016 . 飞机定位 .飞行定位数据采集传输系统研究与设计硕士学位论文

    飞行定位信息数据的采集传输方式从单一的传感器数据系统发展到多传感器信息数据的融合系统,数据的采集传输模式也由传统的串口传输趋向无线传输方式,传输系统采用的是更加符合用户操作的移动终端平台。实际应用过程中对飞行定位的数据的精度、可靠性和容错能力的要求越来越高,对设备的便携性、可移动性、小型化也提出了更高要求。

    本文GPS导航系统为依托对多传感器定位信息数据的采集与融合算法、传输模型进行研究,运用无线传输方式将島精度数据有效传输并对数据进行融合,实现实时的低空飞机的空中跟踪定位

    本文首先简要介绍了数据处理的插值算法、数据的加权平均融合算法、定位数据误差修正算法等,将处理后的数据有效融合使得终端系统集于一体构成完整的定位系统。 

    当前对于导航定位数据采集传输技术方法主要包括基于GPSA-GPS定位技术,基于传感器数据合定位技术,无线wifi网络节点定位技术室内,红外线定位技术(适合短距离的范围),超声波定位技术,蓝牙通信定位技术室内,射频识别定位技术短距离ZigBee定位技术短距离和超宽带定位技术室内机器人等近年来对于导航定位数据采集与传输技术应用较为广沒的飞行定位数据采集传输技术研究取得重要发展,对于飞行定位数据采集与传输技术应用比较多的是基于GPSA-GPS定位、惯性导航定位数据采集传输技术和多传感器数据融合定位技术等。 

    5博士 . 2018 . 飞机导航 .《多源组合导航系统信息融合关键技术研究》 电子科技大学

    论文针对以上问题展开如下研究:

    (1) 研究了多源组合导航系统可导航性增强方法;

    首先,针对由于 DGNSS 参考站短时间失去 GNSS 信号的锁定,或由于硬件或软件故障造成 DGNSS 校正传输的无意中断导致的 DGNSS 导航服务的不连续性,提出了一种 DGNSS 伪距和载波相位校正信息的差分修正量的组合预测方法,并对该模型进行了有效性评估,理论分析和仿真结果都表明该组合模型较好地符合DGPS 差分修正量预测规律,有助于提高预测精度。

    然后,针对捷联惯性测量单元(IMU)噪声大、误差累积的缺点和传统的姿态解算算法精度不高、环境适应性能力差等缺点,提出了 Elman 神经网络辅助的姿态解算算法。仿真结果表明该方法很大程度上提高了姿态解算的精度和自适应性。

    最后,研究了 X 射线脉冲星编队飞行航天器相对导航算法。提出了一种新的使用 X 射线脉冲星测量的多星编队相对导航算法,使用 X 射线脉冲星测量的编队飞行之间的相对导航问题,在分析相对导航需求的基础上,提出了一种受约束的自适应卡尔曼滤波器来估计编队飞行之间的相对位置和速度,最后进行了仿真以评估所提出的导航算法,仿真结果证明了该方法的有效性。

    (2) 多模组合导航系统状态估计和智能主动容错方案设计

    根据多源组合导航系统需要面对的环境中惯性、地形、地磁等的导航特点,将拉普拉斯特征映射(LE)这种把数据从原来的高维空间投影到低维空间以提取更具代表性的特征的方法与深度神经网络模型相融合而提出了一种新的在建模存在不确定性以及可能存在时变的系统和观测噪声时进行稳定的状态估计的方法,仿真表明在恶劣环境或干扰大的情况下该方法的有效性。 提出了基于 one-class 支持向量机的系统故障诊断方法,仿真结果表明该方法能够很好的检测出导航子滤波系统的突变故障和缓变故障,延迟短,实时性较强,并且通过分析与对比,表明该方法在小样本时检测性能更好。在此基础上,提出了基于神经网络和支持向量机的智能主动容错方案设计,相比于一般的容错组合导航而言,主动容错组合导航能够让每个子滤波器不间断地工作,无论子导航系统是否出现故障都能够对整体的状态进行最优估计。

    (3) 多源组合导航系统信息融合模型和滤波方法

    从组合导航系统的一般组成出发,在对传统组合导航系统的信息融合结构分析的基础上,针对传统的算法在真实环境中存在的数据复杂、密集的情况下,当前时刻接收到的数据量与数据处理速度无法匹配,从而使待处理队列内数据逐渐积累,处理时间变长以后,后接收数据需要等待的时间逐渐不能被忍受,并成为恶性循环,使系统运行的效率受到严重干扰,在分析 GPU 并行结构的基础上,以处理非线性问题非常有效的粒子滤波算法为例对基于 GPU 的多源组合导航系统信息融合模型展开研究。最后,针对系统存在的非高斯非线性状态以及线性非线性并存的情况,提出了基于高斯混合容积粒子滤波和基于混合动态滤波算法的多源组合导航系统滤波方法,并对其进行了仿真分析。

    1.文中以处理非线性问题非常有效的粒子滤波算法为例对基于 GPU 的多源组合导航系统信息融合模型展开研究。 对于系统信息融合的滤波方法,由于系统的非线性,目前较为流行的是 EKFUKFCKF PF 等典型的非线性波算法。其中,粒子滤波在解决非线性滤波问题时没有随机量必须满足高斯分布的限制,能实现比高斯模型更广泛的分布。 

    2.基于混合动态滤波的多源组合导航系统滤波算法

    多源组合导航系统的本质是多个系统的综合与集成,因此系统中线性和非线性状态共存。常用方法是采用RBPF 滤波器Rao-Blackwellized Particle Filter),其基本思想是用 PF 估计模型中的非线性状态,用 KF 估计其中的线性状态。

    文中提出了一种可用于多源组合导航系统状态估计的边缘 RBPF 滤波—MRBPF算法,以粒子滤波为基础框架,融合 RBPF 算法和 MPF 边缘粒子滤波Marginal Particle Filter)算法,将多源组合导航系统导航信息的线性和非线性状态分离, MPF 处理系统的非线性状态,然后将其估计值对线性状态进行卡尔曼滤波估计

    3.多源组合导航系统中的高斯 cubature 粒子滤波算法

    传统的非线性滤波算法很难解决这种非线性和非高斯并存的问题。

    非线性滤波方法

    1扩展卡尔曼滤波(EKF为代表的将系统方程的非线性部分线性化来得到非线性函数

    2无迹卡尔曼滤波(UKF容积卡尔曼滤波(CKF)和粒子滤波(PF为代表的利用采样的方法获得非线性密度函数进而得到状态量的估计值。

    在非线性高斯滤波环境中通常使用 EKFUKFCKF 算法,适用于在非线性非高斯滤波环境中通常使用 PF 算法,但 PF 滤波存在计算量大,粒子退化和粒子贫乏等问题。

    文中以容积卡尔曼滤波(CKF为基础,用高斯混合模型来近似高斯与非高斯后验密度函数,能更好地估计重要性密度函数,如果观测数据的局部为变化的,同时单一的分布不能得到最优或次优估计,使用高斯模型具有明显的优越性。

     

     

    展开全文
  • 多源数据融合算法综述

    万次阅读 多人点赞 2019-07-08 15:31:12
    多源数据融合算法综述 作者:祁友杰、王琦(中国航天科工集团8511研究所) 期刊:航天电子对抗 时间:2017.12.28 引用格式:祁友杰,王琦.多源数据融合算法综述[J].航天电子对抗,2017,33(06):37-41. 摘要: 多源数据...

    多源数据融合算法综述

    作者:祁友杰、王琦(中国航天科工集团8511研究所)
    期刊:航天电子对抗
    时间:2017.12.28
    引用格式:祁友杰,王琦.多源数据融合算法综述[J].航天电子对抗,2017,33(06):37-41.

    摘要: 多源数据融合作为一种特殊的数据处理手段,在目标识别领域得到了较大的重视和发展。在介绍多源数据融合的基本原理和功能模型的基础上,对目前的多源数据融合算法进行了全面介绍,从算法概念出发对其进行了分类,分别为物理模型类、基于参数类和基于认识模型类,并阐述了每类算法的特点以及相关算法的改进,列举了目前国内外一些已经发表的重要算法,为下一步多源融合的目标识别研究提供了一定的理论依据。
    关键词: 多源;多传感器;信息融合;数据处理

    主要介绍了多传感器数据融合的模型和算法。论文框架图:
    在这里插入图片描述

    参考文献:
    中国学术期刊网络出版总库 共14条
    [11]加权决策模板业务感知算法[J]. 杨应雷,周金和,王川潮. 计算机工程与应用. 2017(02)
    [1]信息融合理论的基本方法与进展(Ⅱ)[J]. 潘泉,王增福,梁彦,杨峰,刘准钆. 控制理论与应用. 2012(10)
    [10]多传感器数据融合目标识别算法综述[J]. 徐小琴. 红外与激光工程. 2006(S4)
    [12]决策模板法在决策层融合目标识别中的应用和改进[J]. 张翼,朱玉鹏,付耀文,王宏强,黎湘. 电光与控制. 2005(06)
    [5]采用Bayes多传感器数据融合方法进行目标识别[J]. 王俊林,张剑云. 传感器技术. 2005(10)
    [20]多传感器目标识别系统的特征优化方法[J]. 牛丽红,倪国强. 光学技术. 2005(03)
    [13]基于熵和KNN的决策模板法在目标识别中的应用[J]. 帅军. 湖南文理学院学报(自然科学版). 2005(01)
    [16]基于模糊综合函数的目标识别融合算法研究[J]. 杨建勋,史朝辉. 火控雷达技术. 2004(04)
    [22]知识系统建模框架研究[J]. 朱欣娟,兰壮丽,刘凤华. 西安工程科技学院学报. 2004(01)
    [17]基于Choquet模糊积分的决策层信息融合目标识别[J]. 刘永祥,黎湘,庄钊文. 电子与信息学报. 2003(05)
    [19]智能学习的目标识别算法研究[J]. 李君. 红外. 2003(02)
    [21]知识系统与认知分析[J]. 张文修,徐宗本. 系统工程理论与实践. 2002(10)
    [4]基于矩阵分析的一种不确定性推理的数据融合方法[J]. 张新曼,韩九强. 西安交通大学学报. 2002(08)
    [18]多传感器图像模糊融合算法在图像识别中的应用[J]. 刘源,谢维信. 西安电子科技大学学报. 2000(01)

    中国博士学位论文全文数据库 共1条
    [7]雷达目标融合识别研究[D]. 付耀文.中国人民解放军国防科学技术大学 2003

    中国图书全文数据库 共1条
    [3]数据融合理论与应用[M]. 西安电子科技大学出版社 , 康耀红著, 1997

    外文题录数据库 共5条
    [2] Introduction to multisensor data fusion. Hall, David L.,Llinas, James. Proceedings of Tricomm . 1997
    [8] Neural networks for sonar andinfrared sensors fusion. Barbera H M,Skarmeta A G,Izquierdo M Z,et al. Information Fusion . 2002
    [15] Information fusion of supervised classification in a satellite image.Proc int. Roux L,Desachy J. fuzzy systems . 1995
    [9] Fusion techniques for automatic target recognition. Rizvi SA,Nasrabadi NM. Applied Imagery Pattern Recognition Workshop . 2003
    [14] Notes on the use of D-S and fuzzy reasoning to fuse identity attribute data. Kewley DJ. . 1992

    展开全文
  • 多源数据融合:大数据分析的瓶颈

    千次阅读 2017-08-01 16:55:00
    利用互联网购物的营销数据来追踪和勾画消费行为并以此为据促销是大数据应用的成功典型案例。有些人已此将大数据吹得...在这里,多源数据融合就成为大数据分析中的瓶颈。 数据处理新工具使数据科学家从数据准备...

    大数据

    利用互联网购物的营销数据来追踪和勾画消费行为并以此为据促销是大数据应用的成功典型案例。有些人已此将大数据吹得神乎其神,好像它能成为万能药。其实,这只是大数据应用中的很小一部分。作为智能决策的支持手段之一,大数据在企业、事业、政府、社会管理和发展上的应用是更重要的挑战。在这里,多源数据的融合就成为大数据分析中的瓶颈。

    数据处理新工具使数据科学家从数据准备的繁琐工作中解放出来,但如何根据每个数据分析项目量体定制,融合多源数据以形成有效的分析数据集仍是数据科学家必须面对的一个更具挑战性的瓶颈。

    利用互联网购物的营销数据来追踪和勾画消费行为并以此为据促销是大数据应用的成功典型案例。有些人已此将大数据吹得神乎其神,好像它能成为万能药。其实,这只是大数据应用中的很小一部分。作为智能决策的支持手段之一,大数据在企业、事业、政府、社会管理和发展上的应用是更重要的挑战。在这里,多源数据的融合就成为大数据分析中的瓶颈。

    每个亲身参加过大数据项目的数据科学家、数据分析师、数据库管理员都会告诉你,项目的80%的时间和经费花在数据的准备工作上。这其中多源数据的融合是最耗费资源的任务之一。难怪最近纽约时报惊呼:“数据科学家把高达 80%的时间用于数据准备而不是用来发现新的商业智能”。

    传统的统计分析经常是对单一数据源(营销数据、行政报表、问卷调查、人口普查等)进行深入的追踪和分析。分析人员对数据的来源和结构有一定的控制和深层的了解。在大数据时代,数据源是多样的、自然形成的、海量的数据常常是半结构或无结构的。这就要求数据科学家和分析师驾驭多样、多源的数据,将它们梳理后进行挖掘和分析。在这个过程中,数据融合(data blending)就成为不可或缺的一步。

    数据融合与数据仓库(Data Warehouse)、数据一体化(Data Integration)不同。它的目的不是将一个企业(Enterprise)或组织的所有数据集中在一起并标准化而产生唯一的真相(Single Truth)。它是以产生决策智能为目标将多种数据源中的相关数据提取、融合、梳理整合成一个分析数据集(Analytic Dataset)。这个分析数据集是个独立的和灵活的实体,可随数据源的变化重组、调整和更新。数据融合胜于数据仓库和数据一体化的另一点是它能包容多源数据。

    数据融合有六个基本步骤:

    1. 连接所需多源数据库并获取相关数据
    2. 研究和理解所获得的数据
    3. 梳理和清理数据
    4. 数据转换和建立结构
    5. 数据组合
    6. 建立分析数据集

    这个过程的每一步都需要数据工作者认真细致的思考、辨认、测试、清理、最后产生可信赖、有意义的分析数据库。在过去,这个数据准备过程很大程度上是通过手动,十分费时和艰辛。即使有数据处理的软件(如Excel, SAS, SPSS等),每个数据工作者也都是自己使用所熟悉的工具,形成个性化的,充其量是半自动的数据准备程序。最近几年,大数据技术公司将数据处理整合过程中相关技术集合,组合,提升后开发出专门用于数据融合的新工具。应用这些直观、可视、高效的软件工具,数据准备的过程的工效大大提高,在一定程度上解决了数据融合的技术瓶颈。

    数据融合的另一瓶颈是思维。打个比方,数据融合就像水泥的现场合成。水泥制作可以从人工搅拌变为机械合成,提高了工效。但水泥配置仍需要正确的配方;沙、石、混凝土的比例,以及相关化学成份的添加对达到水泥的质量标准至关重要。数据处理新工具使数据科学家从数据准备的繁琐工作中解放了出来,但如何根据每个数据分析项目量体定制,融合多源数据以形成有效的分析数据集仍是数据科学家必须面对的一个更具挑战性的瓶颈。

    多源的数据可以归纳为三大类:

    一手数据(Primary Data),包括企业或组织直接采集掌控的内部运行数据和营销数据,

    二级数据(Secondary Data),第三者采集、整理、和提供的二手数据,如经济指标、人口普查、民意调查、网路数据等,

    科学数据(Scientific Data),包括科学研究 的成果、指数、算法、模型等。

    这三类数据为数据为驱动的智能决策提供了不同的观察角度。一手数据具体、灵活、快速积累能够实时或接近实时地为决策者提供监测、追踪、描述信息。二级数据一般是定期公布的数据,它能提供国家、地区、行业的状况信息,成为数据分析中的可比性坐标。科学数据的更新是不定时的,但它代表着目前科研成果,对数据分析的建模和算法提供科学基础。在大数据分析项目中,数据科学家需要针对具体研究课题同时收集、整理、融合相关的三类数据。数据科学家的水平就体现在将三类数据合理、有效、有意义的融合上。

    数据融合是目前大数据应用和智能决策过程中一个瓶颈。这个挑战引发了新一轮大数据工具的快速发展。根据2016年高德纳公司数据管理和分析软件工具的评估报告,自我服务式数据准备软件(Self-service Data Preparation)已成为发展最快的工具之一。这一发展趋势应引起我们的关注。同时,数据融合的思维瓶颈仍是所有数据科学家必须面对的更高层次的挑战。


    本文作者:佚名

    来源:51CTO

    展开全文
  • 多源数据融合的方法按照已有的工作可以分成三大类 。第一类是阶段性的方法,先用一种数据再用一种数据。第二个是基于特征拼接的方法。我们所熟知的深度学习方法,还有传统的特征串联加上一些正则化方法,都是属于这...

    来自:

    https://mp.weixin.qq.com/s?__biz=MzAwMTA3MzM4Nw==&mid=2649440531&idx=1&sn=d9c92b1f157ee37c7c6e185919a3ffbb&chksm=82c0a897b5b721810f4d795cc144d309086274a9071515e727f9f420d7ffb7f06c9b376557ee&scene=21#wechat_redirect

    https://blog.csdn.net/chognzhihong_seu/article/details/70799927

    原文太长,简要摘记学习一下。

    城市数据的获取,获取方式主要有两种

    ●  第一种,以传统传感器为感知的方法

    ●  第二种,以人为中心的感知方法

    第一个,以传统传感器的感知方法进一步可以分成两个子类,要么把传感器放在一些固定的地方,要么把传感器装在一些移动的物体上面,比如说在公交车、出租车上装传感器,但是不管哪一种,一旦装完之后人就不参与了,这个数据自动传到我们后台。

    另外一个,以人为中心的感知,这是比较新的概念,也叫群体感知,这里面也分成两个方面,一个叫做被动式群体感知,一个叫主动式群体感知。被动式群体感知,每天每个人都在参与,我们并不知道我们打电话的时候,我们的数据可以拿去改进通话网络的质量;我们并不知道我们公交车上下车刷卡的时候,这个数据可以帮助优化我们的公交线路,改进城市规划。把每个人的数据收集在一起,感知城市的变化,最后解决问题,这叫做被动式群体感知。主动式群体感知就是,任务是什么很明确,什么时间、什么地点、干什么事情、共享用什么数据,这个数据拿来干什么用都很清楚,甚至还有激励机制,你可以选择什么时候加入或不加入。这是目前城市数据来源的四种方式。

    根据数据关联的时空属性的变与不变与否,可以分成三类:1)是时间和空间都不变的,属性都不变,静态数据;2)是空间不变、时间变;3)时、空都变。

    现在听起来比较抽象,所以说2×3是6组数据,你们可以想,你心目中所有的数据,我都会告诉你在哪儿。比如说我们的兴趣点数据,什么叫兴趣点?一个车站、一个酒吧、一个学校就是兴趣点,有坐标、有地址、有名称,一旦某个商场建好之后空间就不变了,有多少层楼、多少个窗户也是固定的,所以时间和空间都是静态的,这是点数据。

    我们把传感器放在好,位置不变,是个点,可是每个读数随着时间变化,属于空间不变、时间变。

    时间和空间都变是什么呢?就像我们去骑摩拜单车,去打Uber,坐滴滴,用户的数据就属于时空散点数据,比如2点有用户请求了,2点半有用户在另一个地方请求了,位置和位置是变化的,并且时间也在变。

    什么是网络数据呢?路网是静态的,这个不变,时空都是静态的网络结构数据,一旦把交通流量叠加上来之后,就变成了空间静态,但是时间动态的数据。什么是时间和空间都动态并且网络结构信息呢?就是轨迹。我们可以想象一下,滴滴的轨迹,摩拜的轨迹,都属于这个数据,人类手机信号也属于这类数据,我们骑行也属于这个数据。

    轨迹数据是最难的,是信息量最丰富的,人类的出行,打电话的记录,车的记录,飞机的记录,候鸟飞翔,飓风移动,都属于轨迹数据,因为时间、空间都在变。

    平台。异构、多源、多模,是三个不同的东西。异构就是结构和非结构的;多源就是来自于不同的领域和数据源(比如气象和交通);多模,就是有文本的、影像的、语音的。在城市大数据里面,这三个是全部具备的,那我们也会同时处理这些东西。我们的应用不是城市级别的,不是说某个摄像头放在一个地方,或者在一条路上,那不叫城市计算。要做就是整个城市规模全做,需求量就是上百万级、上千万级用户规模,这种大的应用场景,这么多的数据,没有好的平台是做不到的,所以我们首先就会想到用云计算平台。但是非常抱歉的告诉大家,现在不管哪一家公司的云计算平台,都不能很好的支持时空大数据,也就是我们城市大数据,为什么呢?

    有三个原因:

    ●  第一,时空数据的结构跟文本、图像是非常不一样的。大家可以想象我们拍了一个照片之后,这个照片始终是20K,拍的时候20K,永远是20K,不会说随着时间的变化不停的在变。但一辆车的轨迹在开车的过程中是不断增加的,而且轨迹中两个点不能随便交换,不像我们一般记录学生成绩,把两个学生成绩两行交换一下,并不能影响这个表格的准确性,时空数据就不能交换。

    ●  第二,我们以前查询文本的时候,可以把包含关键词的文本拿出来,但是我们做时空数据查询的时候,往往是靠一个时空范围,比如说查找我周边最近2分钟内空驶的出租车,查找过去两分钟所有这个楼周边的摩拜单车哪个是空的,这都是空间加时间范围查询,它不是一个Keyword Match的问题。甚至比如说在开车的过程中查找最近的加油站在哪里,车的位置还在变的,这都是在云计算平台里都不直接支持。

    ●  第三,真正要做城市大数据项目的时候,你发现绝对不是只用一种数据,会用到多种数据,而且还要把多种数据的知识融合在一起。要融合多源数据的话,先不把各类数据管理好,不把它有机的索引在一起,到时候根本来不及做快速融合的问题,这就叫混合式索引,数据和数据关联起来,把不同领域数据融合在一起。

    首先,我们定义了六种数据模型,刚刚介绍过,根据数据结构、时空属性变与不变,2*3=6种模型,不管什么数据,都能用这六种模型中的一种把数据装进去。我们利用了Azure本身的存储机制,我们并不是什么都自己做,全部自己做没有必要,我们是用这个来增强。这个很重要,我们在这个层面上加入了一个中间层,我们针对不同的数据结构设计了空间索引和时间索引算法,以及针对于多源数据之间的跨域管理做了混合式索引,把时空索引算法集成到 Storm、Hadoop、Spark里面去,向上提供API给我们的机器学习算法来用,使得我们的机器学习算法能够快速的访问大规模数据。如果你没有这个,你发现你真的上大系统的时候,我们连特征提取都还没做,这个任务的时间期限就到了,等不及你了。因为很多时候就是1秒钟、2秒钟就给我一个结果出来,如果我们光做特征提取就需要花了一两个小时,模型怎么上线,所以必须要有平台来支持。这里边既有分布式,也有索引,以前大家都说,我们有分布式系统了,不要索引了,那是不对的,我们可以结合在一起。有的时候你用100台机器学习做的事情,我可能2台机器就能做,因为有了索引和分布式的结合。

    为了看平台的规律,给大家看几个例子。

    这个是在贵阳市布充电桩的例子。假设根据过去一年车的轨迹信息,我们在这个区域内放五个充电桩,我应该放在哪五个路口,使这五个路口加在一起,覆盖的车的数量最大化,我强调一下,我们不是找最热门的前五个路口,没有意义,因为可能最热门的前五个路口都挨着,经过第一个路口就经过第二个路口,我是说五个路口加在一起覆盖的车总数最大化,就是不重复的车最大化。

    以前做这个工作的时候,一轮结果计算需要8个小时到一天,因为计算量非常大。现在有个平台,3秒钟以内做出来,为什么需要做这么快呢?这又回到行业了,我们知道真正布充电桩的时候有很多因素要考虑,还有很多专业的要求,比如说这边是不是有空地,这周边有没有商场,有没有饭店来容纳我们的人,我们充电2—3个小时人去哪里,不能让他蹲在马路边,这些条件不符合的时候,可以允许用户把这某个推荐的点删掉,保留其他几个点,然后让算法回去再算,直到我得到一个满意的结果为止

    这个其实是变成一个新的概念——人机学习。新的时代已经是人的智能加机器智能合在一起。要实现人机智能,一定要提供一个交互的方法,把人的智能带进去。这个例子里面就是,我们先给算法一些简单规则,让算法找到一些初始的结果,让行业专家去看这些结果,用他的经验去判断这个点是否合适,需要删除掉还是加一个点,这样把人的知识和机器的知识融合在一起,同时把数据科学知识跟专业行业知识融合在一起。

    这非常重要,往往我们做大数据、做机器学习的时候到会遇到最后一步落地困难的问题,我们只有数据科学知识,缺少行业知识,但真正解决问题两者是缺一不可。行业的人往往不懂机器学习。此外,行业专家心中有很多复杂条件,他不一定能很好的量化和表达出来。此时,利用机器学习驱动的交互可视分析的方法可以弥补两者之间的鸿沟。

    正是因为要通过迭代、交互才能实现人机融合,保证算法执行的效率和性能就变得很重要。你想想,如果我们给算法一个反馈,要等一天才能看结果,人怎么能跟机器交互呢。只有像视频里那样,专家给出反馈,算法马上出结果,才能做到真正的吧人机智能交互和融合。要想获得这样的性能,刚才展现的那个城市大数据平台就变得必不可少。

    这个问题刚刚说应用是在充电桩的选址,实际上广告牌的选址是一样的。很多时候说我们只有有限的钱放广告牌,我们放在哪几个路口使得覆盖最大化呢。跟我前面讲的救护车那个不一样,那个是时间最优化,这是一个覆盖范围最优化的问题。

    没有平台,别想交互,别想跟人机智能结合,那我们也解决不了实际的行业问题,因为你拿这个结果给专家看的时候,我们还有很多因素没考虑呢,这个初步的结果可能根本没用。所以这也是一个行业知识跟机器学习结合的例子。

    由于各种传感器技术的成熟以及云计算单位的成熟,我们有了社交媒体、交通流量、气象、地理等多种大数据。

    在城市数据分析层面会遇到四个方面的挑战。

    第一个方面,我们以前很多做机器学习的人,他们提出算法的时候往往都是在video、graphic、text中,现在要把这些算法adapt到时空数据上来。如何将它转换过来是一个难点。

    第二个方面,在于多源数据的融合。以前做数据挖掘的时候,往往只是挖掘单一数据。现在我们发现做一个应用需要把多个数据的知识融合在一起。这是一个新的难点,我认为也是大数据里面,相对来说比那个“大”更加有意思更加难的问题。

    第三个方面,我们以前做database和machine learning的人是两拨人,相互之间的交集比较少。但是只有将data base以及machine learning的方法有机地融合在一起,做得又快又好才能把系统落地。

    第四个难点,以前做挖掘的时候往往是一个单向过程,就是简单静态挖掘。现在变成了交互可视挖掘,英文叫做interactive visual data analytics,就是交互可视分析。刚才所讲就是一个例子,把人带进去交互可视,人机交互,把人的智能也融合进去。

    多源数据融合的方法按照已有的工作可以分成三大类。第一类是阶段性的方法,先用一种数据再用一种数据。第二个是基于特征拼接的方法。我们所熟知的深度学习方法,还有传统的特征串联加上一些正则化方法,都是属于这里面的分支。相对于第二个方法来说,第三类是基于语义信息融合的方法。这里面包括了多视角、基于概率学模型的方法、基于相似度的方法、以及迁移学习的方法。在这一方法里面我们要搞清楚每一纬特征是什么含义,以及特征和特征之间的关联关系、它们的语义信息。在做特征融合的时候则不必。另外这方法是根据人的思维方式设计的类人思考的方法。所以说是基于语义信息的方法。

    时空数据,它跟视频、图象、语音是不同的。这也导致传统的深度学习模型不能直接拿来用。首先,时空数据有空间属性,包括两方面,一个叫空间的距离,一个叫空间的层次。所谓空间距离,根据地理学第一定律很容易理解。另外空间有层次。比如一个城市包括几个区,几个区包括几个街道,每个层次都有特别的语义信息。不像象素里面,虽然有四个象素合并成一个象素,但在四个象素合并成一个象素的时候并没有明确的语义信息。第二个,时间属性。有三个方面的不一样。第一,时间有平滑性,就是这个小时的交通量跟上个小时的比较接近。

    第二,时空数据有周期性,交通流量、人群流量都会有周期。这种周期性在视频、语音和文本里面都没有。比如说今天早上八点钟的交通流量可能跟昨天早上八点钟的交通流量很像,但跟今天中午12点钟的交通流量就很不像,隔得远的反而像,这打破了第一点的约束,导致很多算法不能应用。

    第三,趋势性。周期绝对不是固定的。随着天亮的时间越来越早,大家出门的时间也越来越早,因此早高峰来临的时间越来越早。早高峰来得时间会有一个趋势性的上扬的过程,这个趋势、周期是很特别的,所以空间加时间这些因素导致了时空数据跟普通的文本、视频不同。我们把城市分成均匀的网格,然后把过去和实时收到的车子GPS轨迹信息投影到网格里面,去计算每个格子里面多少人进出,将其转化成一个矩阵,矩阵中每个单位是一个二元组,进和出,相当于每个象素有RGB一样,它就变成了一个二维的热力图,越红的地方人越多。如果我们有很多不同时间的数据就构成了这样一个像视频流的strain,并且加上事件和天气信息。这是数据的输入。

    数据的应用,则是首先把相邻几个小时的数据放到一个深度卷积神经网络里面,来模拟相邻时间的时序的平滑性。然后把几天内一时刻对应的数据输入到一个相同结构的深度卷积神经网络里面,来模拟周期性。再把更大时间范围内同一时间点对应的数据做一个输入,来模拟趋势性。然后这三个数据先做一个融合,融合的时候引入权重系数,因为三个因素的输出结果并不是在每个地方都一样。比如有的地方周期性特别强,像这种主干道。有的地方周期性不是那么强,它的时间临近性就比较重要。

    其次需要考虑外部的因素,比如气象事件。把这些数据融合以后,我们去反馈学习下一帧的数据,所以我们要预测下一帧这个时刻的状况。它是一个整体预测,不是分开预测。因为格子和格子之间一定有相关性,我们是同时一下预测出来每个区域有多少人进出。另外是抓住了时空的属性。时间临近性、周期性、趋势性都被抓住了,然后在内部通过深度卷积网络抓取空间性。卷积网络通过一次卷积可以把一个区域的值卷积到一个点上面,描述近距离的空间的局部相关性。经过多次卷积以后可以把越来越远的地方卷积到一起,描述距离较远的空间的相关性。当深度卷积网络比较深的时候它的训练效果就变得很差。

    为了解决这一问题,我们引入深度残差神经网络,整个架构称为时空残差网络。这个比较新的模型相对于以前LSTM的模型,不需要进行连续的数据输入,只需要抽取关键帧。这样的结构大大优化了网络结构,只需要用几十帧就达到原先的模型里几百帧、几千帧的效果,甚至更好。这种深度时空残差网络,在人口流动的预测上有很大的应用前景。

    用大数据的方法来做实时细粒度空气质量分析。实时是每个小时做一次,细粒度是一公里乘一公里范围这么细的状况。用了两部分大数据,一部分是已有站点的实时和历史空气质量读数,另外一部分分为五个数据源,包括气象比如风速、风向、湿度,以及车的平均速度、速度方差,人的移动性,单位时间多少人进出,区域的POI的数目,有多少酒吧、多少餐饮、多少厂矿以及房屋的密度,以及道路结构有多少高速路多少红绿灯路口等。然后采用机器学习算法来建立一个地方空气质量跟这个地方周边对应的这些数据的关系。在模型建好以后便以这个模型推断其他地方的空气质量。

    首先一个地方的空气质量有时序相关性,用纵向的箭头表示,也就是说如果这个小时空气质量不好会影响到下个小时空气质量。第二,不同地方的空气质量有空间相关性,用红色箭头表示,因为污染物会传播飘散。一个好的空气质量模型一定能够同时对一个地方的空气质量的时序相关性以及不同地方的空气质量的空间相关性进行建模。

    这里有一个空间分类器和时间分类器。空间分类器可以通过周边的值来计算中心值,而时序预测则根据它自己的读数预测它未来的数值。因为污染物的来源有三:一是外部进入,二是本地排放,三是外部进入的污染物和本地排放在一定的环境因素下面发生了二次化学污染。这三个因素相当于上面提到的空间相关性、时序相关性以及它们两个时空分类器的一个迭代学习的过程。

    从污染物成因的角度讲,因为有空间传播和本地排放,所以既要有行业知识也要有数据科学知识,完美结合以后才能定制一个模型让两方面的人都认可。污染物有物理传播过程也有化学过程,原来的方法单一的物理过程或者单一的化学过程都不能解决问题。现在通过数据分析的方法同时考虑到物理过程和化学过程以及它们之间的交互,所以能够把这个问题解决得很好。这个工作在2013年发表论文以后,2015年在环保部落地。

    最后跟大家分享一个观念。什么是数据科学家?很多公司招聘数据科学家其实都不是招真正的数据科学家,而是数据分析师。数据分析师是什么概念?他有明确的任务,数据明确、任务明确、结果也明确,他会用一些工具去跑一些报表,然后提交结果。

    数据科学家完全不一样。一个很简单的例子,银行发信用卡,我们有用户提交的表格,上面有各种信息,我们拿个人的信用记录去训练一个模型然后做分配器,决定是否发信用卡。这就是数据分析师。

    最近北京市建副中心在通州,政府需要知道北京的政府搬到通州以后对北京整个的经济、环境、交通有什么影响。没有具体问题也没有具体数据,这就是数据科学家应该解决的问题,数据科学家要自己找题目。所以最高境界的数据科学家甚至要自己想好,先做出模型,政府觉得好就会实施。

    所以,数据科学家首先要懂得行业问题,比如说他要知道雾霾跟什么因素相关,从别人的方法里面怎么吸取经验来定义模式设计特征,也从别人的方法中吸取教训,还要知道怎么去跟行业的人沟通。要知己知彼百战不殆。

    第二,在你知道这个行业问题之后,你要知道用什么数据解决这个问题,要懂得数据背后的隐含信息。比如说路面上出租车的GPS轨迹不光反映了路面的交通流量信息和速度,它也反映了人们的出行规律,人们的出行规律进一步反映了这个地方的经济环境和社会功能。只有经过这样的关联和联想才能把领域A的数据拿来解决领域B的问题。你会发现在大数据时代我们真的不再缺数据了,缺的是我们的思维不够开放。只有你的思维够开放、对这个问题理解够深刻以后才能把别的数据背后的知识拿过来做融合,这个很关键。

    第三,你要对各种模型都很清楚,要懂得把它们组合在一起。还要对云计算平台有一定的了解。好的数据科学家是站在云平台上面看问题、想数据、关联模型,把这些模型有机组合起来部署到云平台上面,产生鲜活的知识,解决行业问题,这个才是大数据。

    要做到这三点才是大数据科学家。很多时候项目推动不了不是人数不够,而是因为缺乏中间灵魂的头脑。培养这样的人其实是非常困难的。以我个人的经验至少七到十年才能培养出这样一个可以解决很多问题的真正的数据科学家来。所以我鼓励大家,你至少读一个五年PHD加两年的实战经验,基本上可以来做这样的事情。

    最后总结一下。今天我们在数据科学院还是要讲讲大数据。大数据在我看来是一种从数据的采集、管理、分析、挖掘到可视化这种端到端的服务,解决行业的一种能力。它需要平台的支撑,也需要各种算法,包括数据管理和挖掘分析算法、机器学习算法,还有行业知识,跟行业结合。最后我相信,人工智能在我们的城市领域,在我们的时空大数据领域还大有作为,谢谢大家。

    展开全文
  • 本文根据微软亚洲研究院“城市计算”领域负责人郑宇博士在中国人工智能学会AIDL第二期人工智能前沿讲习班所作报告《多源数据融合与时空数据》编辑整理而来,在未改变原意的基础上略作了删减。 郑宇主持研发的Urban ...
  • 小型餐饮选址中多源数据融合空间网格的神经网络模型.pdf
  • 对森林防火三维本底数据库组成及特点进行分析,在空间信息技术、数据融合技术和三维建模技术等的支持下。提出基于MapX和OpenGL为研究工具的森林防火三维本底数据库建立方法、该方法以Open为技术基础。利用数字高程...
  • Aiming at multi-source measure data fusion process of low earth orbit (LEO) combined orbit determination (COD) based on bi-satellite positioning system (BPS), two sorts of multi-source data ...
  • 从自然语言表述,从信号中提取的特征,从知识库中提取的规则等数据建模与处理更为混乱。为了解决此类问题研究人员提出了许多专家系统方法,无论是是在数量上还是多样性方面,都引发了更多的混乱。 如DS证据理论,...
  • 基于BP神经网络的滑坡监测多源异构数据融合算法研究.pdf
  • 基于遗传算法优化神经网络的多源信息融合室内定位方法.pdf
  • 大数据数学基础实验以及实训(多源数据融合与数据分析)
  • 多源信息融合_BIM+GIS的深度融合之路 “BIM+”时代的到来,推动了大型设计、施工企业产业化转型升级。BIM与GIS是如何跨界融合的?期间遇到了哪些技术难点?本文将结合超图经验回顾BIM+GIS的深度融合之路,一起探究...
  • 点击上方蓝字关注我们制造业生产过程中多源异构数据处理方法综述陈世超1,2,崔春雨1,张华3,马戈4,朱凤华1,商秀芹1,熊刚,11中国科学院自动化研究所复杂系统管理与控制国...
  • 基于循环神经网络的多源异构大数据融合模型构建.pdf
  • 摘要:在跟很多客户的沟通过程中,用户常常提出这样的问题:目前我们的数据库中已经存储了大量的数据,包括结构化的和非结构化的,但是分布在不同的系统,各个业务系统从这些数据库中取数据的需求和情况越来越多,...
  • 传感器信息融合:MATLAB程序实现作者:赵小川 等著出版时间:2014年版内容简介本书全面系统地讲解了传感器信息融合的相关内容。本书在介绍传感器信息融合基本原理的同时,从遥感、医学、生活、探测、导航等领域分析...
  • 大数据融合技术:问题与挑战

    万次阅读 2017-06-19 18:30:12
    大数据融合技术:问题与挑战本文为《大数据融合研究:问题与挑战》的总结。概述数据的特点: 多元性——数据类型多样;数据内容“维度”多样;数据所涉及的知识范畴的“粒度”多样 演化性——指数据随时间或解释的...
  • 针对上述问题,需要对某城市的交通情况调查工作的现状和需求进行梳理,分析交 通行业多源数据采集的内容和每一类数据源,可以形成的交通指标,设计公路交通 情况调查多元化采集体系,提出多源数据融合的框架,融合...
  • 为满足煤矿智能化开采对高精度地质模型的需求,提出透明工作面多属性动态建模方法,探讨了工作面综合探测多源异构数据特征、多属性数据融合算法、动态可视化建模技术,并进行实例应用。利用综合探测技术对工作面进行...
  • 为了满足煤矿智能化开采对高精度地质模型的需求,提出透明工作面多属性动态建模方法,探讨了 工作面综合探测多源异构数据特征、多属性数据融合算法、动态可视化建模技术,并进行实例应用。利用 综合探测技术对工作面...
  • 多传感器数据融合简介(转)

    千次阅读 2021-09-15 15:08:11
    转自知乎网友:多传感器融合(算法)综述 - 知乎 多传感器融合(Multi-sensor Fusion, MSF)是利用...在这个过程中要充分利用多源数据进行合理支配与使用,而信息融合的最终目标则是基于各传感器获得的分离观测信..
  • 多传感器数据融合算法整理

    万次阅读 多人点赞 2019-04-28 19:09:47
    数据融合又称作信息融合或多传感器数据融合,对数据融合还很难给出一个统一、全面的定义。随着数据融合和计算机应用技术的发展,根据国内外研究成果,多传感器数据融合比较确切的定义可概括为:充分利用不同时间与...
  • 这篇文章提出的方法,就是使用数据融合的方法,从一张用SIM获得的超分辨率的图像中获取足够精细的边缘,然后对由structured light获得的三维点云进行去噪,并extrapolate the surface(created by NURBS curface ...
  • 刘岩1,王华2,秦叶阳3,朱兴杰11. 泰康保险集团股份有限公司数据信息中心,北京1022062.中国人民大学,北京 1008723.北京大学,北京 1008...
  • 点击上方蓝字关注我们基于多源城市交通出行数据的定制公交需求辨识方法研究陈汐1,王印海2,代壮3,马晓磊41北京航空航天大学交通科学与工程学院,北京 1001912美国华盛顿大学...
  • 点击图片上方蓝色字体“慧天地”即可订阅文章转载自微信公众号地理信息...2. 北京市建筑遗产精细重构与健康监测重点实验室,北京 100044)【摘要】三维数据融合是计算机视觉与精细化测绘领域的研究热点,在精细测量...
  • 摘要:无人机倾斜摄影测量弥补了...空地融合精细化实景三维建模技术将空中倾斜影像和近景影像的数据源结合构建精细化实景三维模型,利用地面影像弥补空中拍摄角度造成的地物遮挡、空中影像分辨率较低的问题,这项...
  • // 获取新的一个多源数据帧 hResult = m_pMultiFrameReader->AcquireLatestFrame(&m_pMultiFrame); //UINT16 *depthData = new UINT16[424 * 512]; if (SUCCEEDED(hResult)) hResult = m_pMultiFrame->...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 1,893
精华内容 757
关键字:

多源数据融合建模