精华内容
下载资源
问答
  • 数据挖掘

    千次阅读 多人点赞 2019-04-16 16:26:36
    数据挖掘可以描述为:按企业既定业务目标,对大量的企业数据进行探索和分析,揭示隐藏的、未知的或验证已知的规律性,并进一步将其模型化的先进有效的方法。 应用的技术包括:数据库技术、人工智能技术、数理统计、...

    数据挖掘其实是一种深层次的数据分析方法。数据挖掘可以描述为:按企业既定业务目标,对大量的企业数据进行探索和分析,揭示隐藏的、未知的或验证已知的规律性,并进一步将其模型化的先进有效的方法。
    应用的技术包括:数据库技术、人工智能技术、数理统计、可视化技术、并行计算等方面。

    数据挖掘与传统的数据分析(如查询、报表、联机应用分析)的本质区别是数据挖掘是在没有明确假设的前提下去挖掘信息、发现知识。数据挖掘所得到的信息应具有先知,有效和可实用三个特征。

    数据挖掘的目标是
    从数据库中发现隐含的、有意义的知识,主要有以下五类功能。
        1.自动预测趋势和行为数据挖掘自动在大型数据库中寻找预测性信息,以往需要进行大量手工分析的问题如今可以迅速直接由数据本身得出结论。

        2.关联分析数据关联是数据库中存在的一类重要的可被发现的知识。若两个或多个变量的取值之间存在某种规律性,就称为关联。

        3.聚类数据库中的记录可被划分为一系列有意义的子集,即聚类。

        4.概念描述就是对某类对象的内涵进行描述,并概括这类对象的有关特征。概念描述分为特征性描述和区别性描述,前者描述某类对象的共同特征,后者描述不同类对象之间的区别。

        5.偏差检测数据库中的数据常有一些异常记录,从数据库中检测这些偏差很有意义。

      数据挖掘技术包括关联分析、序列分析、分类、预测、聚类分析及时间序列分析等。

      1.关联分析主要用于发现不同事件之间的关联性,即一个事件发生的同时,另一个事件也
    经常发生。关联分析的重点在于快速发现那些有实用价值的关联发生的事件。其主要依据是
    事件发生的概率和条件概率应该符合一定的统计意义。

    2.序列分析
    序列分析技术主要用于发现一定时间间隔内接连发生的事件。这些事件构成一个序列,发现的序列应该具有普遍意义,

    3.分类分析
    分类分析通过分析具有类别的样本的特点,得到决定样本属于各种类别的规则或方法。
    主要方法有基于统计学的贝叶斯方法、神经网络方法、决策树方法及支持向量机。

    4.聚类分析
    聚类分析是根据物以类聚的原理,将本身没有类别的样本聚集成不同的组,并且对每一个这样的组进行描述的过程。其主要依据是聚到同一个组中的样本应该彼此相似,而属于不同组的样本应该足够不相似。

    5.预测
    预测与分类类似,但预测是根据样本的已知特征估算某个连续类型的变量的取值的过程,
    而分类则只是用于判别样本所属的离散类别而已。预测常用的技术是回归分析。

    6.时间序列
    分析时间序列分析的是随时间而变化的事件序列,目的是预测未来发展趋势,或者寻找相似发展模式或者是发现周期性发展规律。

    数据挖掘的流程大致如下:

    1.问题定义在开始数据挖掘之前,最先的也是最重要的要求就是熟悉背景知识,弄清
    用户的需求。缺少了背景知识,就不能明确定义要解决的问题,就不能为挖掘准备优质的数
    据,也很难正确地解释得到的结果。要想充分发挥数据挖掘的价值,必须对目标有一个清晰
    明确的定义,即决定到底想干什么。

    2.建立数据挖掘库
    要进行数据挖掘必须收集要挖掘的数据资源。一般建议把要挖掘的数据都收集到一个数
    据库中,而不是采用原有的数据库或数据仓库。这是因为大部分情况下需要修改要挖掘的数
    据,而且还会遇到采用外部数据的情况;另外,数据挖掘还要对数据进行各种纷繁复杂的统
    计分析,而数据仓库可能不支持这些数据结构。
    3.分析数据
    分析数据就是通常所进行的对数据深入调查的过程。从数据集中找出规律和趋势,用聚
    类分析区分类别,最终要达到的目的就是搞清楚多因素相互影响的、十分复杂的关系,发现
    因素之间的相关性。
    4.调整数据
    通过上述步骤的操作,对数据的状态和趋势有了进一步的了解,这时要尽可能对问题解
    决的要求能进一步明确化、进一步量化。针对问题的需求对数据进行增删,按照对整个数据
    挖掘过程的新认识组合或生成一个新的变量,以体现对状态的有效描述。
    5.模型化在问题进一步明确,数据结构和内容进一步调整的基础上,就可以建立形成知识的模型。
    这一步是数据挖掘的核心环节,一般运用神经网络、决策树、数理统计、时间序列分析等方
    法来建立模型。
    6.评价和解释
    上面得到的模式模型,有可能是没有实际意义或没有实用价值的,也有可能是其不能准
    确反映数据的真实意义,甚至在某些情况下是与事实相反的,因此需要评估,确定哪些是有
    效的、有用的模式。评估的一种办法是直接使用原先建立的挖掘数据库中的数据来进行检验,
    另一种办法是另找一批数据并对其进行检验,再一种办法是在实际运行的环境中取出新鲜数
    据进行检验

    展开全文
  • 无线传感器网络复习大纲

    千次阅读 多人点赞 2019-04-30 10:31:40
    第一章 考点: 无线传感器网络组成部分,概念、特点(了解) 分布式特点(了解) 实时性、时效性(了解) ...无线传感器概念:无线传感器网络是一种特殊的无线通信网络,它是由许多个传感器节点通过无线...

    第一章

    考点:

    无线传感器网络组成部分,概念、特点(了解)

           分布式特点(了解)

           实时性、时效性(了解)

           常见拓扑结构(了解)

           WSN几个分层、分层的功能(了解)

           自组织网络多跳传输特点(了解)

     

    1、1无线传感器网络介绍

    无线传感器概念:无线传感器网络是一种特殊的无线通信网络,它是由许多个传感器节点通过无线自组织的方式构成的,应用在一些人们力不能及的领域。能够实时地监测、感知和采集节点部署区的环境或观察者感兴趣的感知对象的各种信息,并对这些信息进行处理后以无线的方式发送出去。

     

    无线传感器组成:多个无线传感器节点和少数几个汇聚节点、外部网络构成

     

    无线自组网:自组织:在节点位置确定之后,节点需要自己寻找其邻居节点,实现相邻节点之间的通信,通过多跳传输的方式搭建整个网络,使网络能够稳定正常的运行。

     

    WSN和无线自组织网络(Ad hoc)共有的特点:

           ①、自组织:在节点位置确定之后,节点能够自己寻找其邻居节点,实现相邻节点之间的通信,通过多跳传输的方式搭建整个网络,并且能够根据节点的加入和退出来重新组织网络,使网络能够稳定正常地运行。

           ②、分布式:网络的感知能力由若干冗余节点共同完成,每一个节点具有相等的硬件资源和通信距离,没有哪一个节点严格地控制网络的运行,节点消亡之后网络能够重组,任意一个节点的加入或退出,都不会影响网络的运行,抗击毁能力强。

           ③、节点平等:除了SINK节点以外,无线传感器节点的分布都是随机的,在网络中以自己为中心,只负责自己通信范围内的数据交换;每个节点都是平等的,没有先后优先级之间的差别,每个节点既可以发送数据也可以接收数据,具有相同的数据处理能力和通信范围。

           ④、安全性差:对于自组织网络来说,每一个节点的通信范围是非常有限的,因此它只能跟自己通信范围内的节点进行通信,采用的无线信道,非相邻节点之间的通信需要通过多跳路由的形式来进行,因此数据的可靠性没有点对点高。

          

     

     

    WSN独有的特征:(最基本的特点:节点的可感知、微型化、自组织能力)

    ①、计算能力不高:无线传感器节点分布非常密集,大量节点决定了每个节点的成本不高,在限定的成本下采用的处理器处理速度就比较低,只能处理相对简单的数据,并且节点的队列缓存存储长度也非常有限,不适用于特别复杂的计算和存储,在传感器网络就要考虑节点的拥塞控制。

    ②、能量供应不可替代:无线传感器节点电池不可替代,每一个节点有自己的生命周期,因此,在能量节省与信息处理之间找到平衡点能够最大限度地节省能量

    ③、节点变化性强:网络的自组织和分布式等特点决定了网络必须能够快速重新构造网络,能够动态适应网络变化。

    ④、大规模:为了保证数据的可靠、高效传输,无线传感器网络通过采用大量的具有相同硬件设施的节点来采集数据,有许多节点设置采集的数据都是一样的,因此这样就能够实现数据的冗余,保证数据最终能传输到目的节点。

    ⑤、节点资源有限:如节点的电源能量、通信能力、计算存储能力有限。而且难以维护,对节点运行的程序包括使用的存储空间、算法时间开销有较高的要求。

    ⑥、时效性:无线传感器网络采集的信息需要在一定时间内及时送达观察者或是数据处理中心,对可能发生的事故和危险情况进行及时预告和提醒。

     

     

           无线传感器网络的系统结构———节点结构

     

     

     

     

    无线传感器网络的系统结构———网络拓扑结构

     

           ①、平面网络结构:无线传感器网络中最简单的一种拓扑结构,所有节点为对等结构,具有完全一致的功能特性

    分及网络结构:分级网络结构分为上层和下层两个部分:上层为中心骨干节点;下层为一般传感器节点。这种网络拓扑结构扩展性好,便于集中管理,可以降低系统建设成本,提高网络覆盖率和可靠性

     

     

     

     

    Mesh网络结构:Mesh网络结构是一种新型的无线传感器网络结构,该结构是规则分布的网络结构,该结构中通常只允许节点和节点最近的邻居通信

     

     

    无线传感器网络的系统结构———协议结构

           ①、物理层:负责载波频率产生、信号的调制解调等工作,提供简单但健壮的信号调制和无线收发技术。

           ②、数据链路层:差错控制:媒体访问控制;主要负责网络结构的建立和为传感器节点有效合理的分配资源。差错控制;保证源节点发出的信息可以完整、无误地到达目标节点。

           ③、网络层:负责路由发现和维护,是无线传感器网络地重要因素。无线传感器网络中,大多数节点无法直接与网关通信,需要通过中间件进行多跳路由。(以数据为中心)

    ④、传输层:负责将传感器网络的数据提供给外部网络,也就是负责网络中节点间和节点与外部网络之间的通信。

    ⑤、应用层:主要由一系列应用软件构成,主要负责监测任务。这一层主要解决三个问题:传感器管理协议、任务分配和数据广播管理协议,以及传感器查询和数据传播管理协议。

     

     

    无线传感器网络各平台管理功能:

    能量管理平台:管理传感器节点如何使用资源,在各个协议层都需要考虑节省能量

    移动管理平台:检测传感器节点的移动,维护到汇聚节点的路由,是的传感器节点能够动态跟踪其邻居的位置。

    任务管理平台:在一个给定的区域内平衡和调度检测任务。

     

     

     

     

    第二章、无线传感器网络物理层设计

     

     

    考点:

    物理层的功能、协议、介质、特点(了解)

    无线电波使用频段限制以及原因(了解)

    传输调制、特点(了解)

     

    2、1无线传感器网络物理层概述

           物理层:位于最底层,向下直接与物理传输介质相连接,主要负责数据的调制、发送与接收,是决定WSN的节点体积、成本以及能耗的关键环节。

     

           主要功能:为数据终端设备提供传送数据的通路;传输数据;其他管理工作,如信道状态评估、能量检测等。

     

           传输介质:主要包括无线电波、红外线和光波。

     

           物理层特点:物理层研究集中在传输介质、频率选择、调制机制三个方面;在设计中需要考虑成本和功耗、通信速率、通信频段、编码调制方式的选择、物理帧结构的问题

     

    2、2频谱分配:

                  频率选择:

                  频率的选择影响无线传感器网络性能、体积、成本(当前频段的选择大都集中在433-464MHz、902-928MHz以及2.4-2.5GHz ISM频段)

                         ①、从节点功耗的角度考虑自身能耗、传输损耗与工作频率的关系。在传输同样的有效距离时,载波频率越高则消耗能量越多,因为载波频率越高对频率合成器的要求也就越高。射频前端收发机中频率合成器可以说是其主要的工号模块,波长越短传播损耗越大。

                         ②、从节点的物理层集成化程度、成本的角度来考虑,虽然当前的CMOS工艺已经成为主流,但是对大电感的集成化还是一个非常大的挑战,由于无线传感器网络是一种面向应用的网络,FCC组织给出2.4GHz的一个全球ISM频段。

     

    2、3 WSN物理层调制解调技术:

           传统的无线通信系统需要解决的问题:频谱效率、误码率、环境适应性,以及难以实现的难度和成本。

           WSN需要解决:节能和成本

     

           常用调制方式:

                  模拟调制、数字调制、扩频通信、UWB通信技术

           B-ary数字调制(二进制数字调制):

                  应用于启动时间较短、能量消耗大的的系统

           M-ary数字调制(多进制数字调制)

                  应用于WSN,启动能量消耗低的系统

          

           B-ary和M-ary的比较:M-ary传输的信息量是B-ary的log2M倍,节省了传输时间,但是实现复杂且抗干扰能力不如B-ary,M越大误码率越大,M-ary电路更加复杂,能耗大。

     

     

    第三章 无线传感器网络数据链路层设计

     

    考点:

    区分WSN的MAC协议(了解)

    WSN数据链路层协议模型(二维、跨层)(掌握)

    基于竞争的MAC协议题、图(掌握)

     

           3、1 无线传感网络数据链路层概述

                  数据链路层:就是利用物理层提供的数据传输功能,将物理层的物理连接链路转换成逻辑连接链路,从而形成一条没有差错的链路,保证链路的可靠性。数据链路层也向它的上层——网路层提供透明的数据传输服务,主要负责数据流多路复用、数据帧监测、媒体介入和差错控制,保证无线传感器网络内点到点以及多点到多点的连接。无线传感网络的数据链路层研究的主要内容就是MAC差错控制。怎样实现无线传感器网络中无线信道的共享,即介质控制协议(MAC)的实现是WSN中数据链路层研究的一个重点,MAC协议的好坏直接影响到网络的性能优劣。

     

     

           3、2 WSN数据链路层关键问题

                  ①、网络性能的优化:在MAC协议中,WSN的关键性能指标不是独立存在的,而是互相影响的,在提高一种性能的同时可能会降低其他性能。现在所提出的MAC协议往往只考虑一种或两种性能指标,没有综合各种指标使之达到更好的性能;

                  ②、跨层优化:WSN区别于传统无线网络最重要的是WSN各层之间能够实现合作与信息共享。在WSN中采用了跨层设计,各层之间能够通过共享一些信息来共同调节网络的性能。

                  ③、能效问题:WSN节点中,能量消耗主要用于无线信号的收发;无线通信模块一般有四个状态:发送、接收、空闲、休眠,四个状态能量消耗逐级递减,协议必须合理选择节点侦听和休眠的时间比例;还需考虑休眠期间节点的接收问题和缓刑期间节点收发的最大利用率问题,以最大限度地节省能量。

                         MAC的多余能量开耗主要体现在以下几个方面:

    碰撞:无线信道上两个节点同时发送数据,这将发射失败,造成大量的能量浪费。

    持续监听:在无线传感器网络中的接受节点无法预测数据何时到达,另外每个节点还需要侦听各节点的拥塞状况,因此节点必须始终保持监听状态,以防特殊情况的发生,这会浪费很多能量。

    控制开销:为了保证WSN的可靠性,MAC层协议需要使用一些控制分组来调节节点状态,但这些控制分组中不存在有用的数据,因此也会消耗一部分能量。

                  ④、公平性:每个节点都有相同的权利来访问信道,每个节点能量消耗保持大概的平衡,延长网络寿命。

                  ⑤、可扩展性:WSN与其他无线网络相比,具有规模大、分布密集等特点。网络的节点分布结构会动态性地变化,因此必须要有可扩展性。

                  ⑥、信道共享问题:多跳共享、信道复用方式。

                         两个问题:数据冲突(碰撞);串扰(在共享信道中每个节点都能接收到数据,但不都是有用的,这会造成浪费)

           3、3 WSN MAC协议分类:

                  按节点接入方式分类:

                         侦听MAC协议:采用间断侦听的方式

           唤醒MAC协议:采用基于低功耗的唤醒接收机来实现,当然也有集合侦听和唤醒两种方式的MAC协议,如低功耗前导载波侦听MAC协议。

    调度MAC协议:使用于广播中,广播的数据信息包含了接收节点何时接入信道与何时控制接收节点开启接收模块。

                  按信道占用数划分:单信道(主要)、双信道、多信道

                  按分配信道方式划分:竞争MAC协议随机接入

     

     

           3、4 WSN的MAC协议:竞争型、分配型、混合型、跨层MAC协议

     

           基于竞争MAC协议:根据WSN负载量小、针对节点间的公平性以及通信延时要求不高等特点来设计的,其主要的设计目标是提供大规模分布式网络所需的可扩展性。并同时降低能耗。

                  ①、S-MAC协议:

    把时间分为多个时隙,每个时隙中又划分为侦听、睡眠两个状态

                  周期性侦听和睡眠

                  冲突避免

                  自适应侦听

                  分片传递消息,每个子段都会返回ACK应答

          

                  ②、T-MAC协议:

                  相对于S-MAC协议来说,保持了S-MAC的周期,根据网络负载的流量自适应地调整激活的时间。

     

    T-MAC协议规定,当邻居节点还没有结束通信时,节点不能进入到睡眠状态,因为该节点很有可能就是下一个数据的目的节点。假设节点检测到串扰以后能够触发一个空闲间隔TA,TA必须要足够大,以保证节点能够监测到串扰的CTS

     

     

    未来请求发送:采用提前通知需要接收数据的节点的方法来实现早睡的避免:

    如上页中的a所示,当节点C接收到CTS后,除了触发自己保持监听状态之外,还发送一个FRTS分组给节点D,FRTS分组中含有节点D需要等待的时间,在此空闲状态中,节点D必须要保持侦听状态。

    在节点C发送FRTS时看哪个节点会干扰节点A发送的数据,因此节点A需要延迟原数据的发送响应的时间,但是又必须保持对信道的占用,因此节点A在这段时间内发送一个与FRTS一样长度的分组,该分组不包含任何有用的数据,然后才接着发送有用数据信息。从而数据传到节点C之后节点D还是处于唤醒状态,保证数据的实时传输。

    由于采用了未来请求发送机制,协议需要增加一个FRTS分组传输的时间,该方法提高了系统吞吐量和实时性,但是多了一些控制消息,相应地要消耗能量。

     

     

    满缓冲区优先:当节点的缓冲区快满时,节点对收到的RTS分组不回复CTS,而是立即向缓冲区内数据的接收节点发送RTS,建立连接之后发送数据,以减轻缓冲区负载。如前页中的b所示,节点B向节点C发送RTS,而节点C因为缓冲区满不回复一个CTS分组,而是向节点D发送RTS以求数据传输。

     

    ③、Sift协议

    对CSMA/CA机制进行修改,竞争窗口的大小是原本就设定好的,采用非均匀概率来决定是否发送数据,它具有以下几个特点:

    WSN基于空间的竞争

    基于事件的报告方式

    感知事件的节点密度的自适应调整

     

     

     

    基于分配的MAC协议

           ①、SMACS:

    关键技术:节点在上电后先进行邻居发现,每发现一个邻居,这一对节点就形成一个双向信道,即一个通信链路。在两个节点的超帧中为该链路分配一对时隙用于双向通信。随着邻居的增加,超帧慢慢地被填满。每对时隙都会选择一个随机的频点,减少邻近链路冲突的可能。这样全网很快就能在初始化建立链路,这种不同步的时隙分配称为异步分配通信

     

                  移动性管理-EAR算法

     

    EAR算法定义了一种新的信令机制,主要使用4种消息,建立移动节点和静止节点之间通信链路的机制主要有以下步骤:

     

    (1)静止节点会每间隔固定个超帧发送一次BI消息,移动节点在接收到静止节点的BI消息后将开始连接过程。

     

    (2)静止节点在接收到MI消息后需要检查连接是否可以建立。

     

    (3)连接建立后,移动节点在移动过程中会接收到新的邻近静止节点发送的BI消息,移动节点会根据信道质量选择淘汰邻居节点记录中连接质量较差的邻居节点。

     

     

    ②、TRAMA:

    TRAMA协议将一个物理信道分成多个时隙,通过对这些时隙的复用为数据和控制信息提供信道。每个时间帧分为随机接入和分配接入两部分

    为了提高能量效率,TRAMA尽可能地让节点处于睡眠状态,通过重用已经分配但未使用的时隙来提高带宽利用率。在分配接入周期任一给定的时隙t中,任一节点的状态是由该节点的两跳邻居信息和该节点的一跳邻居发布的分配信息来确定的,有发送、接收、睡眠三种中的一个状态。

     

     

    混合型MAC:

    ①、ZMAC:

    ZMAC协议是一种混合型MAC协议,采用CSMA机制作为基本方法,在竞争加剧时使用TDMA机制来解决信道冲突问题。

    在网络部署阶段,节点启动以后ZMAC协议将顺序执行以下步骤:邻居发现→时隙分配→本地时间帧交换→全局时间同步。在网络的运行过程中,除非网络拓扑结构发生重大变化,否则节点不会重复上述步骤,避免浪费能量。

     

     

    跨层MAC:

    MINA:

    MINA是一种基于跨层设计的大规模无线网络协议架构,网络通常由数百个低电量低运算能力的传感器节点组成,同时网络中还有一些基站节点,基站通常具有较强的运算能力,并具有充足的能量。

     

    在MINA架构中,节点分为三种类型:

    大量静止的低容量(内存、CPU、能量)传感器节点;

    少量手持移动节点;

    静止的大容量基站节点。

     

     

     

    根据距离基站的跳数,每个节点的邻居也可以分为三类,即内部邻居、同等邻居、外部邻居。距离基站跳数比本地更小的邻居为内部邻居,跳数相同的邻居为同等邻居,跳数更大的邻居为外部邻居。

     

     

     

    第四章 无线传感器网络的网络层

     

    考点:

           什么是路由、路由维护、选择?(了解)

           区分WSN网络层路由协议(了解)

     

     

    一、无线传感器网络网络层概述

           路由:路由是指分组从原到目的地时,决定端对端路径的网络范围的进程

           WSN网络层概述:在WSN中,路由协议主要用于确定网络中的路由,实现节点间的通信。但是由于受节点能量和最大通信范围的限制,两个节点之间往往不能直接进行数据交换,而需要以多跳的形式进行数据的传输。无线传感器的网络层就主要负责多条路由的发现和维护,这一层的协议主要包括以下两个方面:

           路由的选择:即寻找一条从源节点到目的节点的最优路径;

           路由的维护:保证数据能够沿着这条最优路径进行数据的转发。

     

           WSN网络层与传统网络的区别特征:

                  大规模分布式应用

                  以数据为中心

                  基于局部拓扑信息

                  基于应用

                  数据的融合

          

           WSN网络层发展:

                  最优路径选择

                  安全性

                  QoS保证

                  能量高效利用和均衡

          

           WSN路由协议特点:

                  电池不可替换,高效、均衡利用能量

                  协议应精简,无复杂算法,无大容量冗余数据需要存储,控制开销少

                  网络互连通过SINK节点来完成,其余节点不提供网外通信

                  网络无中心节点,多基于数据或位置的路由算法机制

                  由于节点的移动或失效,一般采用多路径备选

     

           挑战:

                  节能、高扩展性、容错性、数据融合技术、通信量分布不均匀

          

          

    二、无线传感器网络网络层分类

           根据节点在路由过程中是否有层次结构,作用是否有差异,可以分为平面路由协议和层次路由协议

           根据路由建立时机与数据发送的关系,可分为主动路由协议、按需路由协议和混合路由协议。

           根据传输过程中采用路径的多少,可分为单路径路由协议和多路径路由协议

           根据节点是否编址、是否以地址表示目的地,可分为基于地址的路由协议和非基于地址的路由协议

           根据数据在传输过程中是否进行数据融合处理,可分为数据融合的路由协议和非数据融合的路由协议

           根据是否以地理位置来表示目的地、路由计算中是否利用地理位置信息,可分为基于位置的路由协议和非基于位置的路由协议

           根据是否以节点的可用能量或传输路径上的能量需求作为选择路由的根据,可分为能量感知路由协议和非能量感知路由协议

           根据路由建立是否与查询相关,可分为查询驱动路由协议和非查询驱动路由协议

     

    三、无线传感器网络层路由协议

           较为常用的路由协议有:基于数据的路由协议、基于集群结构的路由协议、基于地理位置的路由协议。

          

           基于数据的路由协议

           ①、SPIN协议:

                  概述:SPIN协议是一类基于协商,以数据为中心的路由协议。该协议假设所有的网络节点都是潜在的SINK节点,某一个要发送数据的节点把数据传送给任何需要该数据的节点,并通过协商机制减少网络中数据传输的数据量。节点只广播其他节点没有的数据以减少冗余数据,从而有效地减少能量消耗。(ADV:广播数据包;REQ:请求包;DATA:数据包)

                   

                  当接受到ADV报文的节点发现已经拥有了ADV报文中描述的数据,那么它不发送REQ报文,能量较低的节点也不发送REQ报文(SPIN2)

                  该协议解决的关键问题:Flooding协议(所有节点转发数据)、Gossiping协议(随机节点转发数据)的内爆和重叠问题。

                         内爆:节点向邻居节点转发数据包,不管其是否收到过相同数据;

                         重叠:感知节点感知区域有重叠,导致数据冗余。节点多次受到来自同一区域的节点的同一事件的数据。

     

                  该协议的优点:

    通过节点间的协商解决内爆和重叠问题;

                         在路由选择中使用了能量阈值,可以提高网络生存时间

                         不需要路由维护(没有路由表)

                         对数据进行融合

                         对网络拓扑结构变化不敏感,可用于移动WSN

     

                  该协议的缺点:

                         本质上还是SPIN向全网扩散新信息,开销较大

                        

           ②、DD协议:

                  DD(定向扩散协议):是一种以数据为中心的路由协议,采用的是基于查询的方法。通过汇聚节点在全网广播自己需要的数据,同时在广播的过程中形成了一条由节点到汇聚节点的路径,节点采集到数据后会沿着这条路径来传送数据,汇聚节点通过选择一条最优的路径来接收数据。

                  DD协议基本思想:

                         三个不同的阶段:

    兴趣扩散(汇聚节点向全网广播一条被称为兴趣的数据包,告知自己需要的数据)

                                梯度建立:兴趣的数据包被中间节点逐步转发到网络中相关节点,逐步转发建立多条从兴趣的源节点到汇聚节点

                                路径加强:当网络中的相关节点采集到兴趣数据包中所要求的节点之后,采取的也是广播的方式来向汇聚节点发送数据,通过多跳方式最终传送到汇聚节点,汇聚节点就会从多条路径接收到源节点传过来的数据,之后,Sink节点根据最小代价原则从这些路径中选择一条最优的路径来继续接收数据,其余路径将被放弃。

     

                  DD协议优点:

                         数据中心路由,定义不同任务类型/目标区域消息

                         路径加强机制可显著提高数据传输的速率;

                         周期性路由:能量的均衡消耗

     

                  DD协议的缺点:

                         周期性的泛洪机制——能量和时间开销都比较大;

                         节点需要维护一个兴趣消息列表,代价较大;

     

    ②、集群路由协议

    集群结构路由协议是一种分层的路由协议,网络被划分成多个簇,每个簇都有一个簇头和许多个簇成员组成。每个簇成员如需跟其余簇的成员通信首先与簇头通信,通过簇头来与其余簇进行通信;簇头节点的职责就是管理好本簇内节点,完成本簇分布范围内数据的搜集,并负责簇间的通信;在网络规模比较大的情况下,簇头又可以再次分簇,从而形成一个多层网络;分层路由扩展性非常好,对于大规模的无线传感器应用具有很高的使用价值;

     

           LEACH协议:

                  每个节点直接与SINK节点通信:

                         节点能量消耗过大;节点密度较大时冲突过大,效率低

                  LEACH算法:

                         簇头节点作为一定区域所有节点的代理,负责和Sink的通信;

    非簇头节点可以使用小功率和簇头节点通信;

    簇头节点可以对所辖区域节点数据进行融合,减少网络中传输的数据;

    簇头选举算法的设计,要求保证公平性

                  LEACH是第一个提出数据聚合的层次型路由协议,采用随机选择簇首的方式来避免簇首过度消耗能量;通过数据聚合有效地减少网络的通信量。LEACH协议的工作过程是一轮一轮地进行的,每一轮分为建立阶段和传输阶段。最重要的簇头选择。

     

                  建立阶段

                         节点运行算法,确定本次自己是否成为簇头;

    簇头节点广播自己成为簇头的事实;

    其他非簇头节点按照信号强弱选择应该加入的簇头,并通知该簇头节点;

    簇头节点按照TDMA的调度,给依附于他的节点分配时间片;

                  数据传输阶段

    非簇首节点负责采集数据,如果需要发送数据,就用最小的能耗发送给它的簇首节点。

    非簇首节点节点在分配给他的时间片上发送数据,在不属于自己时隙的期间可以进入睡眠状态以节省能耗,

    而簇首节点则必须始终处于接收状态。

    所有非簇首节点的TDMA时隙都轮过后,簇首节点对接收到的数据进行融合压缩,然后直接发送给Sink节点。

                 

     

                  LEACH协议优点:

                         优化了传输数所需的能量

                         优化了网络中的数据量

                  LEACH协议的缺点:

                         节点硬件需要支持射频功率自适应调整

                         随机选择簇头,无法保证簇头节点能遍及整个网络

                  LEACH协议的改进LEACH-C:

                         簇头由SINK节点指定

                         通过模拟退火算法选择簇头

     

     

           TEEN协议:

                  基本思想:

                         TEEN协议将无线传感器网络,分为主动型和响应型。

    主动型无线传感器网络持续监测周围的物质现象,并以恒定速率发送监测数据

    响应型无线传感器网络只是在被观测变量发生突变时才传送数据。响应型无线传感器网络更适合对时间敏感的应用

    TEEN和LEACH的实现机制非常相似,前者为响应型,后者属于主动型,TEEN采用LEACH-c的集中式簇头建立方法

    在TEEN协议中定义了两个门限的概念。

    硬门限:当传感器节点收集到的数据高于这个门限值时,节点开始向簇首节点汇报数据;

    软门限,当节点感应到的数据的变化值大于这个门限值时,节点开始向簇首汇节点报数据。

     

     

     

    根据阈值参数上报数据,提高重要数据的实时性   实时上报和周期性上报相结合

     

           TEEN和APTEEN的优缺点:

                  TEEN相比LEACH更适用于实时应用系统,对突发事件可以快速反应,但不适用于应用在周期性采集的应用系统中;

                  APTEEN结合响应型和主动型两种算法混合协议,通过计时器周期性发送数据,可以根据用户需要和应用类型改变周期和相关阈值,也能周期性采集数据,又能对突发事件做出响应。

                  他们两个的主要缺点体现在构建多层簇以及设置门限值在实现上比较复杂,基于属性命名的查询机制也会带来额外的开销。

     

    ③、基于地理位置信息的路由协议

           地理位置信息路由协议要求每个节点知道自己在网络中的位置,下列方法可确定节点位置

    GPS(Global Positioning System)

    超声波三角定位系统

    标定

    基于地理位置的路由协议一般分为两类:

    一类是使用地理位置协助改进其余路由算法,以用来约束网络中路由搜索的区域,减少网络不必要的开销,主要代表协议有LAR和GAF等

    另外一类是基于地理位置的路由协议,这一类协议直接利用地理位置来实现自己的路由策略,代表协议有GPSR和GEAR等

     

           GAF协议的基本思想——与路由相结合的节能策略:

                  节点在空闲、接收数据和发送数据时消耗的能量之比为1∶1.2∶1.7

                  GAF算法考虑到无线传感器网络中节点的冗余性特点,在地理位置信息的帮助下在保证网络正常流通的情况下,适当关闭一些节点来降低能量消耗,提高节点的生存时间,从而延长网络的生命周期

           在GAF路由算法主要机制包括:确定等价节点、轮换协商的算法和节点移动自适应算法。

    a)确定等价节点:GAF路由算法中,协议将整个区域分成若干个虚拟网格,虚拟网格中的任意一个节点都可以与相邻网格内的节点进行通信,因此对于每个网格中的节点来说都可以实现路由的连通,可以说是等价节点。

     

           b)分布式轮转协商算法

    网络节点有三种状态:休眠状态、发现状态和激活状态,各个状态之间的切换主要由定时器触发;

    节点休眠醒来后处于发现状态,通过发送发现报文让其他地理上相邻的等价节点进入休眠状态;发送了发送报文的节点转为激活状态

    只有处于激活状态的节点才参与数据转发,根据预期生存时间选择激活状态的节点做为路由节点

     

     

           c)节点移动的自适应算法

    处于激活状态的节点可能移动出其所在的网格,导致先前所在的网格可能没有一个激活节点,降低路由可靠性

    GAF通过预测并报告节点运动规律来解决移动节点造成的路由断裂问题

    GAF的每个移动节点根据移动速度、节点位置和网格大小预测它离开所在网格的时间,并且将此信息放入发现信息中

    其他等效节点的休眠时间由节点自身的缺省休眠时间和路由节点离开时间的最小值确定,确保在路由节点移出网格前有其他节点醒来,减少节点移动性带来的副作用

     

     

    GPSR协议的基本思想:

           GPSR协议直接使用地理信息实现路由,使用贪婪算法建立路由,当节点需要发送数据时,选择一个距离目标节点最近的节点作为转发数据的下一跳节点。该过程一直重复直到数据达到目标节点

    为避免局部优化问题,GPSR协议采用边界转发策略作为贪婪转发的补充

    优点

    采用局部最优的贪婪算法,不需要维护网络拓扑,路由开销小;

    可适用于静态和移动的WSN网络;

    缺点

    需要地理位置信息的支持;

    需要维护邻居节点位置信息;

     

     

    GEAR路由协议基本思想

           GEAR路由协议根据事件所在区域的地理信息,实现从Sink节点到事件所在地区节点的路径,这样就能实现Sink节点向某个特定区域发送数据,避免了泛洪似的全网广播数据,同时借鉴了SPIN中查询节点剩余能量值的方法,建立从Sink节点到目标区域的最优路径。

           前提

    已知目标区域的位置信息

    节点知道自己位置信息和剩余能量

    节点间无线链路是对称的

          

          

    GEAR路由协议的关键技术

    两个关键性技术问题

    向目标区域传送查询消息

    查询消息在事件区域内的传播

    选路依据

    节点到查询区域通信能量能耗

    节点本身的剩余能量

    最小代价节点为转发节点

     

           路由空洞问题

    邻居节点传输代价都比本地节点大;

    选择邻居节点中代价最小的作为转发节点;

    修改本地节点的转发代价;

     

           迭代地理转发:将目标区域分解为若干子区域、 向子区域的中心位置转发)

                   

           优点

    利用了位置信息,避免了查询消息的Flooding;

    考虑了消耗的能量和节点剩余能量,均衡消息;

    路径选择可达到局部最优;

    迭代地理转发对洪泛机制的补充;

    缺点

    可能出现路由空洞(局部信息)- 两跳信息;

    不适合在移动WSN使用

     

     

     

     

    四、移动SINK的无线传感器网络网络层协议

           基本思想

    通过移动Sink点克服网络中能耗和负载不平衡的现象

    通常需要知道节点的地理位置,需要节点有定位功能作为辅助

     

     

     

     

     

     

     

     

     

    第五章 传输层

    考点:

           特点、能否把TCP/IP适用于WSN?(掌握)

     

    概述:

           传输层是是最靠近用户数据的一层,主要负责在源和目标之间提供可靠的、性价比合理的数据传输功能。为了实现传输层对上层透明,可靠的数据传输服务,传输层主要研究端到端的流量控制和拥塞的避免,保证数据能够有效无差错地传输到目的节点。

     

     

    ***由于无线传感器网络自身的特点,TCP协议不能直接用于无线传感器网络,原因如下:

    TCP协议提供的是端到端的可靠信息传输,而WSN中存在大量的冗余信息,要求节点能够对接收到的数据包进行简单的处理。

    TCP协议采用的三次握手机制,而且WSN中节点的动态性强,TCP没有相对应的处理机制。

    TCP协议的可靠性要求很高,而WSN中只要求目的节点接收到源节点发送的事件,可以有一定的数据包丢失或者删除。

    TCP协议中采用的ACK反馈机制,这个过程中需要经历所有的中间节点,时延非常高且能量消耗也特别大;而WSN中对时延的要求比较高,能量也非常有限。

    对于拥塞控制的WSN协议来说,有时非拥塞丢包是比较正常的,但是在TCP协议中,非拥塞的丢包会引起源端进入拥塞控制阶段,从而降低网络的性能。

    最后一点也最重要,在TCP协议中,每个节点都被要求有一个独一无二的IP地址,而在大规模的无线传感器网络中基本上不可能实现的,也是没有必要的。

     

     

     

    ESRT:自适应调整协议,包括系统可靠性的检测以及是否拥塞和根据可靠性作出相应的调整;

           局限:SINK节点通信范围必须覆盖全网,硬件要求高,没有考虑节点优先级,可能会拥塞,不适用于大型网络

     

    PSFQ:逐跳可靠性保证协议,或快取慢充协议。快取即节点向它的邻居节点快速索取数据,慢充即等到所有的数据接收完整后再发送给它的下一跳节点。

    缓存机制:中间节点缓存接收到的数据;

    NACK确认机制:接收到数据包后,检查包序列号连不连续,找出丢失的包序号,广播NACK报文,获取丢包。

    逐跳错误恢复机制:节点接收到所有的数据报文后才想吓一跳发数据。

     

     

     

    PECR:是一种能够自适应调整的拥塞控制机制

    ①节点根据最小跳数协议初始化自己的路由表信息,确定每个节点的下一跳节点。

    ②节点周期性地检测缓存占用率并将其作为拥塞信息写入反馈数据包中,并向其邻居节点发送此报文。

    ③源节点收到下游节点反馈的拥塞信息后,立即将此拥塞信息写入本地缓存的邻居节点拥塞表内。

    ④进入分流过程,节点将检测自己选择的下一跳节点是否满足拥塞度和剩余能量值的要求。

     

    CODE:基于逐跳的拥塞控制协议,采用信道监听和缓存队列检测相结合的方式检测拥塞,开环控制机制,闭环调节反应机制。

     

     

    RCTP:针对可靠性传输协议CTP(汇聚树协议)进行的改进,跨层分簇,包括拥塞检测和拥塞后的实施调度;缓存检测:实时队列和非实时队列任意一个队列缓存过半时,认为拥塞,发生拥塞后调用相应的实时调度方法缓解拥塞。

     

     

     

     

     

     

     

     

     

     

    第六章 通信标准

    考点:

           关系、概念(掌握)

     

    ①、IEEE 802.15.4 标准(LR WPAN 低速无线个人局域网)

           能量消耗少,结构简单且容易实现的无线通信网络协议,它主要致力于解决无线连接在能量值和网络吞吐量低的网络中应用。

    在不同的载波频率下实现20 kbps、40 kbps、100 kbps以及250 kbps四种不同的传输速率;

    支持星状和点对点两种网络拓扑结构;

    在网络中使用两种地址格式,16位和64位地址,16位地址由协调器分配,64位地址被用于全球唯一的扩展地址;

    采用可选的时槽 保障(GTS)机制;

    采用冲突避免的载波多路侦听技术(CSMA/CA);

    支持ACK反馈机制,确保数据的可靠传输。

     

    根据设备所具有的通信能力和硬件条件分为全功能设备和精简功能设备。

    该网络应用场景分为:

           星状网络:整个网络数据传输都要经过网络协调器控制,其余各个终端设备只能与网络协调器数据交换。

           点对点网络:只要通信设备在对方无限辐射范围内就可以通信。

     

    该网络协议存在于物理层和数据链路层之间,物理层是由射频收发器和底层控制模块组成,链路层为高层访问提供了访问物理信道的服务接口。

     

     

    ②、ZIGBEE:

           扩展了IEEE802.15.4 的网络层和应用层

    ZigBee协议中定义了三种设备:ZigBee协调器、ZigBee路由器和ZigBee终端设备:

    ZigBee协调器,它负责建立并启动一个网络,包括选择合适的射频信道、唯一的网络标识符等一系列操作。

    ZigBee路由器作为远程设备之间的中继器来进行通信,能够拓展网络的范围,负责搜寻网络,并在任意两个设备之间建立端到端的传输。

    ZigBee终端设备作为网络中的终端节点,负责数据的采集。

     

    ZigBee的应用层由三个部分组成:应用支持子层、应用层框架和ZigBee应用对象(ZDO)。

    应用支持子层为网络层和应用层通过ZigBee设备对象与制造商定义的应用对象使用的一组服务提供了接口,该接口提供了ZigBee设备对象和制造商定义的应用对象使用的一组服务,通过数据服务和管理服务两个实体提供这些服务。

    应用框架可为驻扎在ZigBee设备中的应用对象提供活动的环境。

    设备对象描述了一个基本的功能函数,这个功能在应用对象、设备(Profile)和APS之间的提供了一个接口。 ZDO位于应用框架和应用支持子层之间,可满足所有在ZigBee协议栈中应用操作的一般需要

     

    ③、蓝牙技术

    蓝牙采用分散式网络结构以及快跳频和短包技术,支持点对点及点对多点通信,工作在全球通用的2.4 GHz ISM频段,其数据速率为1 Mbps,采用时分双工传输方案实现全双工传输。

    蓝牙优势:

    频段免费、设备范围广、易于使用、抗干扰能力强、可以同时传输语音和数据

     

     

     

     

     

    第七章 时间同步技术考点

    考点:

    要解决的问题(了解)

           区分传统时间同步(了解)

           RBS、TPSN(掌握)

           区分新型时间同步技术(了解)

     

    三种深度的同步:

    时序确定、判断事件发生的先后顺序;

    相对同步,每一个节点维护本地时钟

    绝对同步,所有节点同步

           外同步:参考时间来自外部

           内同步:参考时间来自内部某个节点

     

     

    无线传感器网络时间同步协议必须要解决三个方面的问题:

    同步的误差要尽可能地小,这样才能保证整个网络间节点应用的正常进行

    因为无线传感器网络节点的电池不可替换,因此协议要尽可能地简单,功耗要低,以尽可能地延长网络的生命周期

    具有可扩展性,随着无线传感器网络规模的扩大,时间同步协议要同样有效

    稳定性

     

    时间同步的两个重要的时间参数:

    时钟偏移:在真实时刻t时定义时钟偏移为c(t)−t,即本地时间与真实时间的差值。

    时钟漂移:在真实时刻t时定义时钟漂移为ρ(t)=r(t)−1,即本地时间变化速率与1的差值。

    在节点的两种时间计数方式:

    硬件计数模式:即利用晶振来实现时间的计数

    软件时钟模式:采用虚拟的软件时钟来实现时钟的计数

     

     

    NTP:分层,每一层向上一层服务器同步时间

     

    DMTS:

    接收者时间最后改为:t0+nΔt+t2−t1

     

    能耗小,但是没有考虑传播延迟、编/解码的影响,对时钟漂移也没有考虑,同步的精度不是很高,还有待进一步的改进。

     

     

    RBS:假设有N个节点组成的单跳网络,1个发送节点,N−1个接收节点,发送节点周期性地向接收节点发送参考报文,广播域内的接收节点都将收到该参考报文,并各自记录收到该报文的时刻。接收者们通过交换本地时间戳信息,这样这一组节点就可以计算出它们之间的时钟偏差。

     

    TPSN:

                  两个阶段:

                  层次发现阶段:

    级别发现分组包含发送节点的ID和级别。根节点是0级节点,在根节点广播域内的节点收到根节点发送的分组后,将自己的级别设置为分组中的级别加1,即为第1级,然后将自己的级别和ID作为新的发现分组广播出去。

    当一个节点收到第i级节点的广播分组后,记录发送这个广播分组的节点的ID,设置自己的级别为i+1。这个过程持续下去,直到网络内的每个节点都具有一个级别为止。如果节点已经建立自己的级别,就忽略其他的级别发现分组。

           时间同步阶段:

    建立层次之后,相邻层次之间的节点通过双向报文机制来进行时间同步,假设节点A是第i层的节点,节点B是第i-1层的节点,根据TPSN报文交换协议,我们规定T1和T4为节点A的时间,T2和T3为节点B的时间,节点A在T1向节点B发送一个同步报文,节点B在收到该报文后,记录下接收到该报文的时刻T2,并立刻向节点A发回一个应答报文,将时刻T2和该报文的发送时刻T3嵌入到应答报文中。当节点A收到该应答报文后,记录下此时刻T4。我们假设当节点A在T1时刻,A和B的时间偏移为Δ,因为T1到T4两个报文发送的时间非常短,我们可以认为Δ没有变化,假设报文的传输延迟都是相同且对称的,均为d,那么有

                         T2=T1+Δ+d   T4=T3−Δ+d,

    这两个方程联立可解得:

           Δ=[(T2-T1)-(T4-T3)]/2,  d=[(T2-T1)+(T4-T3)]/2

    在T4时刻,节点A在本地时间上面加上一个偏移量Δ,A和B就达到了同步。

    从双向同步协议的同步过程中可以看出,在TPSN协议中,当双向报文的传输完全对称时其精确度最高,即同步误差最小。另外TPSN的同步误差与双向报文的传输延迟有关,延迟越短,同步误差越小。

     

     

    FTSP:

    FTSP(泛洪时间同步协议)也采用单个广播消息实现发送节点与接收节点之间的时间同步,采用同步时间数据的线性回归方法估计时钟漂移和偏差。综合考虑了能量感知、可扩展性、鲁棒性、稳定性和收敛性等方面的要求。FTSP算法实现步骤如下:

    (1)FTSP算法在完成SYNC字节发射后给时间同步消息标记时间戳并将其发射出去。

    (2)接收节点记录SYNC字节最后到达时间,并计算位偏移。在收到完整的消息后,接收节点计算位偏移产生的时间延迟,这可通过偏移位数与接收速率得出。

    (3)接收节点计算与发送节点问的时钟偏移量,然后调整本地时钟和发送节点时间同步。

     

    比较:

    1.精度方面

    RBS协议:因为无线信道的广播特性,使得发送节点发出的消息相对所有节点而言是同时发送到物理信道上的,相当于将消息传递过程中两项最不确定的时延被去除了,所以能够得到较高的同步精度。

    TPSN协议:在网络传输的时延中,访问时延的不确定性是最高的。为了提高两个节点之间的时间同步精度,TPSN协议直接在MAC层记录时间信标,这样可以有效地消除发送时延、访问时延、接收处理时延所带来的时间同步误差。并利用双向消息交换计算消息的平均延迟,提高了时间同步的精度。

    FTSP协议:采用在MAC层记录时间信标,细分消息传输中的时间延迟对这些延迟进行补偿,利用线性回归估计时间漂移等措施来降低时间同步误差。

     

    2.收敛性方面

    RBS协议:发送参考广播的节点是预先选定的,其他节点接收到参考广播消息后,就开始同步的过程。考虑到通信冲突,在几个同步周期后,全网就可以达到时间同步,收敛时间也比较短。

    TPSN协议:这种同步方法的消息传递机制分为两个过程,包括分层阶段和同步阶段,因此其收敛时间较长。

    FTSP协议:该协议的根节点选择过程是伴随时间同步一起进行的,根节点的选择不会对收敛性造成影响,在几个同步周期后,全网就能达到时间同步,收敛时间也比较短。

     

    3.扩展性方面

    RBS协议:在全网达到同步后,新节点的加入不会影响到参考广播节点的地位,也就不会对全网的结构造成影响。但是,加入新的参考广播节点会使得情况变得复杂,必须考虑处于不同广播域内的节点达到同步的问题。对于多跳网络的RBS协议需要依赖有效的分簇方法,保证簇之间具有共同的节点,以便簇间进行时间同步。

    TPSN协议:从分层过程可以看出,新节点加入后会对网络的拓扑结构造成很大的影响,应此,该协议的扩展性很差,这也是这个协议最大的缺点之一。

    FTSP协议:如果加入的是ID号最小的节点,该节点首先使自己与网络达到同步,然后再进行根节点选择,不会影响网络时间同步。如果不是ID号最小的节点,该节点只需要进行时间同步并广播时间同步消息。

     

    4.鲁棒性方面(健壮性)

     

    RBS协议:由RBS协议的同步原理可以看出,节点失效或网络通信故障不会破坏整个拓扑结构,每个节点都有大量的冗余消息来保证时间同步。但是参考节点失效就会影响到该节点广播域内所有节点的同步。该协议具有较好的鲁棒性。

     

    TPSN协议:当某个节点失效,该节点以下的节点就有可能接收不到时间同步消息,这样就会造成连锁反应,影响到该节点所有的后续节点的时间同步。全网的时间同步会受到个别节点的影响,鲁棒性很差。

     

    FTSP协议:如果是根节点失效,那么其他节点就会开始根节点选择的过程,重新选出一个根节点,这在段时期内会破坏时间同步,但全网很快就能重新达到同步。如果是其他节点失效,由于大量冗余消息的存在,个别节点不会影响全网时间同步。FTSP协议也具有良好的鲁棒性。

     

    5.能耗方面

    可以利用网络中的节点在一次时间同步中平均接收和发送消息的次数来简单的估计时间同步协议的能耗。

    RBS协议:要实现两个节点之间的时间同步,节点需要接收一次广播消息,然后再交换一次时间同步消息,平均需要2次消息发送和3次消息接收。协议的能量消耗较大。

    TPSN协议:由于这个方法采用的是类客户/服务器模式,所以实现一次时间同步,节点平均需要2次消息发送和2次消息接收,协议的能量消耗相对较小。

    FTSP协议:在该协议中,节点接收到时间同步消息后,使得节点本地时间与全局时间达到同步,然后形成新的时间同步消息并发送出去。每次同步,节点平均需要1次消息发送和1次消息接收,协议的能量消耗是最小的。

     

     

     

    两个新的时间同步技术试图解决传统时间同步技术中的同步积累误差和可扩展性问题:

    协作同步技术

    萤火虫同步技术

     

     

     

    Peskin模型和M&S模型模拟了萤火虫自同步(Self-Synchronization)方式,在理论上证明了振荡器节点能够达到同步,然而,由理论所引导而做出的一些假设,应用于无线传感器网络,在实现上却存在五点局限性:

    当一个节点激发时,它的邻居节点不能即时地获取这个时间

    节点不能即时地对激发事件做出反应

    节点不能精确地并且即时地计算出f和f−1

    所有的节点没有相同的时间周期T

    节点不能从它的邻居节点观察到所有的事件(具有信息损耗)

     

     

    与其他协议相比,萤火虫同步算法具有独特的优点:

     同步可直接在物理层而不需要以报文的方式实现;

     由于对任何同步信号的处理方式均相同,与同步信号的来源无关,因此可扩展性以及适应网络动态变化的能力很强;

     机制简单,不需要对其他节点的时间信息进行存储。

     

     

     

     

     

     

     

     

     

     

    第八章 WSN节点定位技术

    考点:

    定位技术原理和区分(了解)

     

    8、1 节点定位技术概述

           WSN节点定位:依靠网络中少量位置已知的节点,通过邻居节点间有限的通信和某种定位机制确定网络中所有未知节点的位置。

           节点定位在实际中包含:

                  自定位:确定节点自身在系统中的位置

                  目标定位:确定目标节点在系统中的位置

          

                  一些概念:

                  信标节点:已知自身位置信息的节点,可通过GPS定位设备或手工配置、确定部署等方式预先获取位置信息,为其他节点提供参考坐标。

    未知节点:信标节点以外的节点统称为未知节点,也有文献称为盲节点。

    邻居节点:一个节点通信距离范围内的所有节点的集合。

    跳数:两个节点之间跳段的总数。

    跳距:两个节点之间各跳段的距离之和。

    节点连接度:节点可以探测发现到的邻居节点个数。

    网络连接度:所有节点的邻居个数取平均值,可反映传感器配置的密集程度

     

    节点定位要求:

                  传感器网络的定位算法通常需要具备以下特点:

    自组织性:传感器网络的节点随机部署,不依赖于全局基础设施协助定位;

    健壮性:传感器节点的硬件配置低,能量有限,可靠性较差,定位算法必须能够容忍节点失效和测距误差;

    节能性:尽可能地减少算法中计算的算法复杂度,减少节点间的通信开销,以尽量延长网络的生存周期;

    分布式:无线传感器网络通常是大规模部署网络,节点数目多,定位任务将不会是单个节点所能承担的,这就需要定位算法具有一定的分布式,把任务分派到各个节点;

    可扩展性:无线传感器网络中的节点数目可能是成千上万甚至更多,为了满足对不同规模的网络的适用性,定位算法必须具有较强的可扩展性。

     

     

    8、2 节点定位技术研究状况和发展

           作为一种全新的技术,无线传感器网络具有许多挑战性的研究课题,而定位就是其中之一,定位也是大多数应用的基础和前提

    传感器节点的微型化和有限的电池供电能力使其在节点硬件的选择上受到很大的限制,低功耗是其最主要的设计目标。必须针对密集性,节点的计算、存储和通信等能力都有限的特定场合设计有效的低功耗定位算法

    近十年来,无线传感器网络自身定位问题研究有了许多新颖的解决方案和思想,但是每种系统和算法都是用来解决不同的问题或支持不同的应用的,它们用于定位的物理现象、传感器设备的组成、能量需求、基础设施和时空的复杂性等许多方面有所不同。

    对现有的WSN定位研究成果研究比较发现,没有一种定位方案能在有效减少通信开销、降低功耗、节省网络带宽的同时获得较高的定位精度。而且大部分停留在仿真和实验阶段。因此,该领域还有待更多的人提出更好的方法,以求更好地解决定位问题,使得无线传感器网络能够真正在实际生活中得到广泛的应用。

     

    8、3 节点定位技术关键问题

           1.定位区域与精确度

    定位区域与精确度是传统定位方法和无线传感器网络定位都具有的衡量指标,而且定位区域和精度一般都是互补存在的,定位区域越大,意味着精度越小。

    2.实时性

    实时性是定位技术的另外一个关键指标,实时性与位置信息的更新频率密切相关,位置信息更新频率越高,实时性越强

    3.能耗

    能耗是无线传感器网络独有的一个衡量指标。在无线传感器网络中,节点的电能靠电池来供应,电池是不可替换的,因此节省能量就成了无线传感器网络中一个重要的问题。

    另外,还有一些小的方面来衡量无线传感器网络定位技术的好坏,如定位技术的扩展性、鲁棒性和节点带宽的占用等。

     

    8、4 基于测距的定位技术

     

                  已知几个节点的位置,求另外节点的位置:

                         三边定位法;角度定位法;

                  一般有三种算法可以测量两个节点之间的距离:

                         根据接收信号的强度来计算距离;RSSI

    根据信号传播时间或者时间差来计算距离;TOA

    根据接收信号相位差定位。TDOA

                   

                 

                  常用的角度定位方法有:已知两个顶点和夹角的射线确定一点,以及已知三点和三个夹角确定一点。

     

     

    8、5 无需测距的定位技术

     

           ①、基于连通性的定位

                  连通性(Connectivity)是指两个节点是否连通。基于连通性的定位可以根据一个节点能否成功解调其他节点传来的数据包作为依据。

           ②、基于跳数的定位

                  跳数原理就是对信标节点信息洪泛的过程进行跳数统计,通过统计未知节点与信标节点之间的跳数,然后根据信标节点之间的距离和跳数估算出全网每一跳的平均距离,二者相乘,即可得到两个节点之间的距离。

     

    质心定位算法:

    APTI定位算法

    DV-Hop定位算法

           凸优化方法

     

     

     

     

     

    8、6 协作定位技术

    钢性理论概述:

           刚性,即在不考虑物质特性的理想条件下任何两个连接点之间的欧氏距离不随其运动状态改变的特性。

     

     

    协作定义原理:根据网络局部拓扑结构采用模式匹配的方法自组的进行节点间通信连接,根据与未知节点连通的导标节点个数和形式,通过几何约束条件判断该未知节点是否可以与邻居节点导标构建最简单元定位协作体或准定位协作体,然后在最简单元定位协作体的基础上,扩展成更多节点的定位协作体。

     

     

     

     

     

     

     

     

    第九章 容错设计技术

    考点:

           概念(了解)

           失效、故障、容错、差错(区分了解)

           精度?上行、下行模式(了解)

     

    9、1 容错技术概述

           容错就是指当由于种种原因在系统中出现了数据、文件损坏或丢失时,系统能够自动将这些损坏或丢失的文件和数据恢复到发生事故以前的状态,使系统能够连续正常运行的一种技术。

     

    失效:失效就是某个设备停止工作,不能够完成所要求的功能。

     

    故障:故障是指某个设备能够工作,但是并不能按照系统的要求工作,得不到应有的功能,它与失效的主要区别就是设备还在工作,但是不正常。

     

    差错:差错是指设备出现了的不正常的操作步骤或结果。

     

    故障->差错->失效

     

    容错技术分类:

           ①、故障避免:避免或预防故障的发生

           ②、故障检测:用不同的策略来检测网络中的异常行为

           ③、故障隔离:对故障节点进行隔离,以免影响现有网络

           ④、故障修复:网络故障后的一项补救措施

     

     

    9、2 容错设计模型

    WSN故障三个层级:(部件级、节点级、网络级)

    部件级故障是指此类故障节点能够正常通信,但其测量值是错误的,会影响网络分析处理数据的结果;

    节点级故障是指故障节点不能与其他节点进行正常的通信,会影响网络连通性和覆盖性;

    网络级故障是指网络通信协议或协作管理方面的问题或其他原因造成的较大规模的故障,导致整个网络不能正常工作。

          

    容错设计模型标准:

    (1)能效性:这里主要考虑传感器节点在数据采集、数据处理、通信三方面的能耗。

    (2)故障诊断精度:一般地,故障诊断精度是指一次故障诊断过程完成后,诊断状态与实际状态相同的节点占总节点数的百分比。有时候,故障诊断精度也被细分为故障识别率和误报率两个指标。

    (3)故障诊断执行时间:在执行故障诊断过程中节点之间要进行协作判断,也就是处于激活状态的节点数目会比较大,如果故障诊断过程持续比较久会给网络带来较大的能耗负担。

    (4)恶劣环境中的故障诊断精度:在一些特殊的应用中,由于环境、自然灾害或人为因素的影响,网络中的故障节点分布不均匀,可能在局部区域出现故障节点聚集的现象,这种现象会影响故障诊断机制的性能表现,一个好的故障诊断机制应该能有效地应对这样的情况。

     

    9、3 WSN可靠性分析

     

           物理层是无线传感器网络的最底层,主要负责信息的发送、编/解码功能,其主要可靠性都是来自于系统硬件.

     

    数据链路层主要负责对物理层发送的数据进行错误检测,将物理层的数据错误率降低到阈值以下,采用反馈机制来保证它的可靠性

    网络层的主要功能是负责节点间路由的选择及维护。可分为两种模式:

    任由节点泛洪式地选择自己的路由,不加任何干涉,泛洪就是这种模式的典型协议,这种模式的好处就是基本上不涉及算法,节点接收到信息之后不用维护本地路由表,直接广播数据包即可,因为多路径传输数据包到汇聚节点,所以具有很高的容错性,但由此带来了大量冗余信息传输,容易造成网络拥塞,耗费大量能量,因此不适宜用在无线传感器网络中。

    另外一种模式就是局部多路径传输协议,当网络正常时,网络以一跳最优路径进行数据的传输,这样能最大限度地节省能量,如最小跳数协议。当网络发现某节点发生拥塞时,调控节点进行多径分流,以此来降低节点的通信负载,保证系统的可靠性

     

    传输层可靠性

         在无线传感器网络中,理想的传输层能支持可靠的信息传递和提供有效的拥塞控制,以此来延长无线传感器网络的生命周期。可靠性保证分为两种,一种是事件的可靠性,另一种是数据包的可靠性,无线传感器网络中一般采用基于事件的可靠性,因此只需要数据传输的可靠性达到一个保证事件传输的阈值即可。

     

    无线传感器网络中数据传输分为两种形式:

    上行模式,即从传感器节点到汇聚节点,这是感应源节点到汇聚节点而形成的一股数据流,目的是保证汇聚节点能够监测到感兴趣区域的事件情况。

    下行模式,即从汇聚节点到传感器节点的数据传输,在这种模式中传输的不再是节点采集的信息,而是汇聚节点给予感应区域内的控制或者查询消息,它可能用于调整整个网络的路由,避免网络的拥塞;也可能用于反馈消息的正确接收或者查询某个特定区域的信息,规定其优先级等。

     

     

     

    9、4 WSN故障检测和诊断

    基于空间相关的故障检测:

           空间相关性:是指无线传感器网络中相邻节点的同类传感器之间所测量的值通常有很相近的特性。

    (1)需要地理位置信息。在地理位置信息已知的情况下,利用三个可信节点实现三角法检测感应器故障。

                  (2)无须地理位置信息。这类检测通常是通过侦听邻居数据来判断自己测量值是否正确的,判断策略可分为多数投票策略、均值策略和中值策略。

     

                  多数投票策略是通过与邻居节点测量值进行比较,得到与自己的测量值相同或差距在允许范围内的邻居测量值个数,如果个数超过邻居数目的一半,则判定自己的测量值为正确的,否则就是错误的。

     

    均值策略首先计算邻居测量值的平均值,然后比较这个均值和自己的测量值,如果它们差距在允许的范围内,则认为自己的测量值为正确的。

     

    中值策略是利用邻居测量值的中值与自己的测量值比较,在很大程度上避免了错误的邻居节点测量值对测量精度的影响,在有很多邻居节点测量值错误的情况下,节点仍然能正确地判断出自己的测量值是否正确。

     

     

     

    基于贝叶斯信任网络:

     

     

    9、5 WSN自恢复策略

    容错节点是一种可以替换失效活动节点的睡眠节点或冗余节点。活动节点失效会造成某些邻居节点的连接断开,在它失效时,其邻居节点可以通过指定的容错节点来通信。

     

    节点失效会造成某些区域不被覆盖,这时需要采取措施来弥补覆盖空洞。节点覆盖区域定义为它的整个感知区域除去与其他节点重叠的部分。失效节点的覆盖区域需要其他节点来弥补。假设网络中的节点具有移动能力,它把覆盖修复过程分为四个阶段

    (1)初始化阶段:节点计算自己的覆盖区域、每个覆盖区域对应的移动区域。

    (2)恐慌请求阶段:垂死节点广播求助消息。

    (3)恐慌回应阶段:垂死节点的邻居节点收到求助消息后计算如果自己移动到垂死节点的移动区域,是否会影响到自身的覆盖区域,如果不影响则给求助节点返回消息。

    (4)决策阶段:垂死节点根据收到的回应信息,决定让哪个节点移动。

     

     

     

     

     

     

    第十章 服务质量保证

    考点:

           QoS含义、功能(了解)

     

     

    10、1 QOS概述

           含义:

                  从应用的角度看,QoS代表用户对于网络所提供服务的满意程度;

    从网络的角度看,QoS代表网络向用户所提供的业务参数指标。

     

           质量标准:

    (1)可用性:指综合考虑网络设备的可靠性与网络生存性等网络失效因素,当用户需要时即能开始工作的时间百分比。

    (2)吞吐量:又称为带宽,是在一定时间段内对网络流量的度量。一般来说,吞吐量越大越好。

    (3)时延:指一项服务从网络入口到出口的平均经过时间。许多实时应用,如语音和视频等服务对时延的要求很高。

    (4)时延变化:指同一业务流中所呈现的时延不同。高频率的时延变化称为抖动,而低频率的时延变化称为漂移。

    (5)丢包率:指网络在传输过程中数据包丢失的比率。造成数据包丢失的主要原因有网络链路质量较差、网络发生拥塞等。

     

     

     

     

    10、2 发展现状

     

    ①、应用层QoS保障技术

    应用层QoS需求是由应用设计者和用户提出的。QoS可定义为系统生命期、查询响应时间、事件检测成功率、查询结果数据的时间空间分辨率、数据可靠性和数据新颖度。

    ②、数据管理层QoS保障技术

    分布式传感器网络是由大量廉价的传感器节点组成的一个自组织系统,为了获得期望的服务质量,实现响应时间和资源需求,传感器节点必须互相协作,实现高效的信息采集和分发策略。

    ③、数据传输层QoS保障技术

    PSFQ采取快吸慢取的方式,能够为具有不同可靠性需求的应用提供简单、健壮和可扩展的传输协议。

    ESRT[6]是一个新颖的数据传输方法,用最少的能量获得可靠的事件检测结果,包含一个阻塞控制部件,既保证可靠性又节省能量。

    上述文献主要研究的是数据传输层的QoS保障机制,QoS往往定义为数据传输的可靠性和实时性,同时要考虑能源高效性。

    ④、网络层QoS保障技术

           在WSN的体系结构中,网络层是提供QoS支持的主要部分。作为在网络层支持QoS的载体,QoS路由协议的好坏对无线传感器网络的性能有着重要的影响。路由协议负责将数据分组从源节点通过网络转发到目的节点。

     

                  路由协议挑战:

                         网络动态变化、资源严重受损、对多种业务QOS支持、能量和QOS平衡、可扩展性

     

    ⑤、连通覆盖层的QoS保障技术

           保证网络的感知覆盖度和连通度是传感器网络特殊的QoS需求,目前已有许多相关的研究工作。

    ⑥、MAC层的QoS保障技术

           在WSN中,MAC协议决定无线信道的使用方式,在传感器节点之间分配有限的通信资源,对WSN的性能有较大的影响。目前,研究人员为无线网络提出一些基于冲突和载波监听的MAC协议,目标是最大化系统吞吐量,并未提供实时性保证。

    ⑦、交叉层支持QoS的中间件

            。基于服务的中间件用于接收用户的QoS需求,以高效的可扩展的方式保障应用的实时性要求,利用节点的冗余保证容错,并且支持多Sink节点的多种QoS需求。

     

     

     

    10、3 关键问题

    资源严重受损、以数据为中心,非端到端的通信模式、数据高度冗余、流量非均匀分布、节点密集分布无线多跳传输、多用户、多任务并发操作,多类别数据流量、可扩展性

     

     

    10、4 感知QOS保证

    无线传感器网络感知QoS,即无线传感器网络中传感器节点对监测区域的感应,监控的效果。

    无线传感器网络的可能应用多种多样,根据监控目标的几何性质可将覆盖控制问题分为点(目标)覆盖、区域覆盖及线覆盖三类

     

    ●为区域中存在的监控目标,○为休眠节点,●为工作节点。

     

    感知模型

     

    感知原型:节点的传感及通信范围难以保证为某一固定半径的圆,传感与通信具有方向性,且随着距离的增大,监控准确度和概率都相应减小。

    0-1感知模型:通过研究区域内圆盘覆盖来获取WSN覆盖控制策略,具有感知的阶跃性。

    概率感知模型:去除方向性的同时,保留了距离对感知精度的影响,随着传感器与监控目标间距离的增大,传感器对目标的感知概率也逐渐减小直至无法感知。

     

     

     

    虽然WSN覆盖控制研究已经取得了一定的成果,但是仍有很多问题需要解决,集中体现在以下几点:

     

    感知模型种类的完善。

    三维空间的覆盖控制。

    提供移动性的支持。

    符合WSN与Internet交互的相应WSN覆盖控制方案。

    开发和设计更多结合WSN覆盖控制的应用。

     

     

     

     

     

     

    10、5 传输QOS保证

    在无线传感器网络中评价传输服务质量的关键指标如下。

    传输成功率。

    时延。

     

    传感数据包能否实现端到端的可靠传输是网络能否成功实施并应用的一个重要条件。在网络中,造成数据包丢失的原因主要有三个方面。

    (1)无线传感器网络所使用的无线信道与有线链路相比有更大的不稳定性以及更高的误码率,很容易受到周围环境噪声的影响造成数据包的丢失。另外在无线传感器网络中,传感器节点的分布密度非常高,不同节点在发送数据时极易发生信道竞争冲突以及碰撞造成数据包丢失。

    (2)当无线传感器网络中发生拥塞时,拥塞节点缓存溢出造成数据包丢失。

    (3)接收节点因为数据包到达过快来不及处理造成数据包丢失。

     

     

    目前来说,无线传感器网络为了保证稳定传输提出了几种可靠性机制:

     

    反馈确认机制。

     

    冗余数据保证机制。

     

    多路径传输机制。

     

    FEC前向纠错码机制。

     

     

     

     

     

     

    第十一章 网络管理

    考点:

           区分几种管理系统(了解)

     

     

    11、1 网络管理概述

           网络管理是指对网络的运行状态进行检测和控制,使其有效可靠安全经济的提供服务;

           两个任务:

                  对网络的运行状态进行监测;

                  对网络的运行状态进行控制

     

           简单来说,网络管理是对网络中的资源进行合理的分配和控制,或者当网络运行出现异常时能及时响应和排除异常等各种活动的总称,以满足业务提供方和网络用户的需要,使得网络有效资源可以得到最有效的利用,使得整个网络的运行更加高效,能够连续、稳定和可靠地提供网络服务。

     

    运行:针对向用户提供的服务进行,面向网络整体进行管理,

    控制:网络的控制管理针对向用户提供有效的服务和为满足提供服务的质量要求进行的管理活动

    维护:为了保障网络及其设备的正常可靠连续运行而进行的一系列管理活动,包括故障检测、定位和恢复,对设备单元的测试

    提供:针对电信资源的服务装备进行的一系列网络管理活动,为实现某些服务提供某些资源和给用户提供某些服务

     

     

     

     

     

    11、2 发展现状

    挑战:

           无线传感器网络的管理模型必须能适应不同的应用,并且在不同的应用间进行移植时修改的代价最小,即具有一定的通用性。

           无线传感器网络大多按照无人看管的原则部署。

           无线传感器网络资源受限。

     

     

    11、3 关键问题

     

    网络管理原则:

           高效的通信机制

           轻量型的结构

           智能自组织的机制

           安全、稳定的环境

     

    11、4 典型网络管理系统

     

    集中式网络管理系统:

    BOSS:

          

           Tiny—DB:

                  基于查询的WSN数据管理系统,它从节点收集相关数据,调度各个节点对查询进行分布式处理,将查询结果通过基站返回给用户。

     

     

    层次式网络管理系统:

           RRP:按照供应链策略,RRP将无线传感器网络分为几个功能区,针对功能区各自的特点采用不同的路由模式,各个功能区之间相互协作以达到最佳的网络性能,并尽量降低能量消耗。RRP中游三个功能区:生产区、运输区以及仓储和服务区,各个区之间的节点的角色和任务各不相同。

     

           SNMP:定义描述网络当前状态的网络模型和一些列的网络管理功能;设计提取网络状态和维护网络性能的一系列算法和工具

     

     

    分布式网络管理系统:

           基于移动AGENT的数据管理:基于移动Agent技术的无线传感器网络管理模型,该模型采用数据本地存储的方式,让每个传感器器节点把自身的特征数据和感知数据存储在自身节点上,使数据传输的开销降低到最小;再使用移动数据查询代理在合理的节点上采集数据,便可以有效地满足查询的需要。

          

                  TinyCubus:一种自适应的传感器网络跨层管理框架,TinyCubus包含三个部分:跨层结构、配置引擎、数据管理结构。

     

                  跨层结构为要进行跨层交互(如优化时需要其他模块的信息,通过对高层组件的回调执行特定应用的代码等)的模块提供了一个通用的参数化接口。

     

    配置引擎基于传感器节点的角色进行代码分发,并支持动态安装程序代码,其目的是支持系统和应用组件的配置,包括拓扑管理器和代码分发程序。

     

    数据管理结构提供了一组标准数据管理组件和系统组件,并根据当前系统中的信息选择最恰当的一些组件用于管理。数据管理结构用一个立方体定义,包含三个维度:

     

    优化参数,如能量、通信延迟和带宽;

    应用需求,如可靠性;

    系统参数,如节点移动性和网络密度。

    展开全文
  • 随着科学技术的发展以及硬件计算能力的大幅提升,人工智能已经从几十年的幕后工作一下子跃入人们眼帘。...在2017年这一年,AI已经突破天际,相关产品也出现在人们的生活,比如智能机器人、无人驾驶

    随着科学技术的发展以及硬件计算能力的大幅提升,人工智能已经从几十年的幕后工作一下子跃入人们眼帘。人工智能的背后源自于大数据、高性能的硬件与优秀的算法的支持。2016年,深度学习已成为Google搜索的热词,随着最近一两年的围棋人机大战中,阿法狗完胜世界冠军后,人们感觉到再也无法抵挡住AI的车轮的快速驶来。在2017年这一年中,AI已经突破天际,相关产品也出现在人们的生活中,比如智能机器人、无人驾驶以及语音搜索等。最近,世界智能大会在天津举办成功,大会上许多业内行家及企业家发表自己对未来的看法,可以了解到,大多数的科技公司及研究机构都非常看好人工智能的前景,比如百度公司将自己的全部身家压在人工智能上,不管破釜沉舟后是一举成名还是一败涂地,只要不是一无所获就行。为什么突然之间深度学习会有这么大的效应与热潮呢?这是因为科技改变生活,很多的职业可能在今后的时间里慢慢被人工智能所取代。全民都在热议人工智能与深度学习,就连Yann LeCun大牛都感受到了人工智能在中国的火热!

    简单入门循环神经网络RNN:时间序列数据的首选神经网络

    言归正传,人工智能的背后是大数据、优秀的算法以及强大运算能力的硬件支持。比如,英伟达公司凭借自己的强大的硬件研发能力以及对深度学习框架的支持夺得世全球最聪明的五十家公司榜首。另外优秀的深度学习算法有很多,时不时就会出现一个新的算法,真是令人眼花缭乱。但大多都是基于经典的算法改进而来,比如卷积神经网络(CNN)、深度信念网络(DBN)、循环神经网络(RNN)等等。

    本文将介绍经典的网络之循环神经网络(RNN),这一网络也是时序数据的首选网络。当涉及某些顺序机器学习任务时,RNN可以达到很高的精度,没有其他算法可以与之一较高下。这是由于传统的神经网络只是具有一种短期记忆,而RNN具有有限的短期记忆的优势。然而,第一代RNNs网络并没有引起人们着重的注意,这是由于研究人员在利用反向传播和梯度下降算法过程中遭受到了严重的梯度消失问题,阻碍了RNN几十年的发展。最后,于90年代后期出现了重大突破,导致更加准确的新一代RNN的问世。基于这一突破的近二十年,直到Google Voice Search和Apple Siri等应用程序开始抢夺其关键流程,开发人员完善和优化了新一代的RNN。现在,RNN网络遍布各个研究领域,并且正在帮助点燃人工智能的复兴之火。

    与过去有关的神经网络(RNN)

    简单入门循环神经网络RNN:时间序列数据的首选神经网络

    大多数人造神经网络,如前馈神经网络,都没有记忆它们刚刚收到的输入。例如,如果提供前馈神经网络的字符“WISDOM”,当它到达字符“D”时,它已经忘记了它刚刚读过字符“S”,这是一个大问题。无论训练该网络是多么的辛苦,总是很难猜出下一个最有可能的字符“O”。这使得它成为某些任务的一个相当无用的候选人,例如在语音识别中,识别的好坏在很大程度上受益于预测下一个字符的能力。另一方面,RNN网络确实记住了之前的输入,但是处于一个非常复杂的水平。

    我们再次输入“WISDOM”,并将其应用到一个复发性网络中。RNN网络中的单元或人造神经元在接收到“D”时也将其之前接收到的字符“S”作为其输入。换句话说,就是把刚刚过去的事情联合现在的事情作为输入,来预测接下来会发生的事情,这给了它有限的短期记忆的优势。当训练时,提供足够的背景下,可以猜测下一个字符最有可能是“O”。

    调整和重新调整

    像所有人工神经网络一样,RNN的单元为其多个输入分配一个权重矩阵,这些权重代表各个输入在网络层中所占的比重;然后对这些权重应用一个函数来确定单个输出,这个函数一般被称为损失函数(代价函数),限定实际输出与目标输出之间的误差。然而,循环神经网络不仅对当前输入分配权重,而且还从对过去时刻输入分配权重。然后,通过使得损失函数最下来动态的调整分配给当前输入和过去输入的权重,这个过程涉及到两个关键概念:梯度下降和反向传播(BPTT)。

    梯度下降

    机器学习中最著名的算法之一就是梯度下降算法。它的主要优点在于它显着的回避了“维数灾难”。什么是“维数灾难”呢,就是说在涉及到向量的计算问题中,随着维数的增加,计算量会呈指数倍增长。这个问题困扰着诸多神经网络系统,因为太多的变量需要计算来达到最小的损失函数。然而,梯度下降算法通过放大多维误差或代价函数的局部最小值来打破维数灾难。这有助于系统调整分配给各个单元的权重值,以使网络变得更加精确。

    通过时间的反向传播

    RNN通过反向推理微调其权重来训练其单元。简单的说,就是根据单元计算出的总输出与目标输出之间的误差,从网络的最终输出端反向逐层回归,利用损失函数的偏导调整每个单元的权重。这就是著名的BP算法,关于BP算法可以看本博主之前的相关博客。而RNN网络使用的是类似的一个版本,称为通过时间的反向传播(BPTT)。该版本扩展了调整过程,包括负责前一时刻(T-1)输入值对应的每个单元的记忆的权重。

    Yikes:梯度消失问题

    简单入门循环神经网络RNN:时间序列数据的首选神经网络

    尽管在梯度下降算法和BPTT的帮助下享有一些初步的成功,但是许多人造神经网络(包括第一代RNNs网络),最终都遭受了严重的挫折——梯度消失问题。什么是梯度消失问题呢,其基本思想其实很简单。首先,来看一个梯度的概念,将梯度视为斜率。在训练深层神经网络的背景中,梯度值越大代表坡度越陡峭,系统能够越快地下滑到终点线并完成训练。但这也是研究者陷入困境的地方——当斜坡太平坦时,无法进行快速的训练。这对于深层网络中的第一层而言特别关键,因为若第一层的梯度值为零,说明没有了调整方向,无法调整相关的权重值来最下化损失函数,这一现象就是“消梯度失”。随着梯度越来越小,训练时间也会越来越长,类似于物理学中的沿直线运动,光滑表面,小球会一直运动下去。

    简单入门循环神经网络RNN:时间序列数据的首选神经网络

    大的突破:长短期记忆(LSTM)

    在九十年代后期,一个重大的突破解决了上述梯度消失问题,给RNN网络发展带来了第二次研究热潮。这种大突破的中心思想是引入了单元长短期记忆(LSTM)。

    简单入门循环神经网络RNN:时间序列数据的首选神经网络

    LSTM的引入给AI领域创造了一个不同的世界。这是由于这些新单元或人造神经元(如RNN的标准短期记忆单元)从一开始就记住了它们的输入。然而,与标准的RNN单元不同,LSTM可以挂载在它们的存储器上,这些存储器具有类似于常规计算机中的存储器寄存器的读/写属性。另外LSTM是模拟的,而不是数字,使得它们的特征可以区分。换句话说,它们的曲线是连续的,可以找到它们的斜坡的陡度。因此,LSTM特别适合于反向传播和梯度下降中所涉及的偏微积分。

    简单入门循环神经网络RNN:时间序列数据的首选神经网络

    总而言之,LSTM不仅可以调整其权重,还可以根据训练的梯度来保留、删除、转换和控制其存储数据的流入和流出。最重要的是,LSTM可以长时间保存重要的错误信息,以使梯度相对陡峭,从而网络的训练时间相对较短。这解决了梯度消失的问题,并大大提高了当今基于LSTM的RNN网络的准确性。由于RNN架构的显著改进,谷歌、苹果及许多其他先进的公司现在正在使用RNN为其业务中心的应用提供推动力。

    总结

    • 循环神经网络(RNN)可以记住其以前的输入,当涉及到连续的、与上下文相关的任务(如语音识别)时,它比其他人造神经网络具有更大的优势。

    • 关于RNN网络的发展历程:第一代RNNs通过反向传播和梯度下降算法达到了纠正错误的能力。但梯度消失问题阻止了RNN的发展;直到1997年,引入了一个基于LSTM的架构后,取得了大的突破。

    • 新的方法有效地将RNN网络中的每个单元转变成一个模拟计算机,大大提高了网络精度。

    作者信息

    Jason Roell:软件工程师,热爱深度学习及其可改变技术的应用。

    Linkedin:http://www.linkedin.com/in/jason-roell-47830817/

    本文由北邮@爱可可-爱生活老师推荐,阿里云云栖社区组织翻译。

    文章原标题《Understanding Recurrent Neural Networks: The Preferred Neural Network for Time-Series Data》,作者:Jason Roel,译者:海棠,审阅:袁虎

    展开全文
  • (8)卷积神经网络如何处理一维时间序列数据

    万次阅读 多人点赞 2019-05-30 11:40:41
    (8)卷积神经网络如何处理一维时间序列数据? 概述 许多文章都关注于二维卷积神经网络(2D CNN)的使用,特别是图像识别。而一维卷积神经网络(1D CNNs)只在一定程度上有所涉及,比如在自然语言处理(NLP)的...

    (8)卷积神经网络如何处理一维时间序列数据?

    概述

    许多文章都关注于二维卷积神经网络(2D CNN)的使用,特别是图像识别。而一维卷积神经网络(1D CNNs)只在一定程度上有所涉及,比如在自然语言处理(NLP)中的应用。目前很少有文章能够提供关于如何构造一维卷积神经网络来一些机器学习问题。

    何时应用 1D CNN?

    CNN 可以很好地识别出数据中的简单模式,然后使用这些简单模式在更高级的层中生成更复杂的模式。当你希望从整体数据集中较短的(固定长度,即kernal size)片段中获得感兴趣特征,并且该特性在该数据片段中的位置不具有高度相关性时,1D CNN 是非常有效的。

    1D CNN 可以很好地应用于传感器数据的时间序列分析(比如陀螺仪或加速度计数据);同样也可以很好地用于分析具有固定长度周期的信号数据(比如音频信号)。此外,它还能应用于自然语言处理的任务(由于单词的接近性可能并不总是一个可训练模式的好指标,因此 LSTM 网络在 NLP 中的应用更有前途)。

    1D CNN 和 2D CNN 之间有什么区别?

    无论是一维、二维还是三维,卷积神经网络(CNNs)都具有相同的特点和相同的处理方法。关键区别在于输入数据的维数以及特征检测器(或滤波器)如何在数据之间滑动:

    https://cdn-images-1.medium.com/max/1200/1*aBN2Ir7y2E-t2AbekOtEIw.png

    问题描述

    在本文中,我们将专注于基于时间片的加速度传感器数据的处理,这些数据来自于用户的腰带式智能手机设备。基于 x、y 和 z 轴的加速度计数据,1D CNN 用来预测用户正在进行的活动类型(比如“步行”、“慢跑”或“站立”)。

    https://cdn-images-1.medium.com/max/1200/1*t2nFJAuI_Jfp0ZyxRpwRQg.png

    来自加速度计数据的时间序列样例

    如何在 Python 中构造一个 1D CNN?

    目前已经有许多得标准 CNN 模型可用。我选择了 Keras 网站 上描述的一个模型,并对它进行了微调,以适应前面描述的问题。下面的图片对构建的模型进行一个高级概述。其中每一层都将会进一步加以解释。

    https://cdn-images-1.medium.com/max/1800/1*Y117iNR_CnBtBh8MWVtUDg.png

    让我们深入到每一层中,看看到底发生了什么:

    • 输入数据: 数据经过预处理后,每条数据记录中包含有 80 个时间片(数据是以 20Hz 的采样频率进行记录的,因此每个时间间隔中就包含有 4 秒的加速度计数据)。在每个时间间隔内,存储加速度计的 x 轴、 y 轴和 z 轴的三个数据。这样就得到了一个 80 x 3 的矩阵。由于我通常是在 iOS 系统中使用神经网络的,所以数据必须平展成长度为 240 的向量后传入神经网络中。网络的第一层必须再将其变形为原始的 80 x 3 的形状。
    • 第一个 1D CNN 层: 第一层定义了高度为 10(也称为卷积核大小)的滤波器(也称为特征检测器)。只有定义了一个滤波器,神经网络才能够在第一层中学习到一个单一的特征。这可能还不够,因此我们会定义 100 个滤波器。这样我们就在网络的第一层中训练得到 100 个不同的特性。第一个神经网络层的输出是一个 71 x 100 的矩阵。输出矩阵的每一列都包含一个滤波器的权值。在定义内核大小并考虑输入矩阵长度的情况下,每个过滤器将包含 71 个权重值。
    • 第二个 1D CNN 层: 第一个 CNN 的输出结果将被输入到第二个 CNN 层中。我们将在这个网络层上再次定义 100 个不同的滤波器进行训练。按照与第一层相同的逻辑,输出矩阵的大小为 62 x 100。
    • 最大值池化层: 为了减少输出的复杂度和防止数据的过拟合,在 CNN 层之后经常会使用池化层。在我们的示例中,我们选择了大小为 3 的池化层。这意味着这个层的输出矩阵的大小只有输入矩阵的三分之一。
    • 第三和第四个 1D CNN 层: 为了学习更高层次的特征,这里又使用了另外两个 1D CNN 层。这两层之后的输出矩阵是一个 2 x 160 的矩阵。
    • 平均值池化层: 多添加一个池化层,以进一步避免过拟合的发生。这次的池化不是取最大值,而是取神经网络中两个权重的平均值。输出矩阵的大小为 1 x 160 。每个特征检测器在神经网络的这一层中只剩下一个权重。
    • Dropout 层: Dropout 层会随机地为网络中的神经元赋值零权重。由于我们选择了 0.5 的比率,则 50% 的神经元将会是零权重的。通过这种操作,网络对数据的微小变化的响应就不那么敏感了。因此,它能够进一步提高对不可见数据处理的准确性。这个层的输出仍然是一个 1 x 160 的矩阵。
    • 使用 Softmax 激活的全连接层: 最后一层将会把长度为 160 的向量降为长度为 6 的向量,因为我们有 6 个类别要进行预测(即 “慢跑”、“坐下”、“走路”、“站立”、“上楼”、“下楼”)。这里的维度下降是通过另一个矩阵乘法来完成的。Softmax 被用作激活函数。它强制神经网络的所有六个输出值的加和为一。因此,输出值将表示这六个类别中的每个类别出现的概率。

    训练和测试该神经网络

    下面是一段用以训练模型的 Python 代码,批大小为 400,其中训练集和验证集的分割比例是 80 比 20。

    该模型在训练数据上的准确率可达 97%。

    根据测试集数据进行测试,其准确率为 92%。

    原文地址:Introduction to 1D Convolutional Neural Networks in Keras for Time Sequences

    译文出自:掘金翻译计划 并有简化。

     

    关注微信公众号《当交通遇上机器学习》,后台回复“数据”即可获取高达175G的四个月的滴滴GPS数据和滴滴订单数据的获取方式,以及从数据处理(Oracle数据库)、模型构建(机器学习)、编程实现(python)到可视化(ArcGIS)等一系列视频教程。

    公众号以交通大数据为主线,专注于人工智能、机器学习、深度学习在道路交通和轨道交通领域内的科研前沿与应用,在交通大数据与机器学习的道路上越走越远!

    https://img-blog.csdnimg.cn/20190514010027398.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p1aXlpc2hpaGVmYW5n,size_16,color_FFFFFF,t_70

    展开全文
  • 数据增强在卷积神经网络中的应用

    千次阅读 2017-09-25 19:31:13
    这一篇博客主要讨论在用卷积神经网络进行图像识别或者目标检测时的数据增强手段,并讨论其作用。 首先整理两篇比较有代表性的论文里的数据增强,再说说我自己工作使用的数据增强,最后讨论这些数据增强的意义(我...
  • 4--网络层:数据平面

    万次阅读 2020-09-01 14:03:53
    网络层:数据平面 网络中每一台主机和路由器都有一个网络层部分。 网络数据平面: 网络每台路由器的功能 决定到达路由器输入链路之一的数据报【网络层分组】,如何转发到该路由器输出链路之一。 传统IP转发:...
  • 时间序列数据的首选神经网络

    万次阅读 2017-07-16 19:54:49
    本文简单介绍循环神经网络RNN的发展过程,分析了梯度下降算法、反向传播及LSTM过程。 随着科学技术的发展以及硬件计算能力的大幅提升,人工智能已经从几十年的幕后工作一下子跃入人们眼帘。人工智能的背后...
  • 《计算机网络技术》第三章课后习题答案(全)
  • 数据在链路层传播相关时间计算

    万次阅读 多人点赞 2016-09-15 21:11:03
    一般这种题目会让我感觉很是煎熬,不知道怎么算。终于打通这类题目,总结到这里。先看这类题目的常见表述:如图所示,图...本篇文章会说到不忽略也不影响宏观的数据传递时间,只在最后一个分组稍有影响。根据拓扑图,求
  • 当你希望从整体数据集中较短的(固定长度)片段获得感兴趣特征,并且该特性在该数据片段的位置不具有高度相关性时,1D CNN 是非常有效的。 1D CNN 可以很好地应用于传感器数据时间序列分析(比如陀螺仪或加...
  • 前面两篇文章介绍的是卷积神经网络处理二维数据,那么对于应用更多的一维时间序列数据,该如何用卷积神经网络来处理呢?概述许多文章都关注于二维卷积神经网络(2D CNN)的使用,特别是图像识别...
  • 网络工程师考试考察知识点繁多,形式多样。如何有效把握每种考察形式,拿到相应分数?这是历年考生挠头的事情。本系列课程紧抓考生痛点,对网工考试重点题型分门别类讲解,反复强化训练,助力考生查缺补漏,拿到...
  • 在前面两个神经网络的运用例子,我们主要使用神经网络对输入数据预测出一个离散性结果,也就是预测的结果都是0,1,要不就是1到46任意一个数,这些结果都是离散化,相互间不兼容。我们这节要用神经网络对输入...
  • 计算机网络(第7版) - 第三章 数据链路层 - 习题

    万次阅读 多人点赞 2019-07-14 18:57:11
    第三章、数据链路层 本章的习题 数据链路(即逻辑链路)与链路(即物理链路)有何区别? “电路接通了”与”数据链路接通了”的区别何在? ① 数据链路与链路的区别在于数据链路除了链路外,还必须有一些必要的通信协议来...
  • CAN总线原理简介

    万次阅读 多人点赞 2019-09-23 16:43:11
    是一种串行通信协议,能有效的支持具有很高安全等级的分布实时控制 应用范围十分广泛,从高速网络到低价位的多路接线都可以使用CAN 主要运用于汽车电子航天等行业,使用CAN连接发动机的控制单元等汽车部件 具有可靠...
  •  对3G移动通信系统的网络安全问题进行了探讨,国内开展的4G系统及工程的建设已经开始安全性改造的工程,此举具有特别重要的意义。  安全性问题自移动通信技术问世以来就已产生。第一代移动通信的模拟蜂窝移动通信...
  • 《计算机网络技术》第二章课后习题答案(全)

    万次阅读 多人点赞 2019-08-02 22:02:34
    《计算机网络技术》第二章课后习题答案(全)
  • BP神经网络数据分类

    万次阅读 2018-11-06 22:17:38
    在前向传播的过程,输入信号从输入层经隐含层处理,直至输出层。每一层的神经元状态只影响下一层神经元状态。如果输出层得不到期望输出,则转入反向传播,根据预测误差调整网络权值和阈值,从而使BP神经网络预测...
  • 入门学习Linux常用必会60个命令实例详解doc/txt

    千次下载 热门讨论 2011-06-09 00:08:45
    因为Linux与Windows不同,其后台运行着许多进程,所以强制关机可能会导致进程的数据丢失,使系统处于不稳定的状态,甚至在有的系统会损坏硬件设备(硬盘)。在系统关机前使用 shutdown命令,系统管理员会通知所有...
  • Python网络爬虫数据采集实战:基础知识

    万次阅读 多人点赞 2020-03-01 21:58:25
    ​今天开始更新爬虫系列笔记,此系列旨在总结回顾常用爬虫技巧以及给大家在日常使用提供较为完整的技术参考。在进行正式的爬虫之前有必要熟悉以下爬虫的基本概念,例如爬虫的基本原理、网络通信原理以及Web三件套...
  • 网络数据的K-means聚类算法

    千次阅读 2020-10-05 02:16:47
    但是在网络技术迅猛发达的今天,数据库数据量更是以惊人的速度发展,就形成了数据量很大而对于有用的信息的发掘和利用成为一大难题的现象,也成为现在研究的热点问题。 如何从激增的数据背后找到有价值的信息,...
  • 什么是时间序列数据

    万次阅读 2018-10-24 16:47:00
    用描述性的语言来解释什么是时序数据,简单的说,就是这类数据描述了某个被测量的主体在一个时间范围内的每个时间点上的测量值。   对时序数据进行建模的话,会包含三个重要部分,分别是:主体,时间点和测量值。....
  • 基于Python的网络爬虫与数据可视化分析

    万次阅读 多人点赞 2020-07-26 10:43:12
    在互联网技术迅速发展的背景下,网络数据呈现出爆炸式增长,对数据的应用需要在大量数据记性挖掘搜索,搜索引擎结合这一需求就应运而生,不只是搜索数据信息,还要帮助人们找到需要的结果被人们所应用。...
  • 在梳理CNN经典模型的过程,我理解到其实经典模型演进的很多创新点都与改善模型计算复杂度紧密相关,因此今天就让我们对卷积神经网络的复杂度分析简单总结一下下。 本文主要关注的是针对模型本身的复杂度分析...
  • 计算机网络技术期末个人总结

    千次阅读 多人点赞 2019-04-26 14:56:43
    计算机网络技术复习 一、 计算机网络基础知识 了解: 计算机网络(Internet)的发展 面向终端的计算机网络(单个计算机,直接连接主机) ... 分组交换网络(实现了... 资源子网:负责数据距离的主计算机或终端 ...
  • 七款非常好用的电脑数据恢复软件推荐

    万次阅读 多人点赞 2018-11-03 19:54:02
    目前网络上有非常多的数据恢复软件供用户选择,但不同版本的数据恢复软件使用功能不一,且免费的版本较少,本文为大家推荐介绍了几款比较好用的数据恢复软件,需要的朋友可以前来阅读下载。 数据恢复软件哪个比较...
  • 传统的时间序列预测方法侧重于具有线性关系的单变量数据以及固定和手动诊断的时间依赖性。 神经网络增加了学习可能的噪声和非线性关系的能力,其中任意定义但固定数量的输入和输出支持多变量和多步预测。 递归神经...
  • NAS服务器和文件服务器区别

    万次阅读 2019-10-12 11:08:49
    网络附加存储(NetworkAttached Server,缩写为NAS)将储存设备连接到现有网络上,提供数据和文件服务。与客户通信通常采用NFS、CIFS协议。 NAS服务器和文件服务器的对比 文件服务器主要任务则是为网络上的计...
  • TCN-时间卷积网络

    万次阅读 多人点赞 2019-06-03 14:42:01
    二、时序卷积神经网络 2.1 因果卷积(Causal Convolution) 2.2 膨胀卷积(Dilated Convolution) 2.3 残差链接(Residual Connections) 三、讨论和总结 1. TCN的优点 2. TCN的缺点 参考论文:An Empirical ...
  • NBIOT模块学习总结

    万次阅读 多人点赞 2018-08-15 10:58:15
    一、NBIOT网络架构 这里使用华为开发者社区提供的信息来看NB-IoT端到端架构全貌。 1)UE(终端)与eNB/EPC(基站)之间:基于NB-IoT技术进行通信,分为AS和NAS,这部分基本完全由芯片实现。 2)UE与IoT云平台...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 628,938
精华内容 251,575
关键字:

网络中数据的有效时间