精华内容
下载资源
问答
  • 做动作的灵活性
    千次阅读
    2021-01-03 21:25:00

    人体动作捕捉技术综述

    摘  要:本文综述了目前动作捕捉领域几大主流解决方案,并重点挑选出目前在专业领域应用最广泛的光学式捕捉以及惯性式捕捉进行了原理的阐述和分析。

     

    关键词:动作捕捉;传感器;加速度

     

    1 引言

    近几年来,在促进影视特效和动画制作发展的同时,运动捕捉技术的稳定性、操作效率、应用弹性以及降低系统成本等得到了迅速提高。如今的运动捕捉技术可以迅速记录人体的动作,进行延时分析或多次回放,通过被捕捉的信息,简单的可以生成某一时刻人体的空间位置,复杂的则可以计算出任何面部或躯干肌肉的细微变形,然后很直观的将人体的真实动作匹配到我们所设计的动作角色上去。

    1915年动画师MaxFleischer发明的“动态影像描绘(Rotoscoping)”技术被认为是动作捕捉的先驱,该技术主要原理是将实际拍摄出的动作影像作为动画描绘的底样,然后动画师以此为基础逐帧描绘出所需的动作。第一部使用动态影像描摹的长片动画是迪斯尼1937年的《白雪公主与七个小矮人》。从1970年开始,随着计算机的发展,动画师开始使用计算机来制作动画人物。在纽约大学计算机图形实验室,艾伦博士使用一面半镀银的镜子将一段真实演员跳舞的录像带添加到计算机的屏幕上,利用它来对计算机制作的动画模型进行定位,使计算机制作出的舞蹈少女生成和真人相仿的动作姿势,计算机把这些姿态作为关键帧,然后计算生成一段平滑的动作[[1]][[2]]。

    随后逐渐衍生出了其它的动作捕捉技术。1999年AMenach将动作捕捉定义为“在一定空间范围内通过对特殊标记点的跟踪来记录捕捉对象运动信息,然后将其转换为可使用数学方式进行表达的运动的过程”[[3]]。

    2 动作捕捉技术原理

    从技术的角度来说,运动捕捉的实质就是要测量,跟踪,记录物体在三维空间中的运动轨迹.典型的运动捕捉设备一般由以下几个部分组成:

    传感器:传感器是固定在运动物体特定部位的跟踪装置,它将向系统提供运动物体运动的位置信息,会随着捕捉的细致程度确定跟踪器的数目。

    信号捕捉:将运动数据从信号捕捉设备快速准确地传送到计算机系统。它们负责位置信号的捕捉。

    数据传输:将大量的运动数据从信号捕捉设备快速准确地传输到计算机系统进行处理。

    数据处理:经过系统捕捉到的数据需要修正,处理后还要有三维模型结合才能完成。

    3 动作捕捉技术的分类及其优缺点

    目前主流的动作捕捉技术可分为机械式、声学式、电磁式、光学式以及惯性导航式5类,每项技术也有各自的特长与应用方向,一般从以下几个方面进行评价:定位精度,实时性,使用方便程度,可捕捉运动范围大小,抗干扰性,多目标捕捉能力以及与相应领域专业分析软件连接程度。

    3.1 机械式运动捕捉

    机械式运动捕捉依靠机械装置来跟踪和测量运动轨迹。典型的系统由多个关节和刚性连杆组成,在可转动的关节中装有角度传感器,可以测得关节转动角度的变化情况。装置运动时,根据角度传感器所测得的角度变化和连杆的长度,可以得出杆件末端点在空间中的位置和运动轨迹。实际上,装置上任何一点的运动轨迹都可以求出,刚性连杆也可以换成长度可变的伸缩杆,用位移传感器测量其长度的变化。

    早期的一种机械式运动捕捉装置是用带角度传感器的关节和连杆构成一个" 可调姿态的数字模型 " ,其形状可以模拟人体,也可以模拟其他动物或物体。使用者可根据剧情的需要调整模型的姿态,然后锁定。角度传感器测量并记录关节的转动角度,依据这些角度和模型的机械尺寸,可计算出模型的姿态,并将这些姿态数据传给动画软件,使其中的角色模型也做出一样的姿态。这是一种较早出现的运动捕捉装置,但直到现在仍有一定的市场。

    机械式运动捕捉的一种应用形式是将欲捕捉的运动物体与机械结构相连,物体运动带动机械装置,从而被传感器实时记录下来。

    这种方法的优点是成本低,精度也较高,可以做到实时测量,还可容许多个角色同时表演。但其缺点也非常明显,主要是使用起来非常不方便,机械结构对表演者的动作阻碍和限制很大。特别是很难用于连续动作的实时捕捉,主要用于静态造型捕捉和关键帧的确定。

    3.2 声学式运动捕捉

    常用的声学式运动捕捉装置由发送器、接收器和处理单元组成。发送器是一个固定的超声波发生器,接收器一般由三角形排列的三个超声探头组成。通过测量声波从发送器到接收器的时间或者相位差,系统可以计算并确定接收器的位置和方向。

    这类装置成本较低,但对运动的捕捉有较大延迟和滞后,实时性较差,精度一般不很高,声源和接收器间不能有大的遮挡物体,受噪声和多次反射等干扰较大。由于空气中声波的速度与气压、湿度、温度有关,所以还必须在算法中做出相应的补偿[[4]]。

    3.3 电磁式运动捕捉

    电磁式运动捕捉系统是比较常用的运动捕捉设备。一般由发射源、接收传感器和数据处理单元组成。发射源在空间产生按一定时空规律分布的电磁场;接收传感器(通常有10 ~ 20 个)安置在表演者身体的关键位置,随着表演者的动作在电磁场中运动, 通过电缆或无线方式与数据处理单元相连。

    表演者在电磁场内表演时,接收传感器将接收到的信号通过电缆传送给处理单元,根据这些信号可以解算出每个传感器的空间位置和方向。 电磁式运动捕捉的优点首先在于它记录的是六维信息,即不仅能得到空间位置,还能得到方向信息,这一点对某些特殊的应用场合很有价值。其次是速度快,实时性好,表演者表演时,动画系统中的角色模型可以同时反应,便于排演、调整和修改。装置的定标比较简单,技术较成熟,成本相对低廉。

    它的缺点在于对环境要求严格,在表演场地附近不能有金属物品,否则会造成电磁场畸变,影响精度。系统的允许表演范围比光学式要小,特别是电缆对表演者的活动限制比较大,对于比较剧烈的运动和表演则不适用。

    3.4 光学式运动捕捉

    光学式运动捕捉通过对目标上特定光点的监视和跟踪来完成运动捕捉的任务。常见的光学式运动捕捉大多基于计算机视觉原理。从理论上说,对于空间中的一个点,只要它能同时为两部相机所见,则根据同一时刻两部相机所拍摄的图像和相机参数,可以确定这一时刻该点在空间中的位置。当相机以足够高的速率连续拍摄时,从图像序列中就可以得到该点的运动轨迹。

    光学式运动捕捉的优点是表演者活动范围大,无电缆、机械装置的限制,表演者可以自由地表演,使用很方便。其采样速率较高,可以满足多数高速运动测量的需要。

    这种方法的缺点是系统价格昂贵,它可以捕捉实时运动,但后处理的工作量较大[[5]]。

    3.5 惯性导航式动作捕捉

    惯性导航式动作捕捉是在表演者的重要节点佩戴集成加速度计,陀螺仪和磁力计等惯性传感器设备,传感器设备捕捉表演者的运动数据,包括身体部位的姿态、方位等信息,再将这些数据通过数据传输设备传输到数据处理设备中,经过数据修正、处理后,最终建立起三维模型,并使得三维模型随着运动物体真正、自然地运动起来。

    惯性式动作捕捉优点是,采集到的信号量少,便于实时完成姿态跟踪任务,解算得到的姿态信息范围大、灵敏度高、动态性能好;对捕捉环境适应性高,不受光照、背景等外界环境干扰。而且使用方便,设备小巧轻便,便于佩戴,成本相对低廉。

    缺点是系统采用MEMS三轴陀螺仪、三轴加速度计和三轴磁力计组成的惯性测量单元(IMU,Inertial Measurement Unit)来测量传感器的运动参数。而由IMU所测得的传感器运动参数有严重噪声干扰,MEMS器件又存在明显的零偏和漂移。需要通过后期对数据的处理解决无法长时间地对人体姿态进行精确的跟踪。

    4 两种典型的动作捕捉系统实现原理浅析

    4.1 光学式动作捕捉

    光学式动作捕捉分为无标记式光学动作捕捉和标记式光学动作捕捉。

    无标记点式光学动作捕捉原理大致有三种,第一种是基于普通视频图像的运动捕捉,通过二维图像人形检测提取关节点在二维图像中的坐标,再根据多相机视觉三维测量计算关节的三维空间坐标。由于普通图像信息冗杂,这种计算通常鲁棒性较差,速度很慢,实时性不好,且关节缺乏定量信息参照,计算误差较大,这类技术目前多处于实验室研究阶段;第二种是基于主动热源照射分离前后景信息的红外相机图像的运动捕捉,即所谓的热能式动作捕捉,原理与第一种类似,只是经过热光源照射后,图像前景和背景分离使得人形检测速度大幅提升,提升了三维重建的鲁棒性和计算速率;第三种是三维深度信息的运动捕捉,系统基于结构光编码投射实时获取视场内物体的三维深度信息,根据三维形貌进行人形检测,提取关节运动轨迹。无标记点式光学动作捕捉技术普遍存在关节定位计算误差大、缺少骨骼自旋运动自由度、层级骨骼运动误差累积导致动作变形等问题。

    标记点式光学动作捕捉系统一般由光学标识点(Markers)、动作捕捉相机、信号传输设备以及数据处理工作站组成,人们常称的光学式动作捕捉系统通常是指这类标记点式动作捕捉系统。在运动物体关键部位(如人体的关节处等)粘贴Marker点,多个动作捕捉相机从不同角度实时探测Marker点,数据实时传输至数据处理工作站,根据三角测量原理精确额计算Marker点的空间坐标,再从生物运动学原理出发解算出骨骼的6自由度运动。

    根据标记点发光技术不同还分为主动式和被动式光学动作捕捉系统。主动式光学动作捕捉系统的Marker点由LED组成,LED粘贴于人体各个主要关节部位,LED之间通过线缆连接,由绑在人体表面的电源装置供电,可在一定程度上进行室外动作捕捉,LED受脉冲信号控制明暗,以此对LED进行时域编码识别,识别鲁棒性好,有较高的跟踪准确率;缺点是存在捕捉精度不够高,容易因遮挡引起数据缺失,受原理局限的运动变形导致不利于快速动作的捕捉等问题。

    被动式光学动作捕捉系统,也称反射式光学动作捕捉系统,其Marker点通常是一种高亮回归式反光球,粘贴于人体各主要关节部位,由动作捕捉镜头上发出的LED照射光经反光球反射至动捕相机,进行Marker的检测和空间定位。其主要优点是技术成熟,精度高、采样率高、动作捕捉准确,表演和使用灵活快捷,Marker点可以很低成本地随意增加和布置,适用范围很广;缺点是受视场内阳光干扰不适于室外应用,Marker点容易混淆需要在后处理中进行人工干预的数据清洗,工作量大。

    4.2 惯性式动作捕捉

    惯性式虽然后于光学式出现,但以其超低廉成本和简便成熟的处理流程,以及完全实时的数据计算和回传机制,成为了更加炙手可热的技术。

    惯性式动作捕捉中加速度计是用来检测传感器受到的加速度的大小和方向的,它通过测量组件在某个轴向的受力情况来得到结果,表现形式为轴向的加速度大小和方向(XYZ),但用来测量设备相对于地面的摆放姿势,则精确度不高,该缺陷可以通过陀螺仪得到补偿。

    陀螺仪的工作原理是通过测量三维坐标系内陀螺转子的垂直轴与设备之间的夹角,并计算角速度,通过夹角和角速度来判别物体在三维空间的运动状态。它的强项在于测量设备自身的旋转运动,但不能确定设备的方位。而又刚好磁力计可以弥补这一缺陷,它的强项在于定位设备的方位,可以测量出当前设备与东南西北四个方向上的夹角。

    在动作捕捉系统中,陀螺仪传感器用于处理旋转运动,加速计用来处理直线运动,磁力计用来处理方向。通俗易懂地讲——陀螺仪知道“我们是否转了身”,加速计知道“我们运动多长距离”,而磁力计则知道“我们的运动方向”。在动作捕捉系统中三种传感器充分利用各自的特长,来跟踪表演者的运动。

    为了解决惯性式动作捕捉系统无法长时间对人体姿态进行精确的跟踪,首先对IMU所测得的传感器运动数据做预处理,滤掉原始惯性数据中掺杂的噪声干扰;然后不断地进行标定和校准,即不断地对各惯性器件进行相应的补偿以解决MEMS器件的零偏和漂移,提高其数据的精确度和可靠程度。接下来在进行姿态解算,并利用姿态参考系统验证姿态角度数据的精确度,最终实现整个惯性式动作捕捉。

    另一种解决方法式则采用IK+(InverseKinematics)室内定位技术做主动作捕捉算法,使用惯性式动作捕捉做辅助算法。这套方案中利用室内定位技术对惯性式动作捕捉技术做实时校准,避免了不断校准的麻烦。

    在人体分层结构中,关节和骨骼实际构成了运动链,比如肩关节、肘关节、腕关节及其子骨骼就是一条运动链,是整个人体运动链上的一条分支,身体即是利用运动链对运动进行控制。运动分为正向运动和反向运动。已知链上各个关节旋转角,求各关节的位置信息和末端效应器(endeffector)的位置信息,这是正向运动学的问题;而己知末端效应器的位置信息,反求其祖先关节的旋转角和位置,这是就是反向运动学。

    反向运动学根据决定运动的几个主关节最终角度确定整个骨架的运动,通常用于环节物体,由不同运动约束的关节连接成环节构成的分级结构骨架。分级结构骨架由许多采用分级方式组的环节链构成,包括分级结构关节或链,运动约束和效应器,由效应器带动所有部分同时运动。但必须遵循特定的等级关系,以便在变换时阻止各个部件向不同方向散开。如:投球动作,只规定出球的起始位置、终了位置和路径,手臂等即跟随关节的转动可按反向运动学自动算出。反向运动学方法在一定程度上减轻了正向运动学方法的繁琐工作,是生成逼真关节运动的最好方法之一。

    如果己知末端效应器的位置信息,反求其祖先关节(也称父关节)的旋转角和位置,这是就是反向运动学。也就是我们通过室内定位技术,获取末端效应器的位置信息,然后利用IK算法推算出祖先关节的旋转角和位置,从而知道运动者的运动信息,再利用运动信息实现实时动作跟踪显示。

    这里所用的室内定位技术是激光定位技术,通过墙上的激光发射器扫描佩戴者佩戴的机身上的位置追踪传感器(即IK算法中的末端效应器),从而获得位置和方向信息。具体来说,这种室内定位技术是靠激光和光敏传感器来确定运动物体的位置。若干个激光发射器会被安置在对角,形成一个矩形区域,这个区域可以根据实际空间大小进行调整。每个激光发射器内设计有两个扫描模块,分别在水平和垂直方向轮流对定位空间发射横竖激光扫描定位空间。运动者身上有光敏传感器,通过光敏传感器接收到激光的时间计算出光敏传感器的准确位置[[6]]。

    通过激光室内定位技术获取传感器的精确位置后,即可利用IK算法反向推算出祖先关节的旋转角和位置,从而知道运动者的运动信息。但是由于激光定位过程中可能存在遮挡问题,比如下蹲、拥抱、扭打等动作。于是应用惯性传感器做补充跟踪,即当出现遮挡情况时, 室内定位技术+IK算法相结合的动作捕捉技术无法完全准确地实现,这个时候利用惯性式动作捕捉技术可做补充。反过来可以利用室内定位技术对惯性式动作捕捉技术做实时校准,不需要另行校准,从而解决遮挡问题的同时,也避免了惯性式动作捕捉无法长时间精确工作的弊端。

    5 结束语

    文章综述目前几大流行的动作捕捉技术并对其相关发展情况、实现方式和优缺点进行了比较分析,并着重的选择了目前专业捕捉最常使用的光学式捕捉和价格低廉的惯性式动作捕捉两套方案进行了实现原理上的分析。相信随着科技水平和相关领域的不断发展,动作捕捉技术会得到越来越深入的研究和越来越广泛的应用。

    参考文献

     

    [[1]] 黄波士,陈福民. 人体动作捕捉及运动控制的研究[J].计算机工程与应用, 2005,7.

    [[2]] 冯远淑,陈福民. 基于动作捕捉的计算机动画探讨与实现[J].同济大学学报(自然科学版),2004,9.

    [[3]] Menache A. Understanding Motion Capture for Computer Animation andvideo Games[M].Morgan Kaufmann,1990,10.

    [[4]] 殷  俊, 张  凯, 崔  晋, 郑  洁. 游戏动画中的动作捕捉[J].江苏大学学报(自然科学版),2006.

    [[5]] 苏惠童. 动作捕捉标记摆放方案基本原理及运用[J]. 影视技术, 2005,10.

    [[6]] 黄海明,刘金刚. 一种精确而快速的关节中心判定算法[J]. 系统仿真学报,2005.

    更多相关内容
  • 摘要:认知和行为的灵活性允许思想和行为的适当调整,以响应不断变化的环境需求。在对动物进行药理学和损伤研究的同时,利用非侵入性神经成像和行为方法对人类的大脑机制进行了检查。这项工作已经确定了包括侧脑区、...

    《本文同步发布于“脑之说”微信公众号,欢迎搜索关注~~》
    摘要:认知和行为的灵活性允许思想和行为的适当调整,以响应不断变化的环境需求。在对动物进行药理学和损伤研究的同时,利用非侵入性神经成像和行为方法对人类的大脑机制进行了检查。这项工作已经确定了包括侧脑区、眶额顶叶区、中扣岛区和额纹状体区在内的大规模功能性大脑网络,这些区域在整个生命周期中都支持灵活性。在早期的神经发育障碍、青春期出现的临床症状和老年痴呆症中,灵活性可能会受到损害。我们严格评估通过认知训练、身体活动和双语体验来增强灵活性的证据。
    1.灵活性的成分
    认知和行为灵活性属于更广泛的执行功能,或控制目标导向行为所必需的过程。旨在系统描述心理过程的认知地图集(Cognitive Atlas)等项目将灵活性划分为执行和认知控制。关于执行功能下的不同过程是否可以被认为是统一的问题,我们使用潜在变量分析来检验执行功能的统一或多样性的程度。在一篇有影响力的文章中,执行功能被计算成三个潜在变量,被描述为心理设置转移(“转移”)、工作记忆中的信息更新和监控(“更新”)和强势反应抑制(“抑制”),它们彼此之间关联不大,但明显可分离。这个框架帮助解决了任务不纯的问题——因为执行功能必须通过操作其他认知过程来表现自己,任何执行任务都强烈暗示了与目标执行功能不直接相关的其他过程。当我们使用“灵活性”这个词时,我们的意思是调用执行功能的方面,这通常与移动有关。
    与此相关,越来越多的关于灵活性的文献来自于对工作记忆门槛的研究,也就是在工作记忆中,相关的背景信息被更新,而分心的信息被排除在外的过程。
    认知和行为灵活性在影响早期生活的临床疾病中有所体现,如自闭症谱系障碍和注意缺陷/多动障碍:青春期出现的症状,包括精神分裂症和情绪障碍:和老年痴呆症。虽然这些病症中的许多都有灵活性缺陷,但共病症状的异质性、严重性和模式使开发增强灵活性的治疗策略的努力变得复杂。本综述的范围将跨越这些临床考虑,旨在确定导致跨诊断不灵活的常见认知、药理学和神经生物学因素。最后,我们批判性地评估灵活性训练的潜在途径,并讨论转化神经科学的未来方向。
    2.柔性神经机制
    认知灵活性遵循一个从童年早期到青春期和成年期的延长的倒U型发展轨迹,在生命的第二个和第三个十年达到顶峰,在生命的后期下降。在这里,我们将总结单侧和眶额顶、扣带回中部-脑岛和额外侧功能性脑网络在整个生命周期中支持灵活性的作用。将描述有助于灵活性发展的认知过程和神经特性,其在年轻成年期的成熟和随年龄增长的衰退。
    2.1 人类的认知灵活性
    在认知灵活性的神经基础的研究中,参与者在使用功能磁共振成像监测其大脑活动的同时,执行任务转换或设置转换范例。重要的是要记住,基于实验室的测量和神经心理学測试具有很高的结构效度,但可能不总是与真实世界的灵活行为相一致,如使用自我报告或线人报告问卷所索引的,这些问卷通常具有更大的生态有效性。执行功能的行为评定量表(简表)是一种适用于儿童和成人的评估工具,包括对个人转换或转变、容忍变化、灵活解决问题转移注意力和将注意力从一个话题转移到另一个话题的能力的测量。成人参与者以自我报告的形式完成简报,家长和教师可以完成这一评估,以评估学龄儿童。包括评估儿童和成人灵活性的测试工具包括WCST,维度变化卡片分类,德里斯一卡普兰执行功能系统( D-KEFSI), NEPSY-1和剑桥神经心理测试自动组内-外维度集移位任务。
    认知灵活性很难孤立,因为它需要执行功能的几个方面的融合。Neurosynth是一个综合人类神经影像研究结果的工具,使用文本挖掘和自动分析产生神经激活模式和认知状态之间的映射将描述包括执行功能在内的潜在变量的术语输入神经系统揭示了与这些相互关联的认知结构相关的脑地图是高度重叠的(图1a).
    大量关于使用任务转换和集移范式的人类功能性神经影像学研究的文献指出,侧额-顶叶网络(LFPN)和中央扣带回-岛叶网络(M-CIN)在支持执行功能和认知灵活性方面起着中心作用。左FPN也被称为执行控制网络,包括外侧前额叶皮质(PFCs; 背外侧PFC(d1PFC)、腹外侧PC和额下连接(IFJ))、顶下小叶(IPL)、后下颞叶和部分扣带回。M-CIN有时被称为突显网络或扣带回听神经网络,包括双侧前岛叶(AI)、前中扣带回皮质和皮质下节点,包括杏仁核和丘脑。虽然全脑激活模式揭示了努力控制和执行功能如何广泛地参与这些系统,但评估任务调节网络连接的方法开始揭示特定的实验操作如何与大脑网络区域之间的关系相关联。观察到支持认知灵活性的功能网络拓扑中存在相当大的个体差异,并且所选大脑区域之间的功能连接强度与任务表现的个体差异有关(图1b)。这一发现与早期在IFJ证明一般-领域任务转换激活的工作相一致,IFJ是一个在元分析中共激活的脑区,并且与AI,dlPFC,IPL有静息态功能连接。
    图片

    图1 人脑中灵活性的核心认知处理和脑网络连接
    2.2 动物的行为灵活性
    对猴行为灵活性的评估表明,患有横向PFC病变的动物在逆转学习或改变行为反应以适应先前奖励的替代方案方面没有受到损害。然而,这些猴子在外维度转移方面受到了损害。患有眶额皮质(OFC)损伤的猴子表现出相反的行为:反向学习能力受损,但在外维度转移方面没有缺陷。这些发现已经导致了这样的提议,即外侧PFC对于抽象知觉维度之间的反应转移是必要的,而OFC和相关的皮质-纹状体回路对于与强化有特定关联的不同刺激之间的反应转移是必要的。类似的发现在啮齿动物参与反转学习模式。大鼠的OFC失活由于坚持先前学习的选择而损害了反向学习。在反向学习过程中,小鼠OFC的神经元对规则转换做出显著和短暂的反应。背内侧纹状体失活会损害反向学习和策略转換,导致一旦选择了新的选择模式就无法维持。背内侧纹状体被认为与多个前额叶子区域动态互动,产生促进行为灵活性的新策略。
    对人类来说,反向学习比外维度转移更容易实现,但是使用功能磁共振成像已经观察到了与动物相似的神经解剖学。神经影像学还揭示了前扣带回背侧皮质和前额叶下回在抑制先前学习反应和反向学习期间反应抑制中的作用。
    2.3 支持灵活性的脑动态
    大脑动力学是认知和行为的复杂形式的基础。最近的工作研究了脑区之间功能耦合的时变或动态变化。滑窗功能连接分析可被用于量化脑动态测度,包括持续时间,出现频率和转移(图2a,b)。用这些方法,发现全脑动力学的具体模式与认知灵活性的估计水平有关联。在WCST测试中得分较高的人表现出更频繁出现的脑状态,而较少出现的脑状态的时段与低警惕性和觉醒相关(图2c)。特定网络之间的动态模式也与灵活的行为联系在一起。M-CIN模型的时变功能联系预测了认知灵活性的个体差异。默认模式或内侧额顶网络(M-FPN)和LFPN之间的动力学也与认知灵活性有关。一项使用隐马尔可夫模型的研究表明,个体在M-FPN和L-FPN功能连接定征的脑状态中花的时间与认知灵活性的个体差异有关。考虑解剖连接和激活动力学的多模态研究发现,脑白质网络和功能信号之间更大的一致性与更大的认知灵活性相关。
    典型神经成年人大脑动力学和灵活行为之间的新联系为理解这些过程在发育和衰老过程中是如何受到影响的奠定了基础。神经灵活性,即大脑区域在不同功能模块之间变化的频率,最近被证明在生命的头两年随着年龄的增长而增加。在寿命的另一端,在认知测试组上表现良好的老年人表现出以整体一致性为特征的大脑状态,而表现不佳的老年人表现出在动态大脑状态之间切换的频率更高。大脑状态之间转换的容易程度区分了年轻人和老年人,并且与D-KEFS索引的执行功能有进一步的联系。在年轻人中,执行功能能力与M-CIN的大脑动力学效率相关,而在老年人中,这种能力与在M-FPN的效率相关。高级关联皮层中的大脑区域表现出高度的功能灵活性,在整个生命周期中,在额叶和顶叶区域观察到与年龄相关的可分离的变化。最近的几项研究进步显示了任务表现的个体差异与动态大脑组织模式的关系。总的来说,这种新兴的文献与这样一种观点是一致的,即大脑根据变化的需求灵活地重新配置自己的能力可能是灵活行为中个体差异的基础。
    图片

    图2 灵活性中个体差异的脑动态
    2.4 大脑的可变性和灵活性
    神经信号的可变性,虽然最初被概念化为噪声,最近与认知能力联系在起。在儿童期和成年中期之间,脑信号变异性随着年龄的增长而增加,与反应时间变异性呈负相关,与准确性呈正相关。与休息相比,在年轻和表现较快的成年人中,任务执行期间的大脑变异性似乎增加了,而在不同的实验条件下,年长和表现较慢的成年人的大脑变异性差异较小。这些发现建立在证明血氧水平依赖性(BOLD)变异性比BOLD平均值更能预测年龄的基础上。在6至85岁的年龄范围内,BOLD信号的变异性在大脑的大部分区域呈线性下降,但AI除外,AI是参与灵活性的一个关键的M-CIN节点,它显示了相反的模式(图3)。根据功能激活研究的发现,已经表明IFJ变异性的增加与认知灵活性仼务的更好表现有关。年龄在59-73岁之间的老年人表现出上调的脑信号可变性,表现出更高水平的任务表现建议是,更高的可变性可能反映了更广泛的亚稳态和它们之间的转换,以实现最佳反应。
    图片

    图3 量化脑信号变异性
    2.5 临床条件中的灵活性
    广泛的执行功能损伤,特别是灵活性损伤,可以在多种精神病理学形式中观察到,并且可以作为诊断中间表型。所有DSM-V(睡眠—觉醒障碍可能除外)包括执行功能领域受损的临床状况:这就提出了灵活性的构造在多大程度上具有鉴别价值的问题。在几个已经记录了灵活性缺陷的疾病中,即使在基本感知和运动任务的表现保持不变的情况下,也可以观察到这些损伤。在早期发病的神经发育性精神疾病(如自闭症和多动症)以及青春期出现的精神疾病(包括情绪障碍、强迫症和精神分裂症)中观察到灵活性缺陷。老年痴呆症,包括帕金森病和阿尔茨海默病,也以僵硬和认知不灵活为特征。在整个生命周期观察到的基于灵活性损伤变化的常见的和不同的神经机制将在这节被讨论。
    2.5.1发育障碍的灵活性
    自闭症和多动症是两种常见的异质性神经发育障碍,常在出生后的前5年诊的。在有自闭症或多动症的儿童中,执行功能和灵活性缺陷经常在实室设置和日常活动中观察到。尽管患有自闭症、多动症或同时患有自闭症和多动症的儿童都可能表现出灵活性缺陷,但这些问题的性质和严重程度在这些疾病之间甚至内部可能有所不同。发育精神病理学的早期工作以及最近的荟萃分析证实了广泛的跨领域执行功能障碍以及更具体的灵活性损伤,通常用WCST评估。限制性和重复性行为被认为是自闭症障碍的核心缺陷,可能包括刻板动作、对相同性的坚持以及限制或坚持的兴趣。房性早搏的严重程度与房性早搏患者认知不灵活性的测量有关。对RRBs背后的神经回路的研究全面地指出了前介系统在介导这些行为中的关键作用。最近一篇关于自闭症认知和行为灵活性的神经机制的综述还指出了非典型的LFFN和MCIN激活模式对任务转换和集合移位的反应。
    自闭症障碍的特点是难以灵活地适应日常生活的变化,但多动症儿童难以集中注意力,并且在不同时刻的行为表现出高度的可变性。多动症的诊断标准包括注意力不集中、多动和冲动,这可以被认为是分散注意力或过于灵活的表现。尽管如此,这个故事并不像“自闭症患者灵活性受损”和“多动症患者灵活性增强”那么简单,因为这两种疾病有很高的共同发病率使得灵活性受损和注意力不集中的组合可以在同一个人身上表现出来。一些报告称,执行功能障碍在多动症中比在自闭症中更普遍、更严重。然而以灵活性为目标的研究表明,自闭症儿童在WCST的表现比多动症儿童差。年龄相关的执行功能改善在自闭症患者中比在多动症患者中更明显。尽管并非所有早期诊断为自闭症的儿童都表现出执行功能障碍,绝大多数患有自闭症和多动症的儿童确实表现出执行功能障碍。
    只有少数神经影像学研究同时检查了自闭症和多动症。一项研究发现,在患有这些疾病的儿童中,存在内在功能连接中心性的共享和不同模式的证据。另一份报告称,没有证据表明诊断组之间的功能性网络连接存在群体差异。尽管假设自闭症和多动症中认知不灵活的常见行为表现应该反映在共享的神经基质中,但很少有对跨越这些障碍支持灵活性大脑环路的评估已经被实施。数据驱动技术现在正被用于识别功能的关键维度,这些维度在诊断类别中重叠,并且在诊断类别中呈现异质性。需要进一步的工作来了解这些神经发育障碍中灵活性降低或提高背后的大脑活动模式和动力学,以及有时可以观察到的矛盾组合(例如,不灵活和注意力分散)。这项工作可能集中在特定大脑网络内的动态如何支持执行功能的不同领域。例如,MCIN(但不是L-FPN的内在动力学已被证明与神经典型成人的注意力分散的个体差异有关。
    测量问题使评估自闭症和多动症的灵活性缺陷及其神经基础变得复杂,因为实验室测量、神经心理学测试和信息报告问卷的不同组合已被用于多项研究。值得注意的是,有充分证据证明自闭症患者的日常行为不一定与实验评估的认知灵活性缺陷直接相关。已经开发了专门针对自闭症灵活行为的标准化信息报告评估,例如灵活性量表,它揭示了与常规/仪式、过渡/变化、特殊兴趣、社会灵活性和生成性相关的因素。尽管如此,这些类型的灵活性的细微测量还没有在跨诊断评估环境中常规使用,留下了几个关于表征神经发育障碍的执行功能和灵活性缺陷的具体特征的未决问题。
    2.5.2青春期和中年期的灵活性
    青春期是一个关键的发展时期,标志着剧烈的生理,社会和情感变化,需要认知灵活性才能成功导航。青春期也是一个易受伤害的时期,有精神病理学发作的凤险,包括焦虑抑郁、强迫症和精神分裂症。支持认知控制的脑回路在青春期仍在发展部分是由于边缘和执行控制系统的不同发展。这些不对称在研究中很明显证明青少年比成年人更快地从负面奖励预测错误中学习。并且在概率反转学习期间更大程度地招募右侧AI。
    情绪障碍的迹象,包括焦虑和抑郁,会在青春期出现。病理性焦虑包括过度担心或纠结于困难,并认为未来的问题比现实中更有可能,而抑郁包括沉思或被动地专注于悲伤情绪和经历的痛苦想法。担忧和沉思可能反映了相同的重复消极思考的潜在结构,这可能是思维僵化和难以让FP执行控制系统为情绪调节服务的结果。
    另一种以严重的灵活性损伤为特征的青少年发病障碍是强迫症。强迫症的灵活性缺陷表现为反复和持续的想法、冲动和冲动的不良适应模式,这些想法、冲动和冲动是侵入性的,也是强迫性的,包括个人感觉被驱使去执行的重复行为。对强迫症和自闭症障碍的神经影像学硏究提供了证据,表明额叶皮层回路中功能连接的增加与更严重的重复性行为症状有关。在强迫症中,认知灵活性任务执行过程中OFC和前脑皮层区域的激活减少是经常报道的。
    精神分裂症是青春期晚期出现的另一种疾病,与认知灵活性降低有关,通常伴有额叶代谢低下。在WCST,患有精神分裂症的个体比患有强迫症的个体表现更差,这表明在这两种疾病中,基底-皮质-额叶回路中的不同亚型参与其中。正如在普通人群中一样,额纹状体回路似乎与精神分裂症患者认知灵活性表现的可变性有关。
    2.5.3精神疾病的灵活性
    虽然在正常衰老中观察到执行功能和灵活性的缺陷,但这些问题在影响老年生活的神经系统疾病中会进一步恶化。与年轻人相比老年人表现出前额叶外侧控制区域的效率降低,并依赖增强的额颞叶连接来弥补与年龄相关的任务转换表现的下降。老龄化的默认一执行耦合假说认为,老年人执行控制任务的表现下降和灵活性降低是由W-FPN区和前额叶外侧区的不灵活耦合造成的。最近一项关于老年人执行功能的功能磁共振成像研究的荟萃分析显示,IFJ在年轻人和老年人中的招募程度不同。此外,随着年龄的增长,观察到IFJ和其他执行功能相关脑区之间的功能连接性降低。全脑计算模型允许量化亚稳态和重新校准过程,这些过程是认知能力在一生中变化的基础。这样的模型有助于阐明在网络级别上是如何观察到差异的,例如由老化的默认-执行耦合假说提出,可以被视为对老化大脑结构完整性下降的补偿。
    与正常衰老相比,痴呆的迹象之一是执行功能受损加剧,包括精神灵活性的恶化和认知僵化的开始。一个新兴的功能神经影像学文献,包括从神经心理学评估(最著名的是WCST)改编而来的任务转换和设置转换任务,研究了衰老和痴呆中的认知灵活性缺陷,证实了PFC募集在维持这些功能中的关键作用。帕金森病中观察到的灵活性缺陷可能是由于多巴胺耗竭导致的额叶纹状体功能障碍。对于神经系统疾病,认知灵活性的不同方面可能会受到损害。综上所述,关于衰老和痴呆的灵活性的文献指出了额顶叶和额叶纹状体的功能障碍,这可以从人类和动物的研究中预测出来。
    虽然我们在这里关注的是与灵活性不足相关的不适应结果,但灵活性的降低也可能与适应性或健康的特征相关,所需的灵活性水平可能会根据环境而波动。因此,灵活性的改变在某些情况下可能代表着对所接受的环境特征的规范性适应。在帕金森病中,认知障碍,如思维迟钝和认知不灵活,与运动障碍平行,这表明灵活性的降低可能是对一个更加稳定的世界的恰当反应。认知稳定性——与认知灵活性相反——在需要集中注意力和注意力分散抑制的任务中同样是有益的。因此,灵活性的降低在特定条件下可能是最理想的。
    3. 药物和灵活性训练
    动物研究揭示了特定的神经传递系统是如何支撑灵活的认知和行为的。在人类中,认知训练模式和身体活动被吹捧为增强灵活性的手段,并且从发展和老化的研究中有一些初步证据表明双语可能赋予更大的灵活性。本节将总结认知和行为灵活性的药理学知识,然后批判性地回顾认知灵活性增强和训练的研究。
    3.1 支持灵活性的药理学
    血清素和纹状体多巴胺神经递质系统在逆转学习中具有调节作用。
    3.2 提高灵活性的干预措施
    计算机认知训练、体育活动和专业课程被描述为提高儿童灵活性的潜在干预措施,然而支持这些干预措脑有效性的证据是混杂的。成功的项目包括反复练习和对执行功能挑战的逐步增加,那些更容易受损的儿童最初从认知训练和身体活动干预中获益最多。一般来说,执行功能某一特定方面的训练可以产生短期的狭义转移,但不能推广到执行功能的其他方面。例如,工作记忆训练可以提高工作记忆成绩,但不能抑制加工或其他技能。认知训练已经被用于对抗与年龄相关的认知衰退,并且己经证明了健康老年人(60岁及以上)中训练诱导的大脑结构和功能变化。研究表明有氧运动或不含认知成分的抗阻训练干预的效果似乎很少或没有执行功能的益处,尽管具有认知挑战性的运动,如武术,可以产生可测量的益处。在大约60岁以上的成年人中,有氧运动干预可能有助于通过防止海马体积随时间的减少而对认知产生有益的影响。体育活动干预对执行功能影响的研究中报道的小效应与这样一个事实形成对比,即心血管健康程度较高的儿童在执行功能成分上表现更好,包括信息处理和控制、视觉空间工作记忆和注意力效率。同样,通常身体更活跃的人比久坐的人有更好的执行功能。
    3.3 双语对灵活性的影响
    全球超过50%的人口会说两种语言,或者能够流利地使用两种语言。“双语优势”的概念表明,精通两种语言的人可能会发展出认知优勢,尤其是在执行功领域。支持双语优势的证据表明,抑制和监控是潜在的机制,可以增强具有不同语言经验的个体的执行控制。这种模式表明,双语个体的技能中的两种语言在一定程度上总是活跃的,并且存在着不断的选择竞争。管理和解决语言间竟争的终身经验要求大脑区域通常不用于语言处理。这种双语体验重组了大脑网络,为执行控制创造了更有效的机制,并在非语言处理利用相同的执行控制网络时产生了认知效益。由于语言转换涉及与执行控制和抑制过程相关的相同的额叶系统,人们认为双语体验导致这些大脑系统的普遍增强。
    日前对双语的研究结果喜忧参半,对于双语和执行功能领域的认知优势之间的关系还没有达成共识。一些研究人员报告了双语个体的认知优势,而其他人未能在典型的发育中儿童身上复制这些发现。然而,双语优势在低社会经济地位的孩子身上被观察到。同样,在经历与年龄相关的认知衰退的个体中,已经观察到“认知储备”,由此双语大脑对神经退化和痴呆更有抵抗力。双语经验有助于抵消执行过程中与年龄相关的损失,这一观察结果导致了这样的提议,即双语可能通过缓冲通常在晚年观察到的认知控制能力的下降,成为对抗痴呆症的神经保护因素。因此,双语优势可能会在特定的环境下表现出来。但这一课题还需要进一步研究。
    4. 总结
    全球新冠肺炎大流行凸显了在机构和个人层面实现最佳灵活性的迫切需要。神经科学研究已经使用能够跨越人类和动物硏究的范式来探索灵活性。这项研究表明,认知和行为灵活性涉及执行控制过程,这些过程依赖于几个大规模的额顶叶和额叶纹状体网络之间的协调功能,这些网络执行显著性检测、注意、抑制、工作记忆和转换过程。了解这些网络的典型发展、成年后的稳定性及其随年龄增长而崩溃的可能性,是确定有效策略的第一步,以解决精神和神经疾病中的灵活性缺陷,并在整个生命周期中増强灵活性。例如,识别支持不同临床和神经典型人群不同程度灵活性的独特大脑特征,有助于识别特定个体成功概率最高的干预措施。借助神经影像获取医学见解将有助于改进我们当前的诊断疾病学,并推动我们实现精准医学的目标。
    注:解读不易,请多多转发支持,您的每一次转发是对我们最好的支持!本文原文及附加材料,请添加赵老师微信索要(微信号:15560177218)

    展开全文
  • 结合电力网的实际结构及运行特点,利用定值判断法,采用面向对象的程序设计思想开发了基于图形界面的电网继电保护动作仿真系统.该系统可模拟电网在实际故障中的保护动作...该系统通用好、使用灵活,具有较大的实用价值.
  • 时空动作检测:识别一段视频中的动作类别、动作的开始和结束时间,以及动作发生的空间位置(如投篮人所在的bbox) 时序动作检测可以被看做是时序版本的图像目标检测,因为两者都是需要检测目标的类别,并且都需要...

    时序动作检测SSAD《Single Shot Temporal Action Detection》_程大海的博客-CSDN博客_时序动作检测

    时序动作检测《BSN: Boundary Sensitive Network for Temporal Action Proposal Generation》_程大海的博客-CSDN博客

    时序动作检测《BMN: Boundary-Matching Network for Temporal Action Proposal Generation》_程大海的博客-CSDN博客

    《Non-local Neural Networks》个人总结理解_程大海的博客-CSDN博客

    时序动作检测《BSN++: Complementary Boundary Regressor with Scale-Balanced Relation Modeling for ……》_程大海的博客-CSDN博客


    温馨提示:本文仅供自己参考(勿捧杀),如有理解错误,有时间再改!

    时序动作分类:识别一段视频中的动作类别

    时序动作检测:识别一段视频中的动作类别以及动作的开始和结束时间

    时空动作检测:识别一段视频中的动作类别、动作的开始和结束时间,以及动作发生的空间位置(如投篮人所在的bbox)

            时序动作检测可以被看做是时序版本的图像目标检测,因为两者都是需要检测目标的类别,并且都需要确定目标的准确边界位置。

            detect by classifying时序动作检测方法:先使用proposal模块生成可能的推荐框(或者推荐动作片段),然后在对proposal进行分类识别。类似于Faster RCNN的先检测生成proposal后分类的时序动作检测方法的缺点:

            1、类似于Faster RCNN那样,检测网络和识别网络需要分开训练,理想情况是可以进行联合训练得到最优模型

            2、检测网络生成proposal需要额外的计算时间

            3、使用滑窗生成的proposal边界通常都不够精确,并且滑窗方法需要事先确定窗口大小,只能处理固定长度的片段,不能灵活应用于变长片段。

            论文中提出的Single Shot Action De[1]tector (SSAD)网络是采用多种时序动作识别模型提取不同时间粒度特征的时序卷积网络,SSAD网络是一段式的网络,不需要先生成预测proposal,直接预测动作的时序边界以及置信度。

    问题形式化表示:

    视频形式化定义:

            其中表示一个未裁剪的视频片段,表示这个视频片段的总帧数,表示视频中的第帧。

    视频动作形式化定义:

            其中,表示一个未裁剪视频片段中包含的所有标注动作片段,表示视频中动作片段个数,表示中被标注的一个动作片段,分别表示这个被标注的动作片段的开始时间、结束时间,以及动作类别, 表示动作类别的总数。

    视频片段形式化定义(视频Xv中的一小段):

             其中表示一个视频片段,表示视频中的第帧。表示以为中心,前后各取一段组成的片段的光流特征,表示以为中心,前后各取一段组成的图像片段,。对于一个视频,以每一帧为中心可以得到一个,可以得到一个多个组成的序列的长度等于视频总帧数。对于视频的前端补充第一帧,对于视频的后端补充最后一帧。

            所以,对于视频片段

            是单张图片,使用Spatial Network进行片段分类,侧重利用空间特征,输出的概率预测结果记做,长度为𝑲+𝟏,𝑲是动作总类别数量,+1表示背景类别

            是堆叠的光流数据,共10帧,使用Temporal Network进行片段分类,侧重利用时序运动特征,长度为𝑲+𝟏,𝑲是动作总类别数量,+1表示背景类别

            是堆叠的图像数据,共16帧,使用C3D Network进行片段分类,侧重利用时空特征,长度为𝑲+𝟏,𝑲是动作总类别数量,+1表示背景类别

    Snippet-level Action Score (SAS) 特征:

            输出结果进行concat,的特征维度为3*(𝑲+𝟏)。

            对于一个视频,提取得到小片段,每个小片段预测得到,然后最终得到整个视频的SAS特征:

            的维度是

            由于视频的帧数很大,所以得到的特征序列也很长,论文中采用了大小的的观测窗口,对于观测窗口的形式化定义如下: 

             其中,是观测窗口的开始时间和结束时间,是观测窗口覆盖的特征序列,是观测窗口对应的ground truth动作实例。

    SSAD网络模型有三个子模块:

            1、Base Layers:在SAS特征序列上使用1D时序卷积和池化操作降低特征序列的时序长度大小,同时提升时序维度的感受野。

            ​​​​​​​论文中尝试了多种Base Layers网络结构,其中的Conv是temporal上的1D卷积,Pool是temporal上的1D池化。实验表明B网络结构性能最好,经过Base Layer之后,时序特征的时序长度变为原来的1/16。

    1D卷积示意图如下(手残党画图):

            2、Anchor Layers:使用1D时序卷积进一步缩小特征图,采用卷积核大小为3,步长为2,输出通道数为512的1D卷积操作。经过Conv-A1、Conv-A2、Conv-A3之后,时间维度大小分别减小为原来的1/32、1/64、1/128。这三种尺度的Anchor Layer输出特征使得SSAD网络可以多种尺度的特征图。在每种尺度的特征图的每个位置(cell)使用多种尺度(尺度是对于时间维度来说的)anchor box。Conv-A1层具有更大的特征图和更小的感受野,所以在Conv-A1特征图上的anchor box负责检测short action,Conv-A2检测middle action,Conv-A3检测long action,这点和YoloV2的多个检测头类似。 

             假设Base Layer输出的特征图为f,特征图的时序长度为M,定义一个anchor的尺寸基数:

             然后对于不同的层设置不同的anchor ratio,Conv-A1的anchor ratio设置为{1, 1.5, 2},Conv-A2和Conv-A3的anchor ratio设置为{0.5, 0.75, 1, 1.5, 2},anchor ratio记做。计算anchor的宽度如下:

             Anchor的中心计算如下:

             表示feature map在时序维度上的第个cell,表示feature map的时序长度。

            3、​​​​​​​​​​​​​​Prediction Layers:prediction layer预测输出类别概率、重合置信度、预测位置偏移。定义表示特征图的时序长度,表示特征图每个时序位置采用的anchor数量,使用输出通道数为的1D时序卷积,卷积核大小为3,步长为1,卷积的输出结果维度为,每个anchor位置的预测输出维度是,预测结果表示为。其中K'是K类+1类背景,3表示预测的重合度得分(预测结果与GT的重合度[0,1],可以使用sigmoid得到),以及预测结果与对应anchor的偏移量,偏移量包括中心位置偏移和宽度偏移。Prediction layer在Conv-A1、Conv-A2、Conv-A3层都会输出预测结果。

             是预测结果与anchor中心坐标以及anchor的宽的偏移量,是anchor的中心坐标位置,是anchor的宽度,是超参数用于控制通过偏移量计算结果的稳定性。是预测结果的中心位置以及宽度。的计算中使用了指数计算方式,和Faster RCNN以及Yolov2中的计算类似。由以上预测结果可以得到检测到的动作片段的开始位置和结束位置分别是:

    模型训练

    训练样本特征构建:

            先对于每个视频提取固定大小的时间序列特征,然后在此特征的基础上使用窗口大小为的滑窗,滑窗的重叠度为75%,也就是滑窗的移动步长是。使用滑窗的目的一是为了解决动作位于窗口边界的问题,二是可以增加训练样本数量,每个滑窗内的特征都是一个输入到网络中的训练样本,作者设置的。训练过程中只保留至少包含一个动作实例的滑窗内的特征。

    训练样本标签生成:

            对于prediction layer基于每个anchor box输出的预测结果,计算每个预测结果与所有GT的IoU数值,如果最高的IoU数值大于0.5,则将该预测结果定义为positive正样本,阈值IoU最高的那个GT就是这个正样本的label标签,这点和目标检测的label分配类似。一个GT可以和多个anchor box的预测结果匹配,一个anchor box的预测结果只能和一个GT匹配。Anchor box的预测结果与GT的匹配结果表示如下:

            其中,分别表示anchor box预测结果的中心坐标偏移、宽度大小偏移、预测类别概率、预测重合置信度,表示与anchor box匹配的GT的类别,与anchor box预测结果的IoU重合度,以及GT的中心位置坐标和宽度大小。

            通过上述计算方法会得到少量的positive和大量的negative,正负样本数量极度不均衡,论文中使用难样本挖掘来平衡正负样本的数量,这点与Faster RCNN类似。

    优化目标(损失函数):

            SSAD同时预测目标的开始、结束位置,类别以及重合置信度,是一个多任务优化问题。损失函数如下:

            主要包括分类损失,重叠置信度回归损失,边界回归损失以及正则化项。分类损失使用交叉熵损失,重合置信度损失使用回归损失MSE,预测偏移量损失使用SmoothL1。 

    模型预测及后处理

            在测试阶段,序列特征采样的滑窗重合度比率降低到25%来增加预测速度,如果输入视频的长度小于滑窗大小,则对特征序列进行pad补足长度,那个这个视频就只有一个滑窗结果。对于某个预测结果,计算这个预测片段内的mean Snippet-level Action Score

            其中,是预测的开始时间到结束时间之间每个时间位置的Spatial Network、Temporal Network、C3D Network预测概率结果。然后计算每个anchor instance的最终分类结果。选择中结果最大的维度对应的类别作为预测类别,最大维度对应的数值作为预测的置信度。 

            在获得了一段视频所有的预测action instance后,本文采用NMS(非极大化抑制)对重叠的预测进行去重,NMS阈值设置为0.1。从而获得最终的temporal action detection结果。

    数据集:THUMOS14数据集以及MEXaction2

    总结:本文的主要贡献我认为包括两点,一是将基于时序卷积的Single Shot结构的模型引入了temporal action detection问题;二是探索了使用时序卷积网络进行temporal action detection的一些网络结构以及训练策略的设置。

    参考:"Single Shot Temporal Action Detection" 论文介绍 - 知乎

    参考:Video Analysis 相关领域解读之Temporal Action Detection(时序行为检测) - 知乎

    开源代码:GitHub - HYPJUDY/Decouple-SSAD: Decoupling Localization and Classification in Single Shot Temporal Action Detection​​​​​​​

    展开全文
  • 灵活性、敏捷性和极其广泛的运动动作,在以下3种控制领域的应用中发挥威力。运动控制、测量控制、高速响应控制。支持CJ系列单元的扩展。由于可以连接CJ系列单元,从而支持I/O扩展、通信从站对应、多轴控制数据存储...
  • 视频动作检测最新发展调研(Action Detection)

    千次阅读 多人点赞 2019-09-27 18:52:34
    1 视频动作检测概述 动作检测也是目前视频理解方向的研究热点,因为该任务更加贴近生活,在监控安防中有潜在的巨大价值。但是相比于动作分类,动作检测难度更高,不仅需要定位视频中可能存在行为动作的视频段,还...

    1 视频动作检测概述
    动作检测也是目前视频理解方向的研究热点,因为该任务更加贴近生活,在监控安防中有潜在的巨大价值。但是相比于动作分类,动作检测难度更高,不仅需要定位视频中可能存在行为动作的视频段,还需要将其分类,即:localization+recognition。而定位存在行为动作的视频段是一个更加艰巨的任务。
    一般我们把动作检测叫做Temporal Action Detection,也通常直接叫做Action Detection,还有叫Action Localization等。

    2 研究难点
    目前动作检测研究难点主要有以下三点:
    1)时序信息。与动作识别一样,视频理解的通用难点就是时序信息的处理。所以针对这一点目前的主要方法基本上都是使用RNN读入CNN提取的特征,或者直接使用C3D结构的时序卷积;
    2)边界不明确。不同于动作识别,动作检测要求做精确的动作区间检测,而生活中一个动作的产生往往边界不是十分确定的,所以这也是导致目前动作检测mAP偏低的原因;
    3)时间跨度大。在生活中,一个行为动作往往跨度非常大,挥手等短动作几秒左右,而攀岩、骑行等长动作可能持续数十分钟,这使得我们在提取Proposal时变得异常艰难。

    3 数据集介绍
    3.1 THUMOS2014

    THUMOS 2014来自于THUMOS Challenge 2014该数据集包括行为识别和时序行为检测两个任务,大多数论文都在此数据集评估。
    训练集:UCF101数据集,101类动作,共13320段分割好的视频片段;
    验证集:1010个未分割过的视频;其中200个视频有时序行为标注(3007个行为片段,只有20类,可用于时序动作检测任务)
    测试集:1574个未分割过的视频;其中213个视频有时序行为标注(3358个行为片段,只有20类,可用于时序动作检测任务)
    3.2 MEXaction2
    MEXaction2数据集中包含两类动作:骑马和斗牛。由三个部分组成:YouTube视频,UCF101中的骑马视频以及INA视频。
    其中YouTube视频片段和UCF101中的骑马视频是分割好的短视频片段,被用于训练集。而INA视频为多段长的未分割的视频,时长共计77小时,且被分为训练,验证和测试集三部分。训练集中共有1336个行为片段,验证集中有310个行为片段,测试集中有329个行为片段。且MEXaction2数据集的特点是其中的未分割视频长度都非常长,被标注的行为片段仅占视频总长的很低比例。
    3.3 ActivityNet
    目前最大的数据库,包含分类和检测两个任务。这个数据集仅提供视频的youtube链接,而不能直接下载视频,所以还需要用python中的youtube下载工具来自动下载。
    该数据集包含200个动作类别,每类100段未分割视频,20000(训练+验证+测试集)左右的视频,视频时长共计约700小时。
    3.4 MUTITHUMOS
    一个稠密、多类别、逐帧标注的视频数据集,包括30小时的400段视频,65个行为类别38,690个标注,平均每帧1.5个label,每个视频10.5个行为分类,算是加强版THUMOS。

    4 技术原理
    因为动作检测任务有点类似于目标检测任务,都是需要先定位目标,然后识别目标。所以目前很多行为检测方法都是借鉴于目标检测,主要思想基本上是Temporal Proposal提取,然后进行分类与回归操作。这类方法包含,利用Faster R-CNN框架[9][10]思路,利用SSD框架思路[11],还有基于TAG网络[12]等等。还有一类方法是基于C3D做帧分类(Frame Label),然后预测存在行为的视频段并分类,例如2017年ICCV的CDC网络[13]。
    基本流程:
    1.先找proposal,再对proposal分类和回归边界;
    2.找proposal方法:主要就是以下几种;
    1)单纯的滑动窗口(SCNN提出):
    固定一些尺寸在视频长度上滑窗,重叠度越高,效果越好,但是计算量大。理论上这种方法只要重叠度够高,是找的最全的,但是冗余多。
    2)时序动作分组(TAG提出):
    逐个视频帧分类(CNN网络),把相邻的类别一样的分成一组,设置一些阈值防止噪声干扰,一般设置多组阈值防止漏掉proposal。这种方法对于边界比较灵活,但是可能会因为分类错误漏掉proposal。
    3)单元回归(TURN提出):
    把视频分成固定大小单元,比如16视频帧一组,每组学一个特征(放C3D里),然后每组或者多组作为中心anchor单元(参照faster-rcnn)向两端扩展找不同长度proposal。

    5 目前的主流方法
    5.1 SCNN
    SCNN,即多阶段网络,是CVPR2016上的文章《Temporal action localization in untrimmed videos via multi-stage cnns》,时间较早,方法简单。主要提出了一个三阶段的3D卷积网络来做动作检测:(1)proposal network;(2)classification network;(3)localization network。
    在这里插入图片描述该网络首先采用不同尺度滑窗的方法找一些proposal,然后将这些proposal均匀采样到固定长度16帧,将proposal输入到proposal network来做二分类,判断是不是动作;然后将包含动作的proposal和部分背景proposal(采样到和一类动作数目相同)输入到classification network为这些动作分类,输出为K+1个类别(包括背景类)的分数;最后输入到一个localization network,输出仍然是K+1个类别的分数,不过此时的损失函数不只是softmax loss,还加入基于IoU分数的overlap Loss来调整边界。以上三个网络均采用标准C3D网络结构,定位网络由分类网络的权值来初始化,分类网络只在训练时使用。
    这篇文章在THUMOS2014数据集上IOU=0.5时达到了19.0的MAP。
    5.2 TURN
    TURN,即单元回归网络,是CVPR2017上的文章《TURN TAP: Temporal Unit Regression Network for Temporal Action Proposals》。SCNN采用滑窗找proposal,如果想要得到准确的结果,就需要增大窗口之间的重叠度,这样导致了计算量极大。为了减小计算量,增加时序定位精度,TURN借鉴faster-rcnn引入边界回归的方法:将视频分为等长短单元,做单元水平的回归。
    在这里插入图片描述
    每个单元输入到C3D网络内提取单元水平特征,相邻单元组成一个clip,以每一个unit为anchor unit,构造一个clip pyramid。然后在单元水平上作坐标回归,网络包含两个输出:第一个输出置信度分数判断clip中是否包含动作,第二个输出时序坐标偏移来调整边界。
    本篇文章方法在THUMOS2014数据集IOU=0.5时的MAP为25.6%,主要贡献是
    1)提出了一个新的用坐标回归来生成时序提议段的方法;
    2)速度很快(800fps);
    3)在不同数据集上不需要做fine-tuning效果就很好;
    4)提出了新的评估提议段好坏的指标AR-F。

    5.3 TAG
    TAG,即时序动作分组,是CVPR2017上的文章《A Pursuit of Temporal Accuracy in General Activity Detection》 ,也是为了解决密集的滑动窗口计算量太大的问题而提出的方法。TAG的方法主要由三部分组成(1)用TSN的稀疏采样方法采样一段视频里的snippt;(2)给snippt打分,二分类判断它是不是动作;(3)把是动作的snippt组成一个proposal,就得到了不同粒度的提议段(设置动作阈值来表示多少分可以算作动作,还有一个容忍度阈值来防止噪声干扰,即连续帧中出现了几个视频帧不满足的情况下仍把它加入proposal)。这篇文章还把是否是动作与动作是否完整作为两个不同的特征。核心思想是找有更多动作的proposal。
    在这里插入图片描述
    TAG的方法有以下几个优点:(1)更关注动作做内容,减少了proposal数目,减少计算量;(2)合并片段是自底向上的,更加精确;(3)设置多个阈值组合,可以不需改变参数的训练。
    TAG在THUMOS2014上IOU=0.5时MAP=28.25。
    5.4 CDC
    CDC,是CVPR 2017上的文章《CDC: Convolutional-De-Convolutional Networks for Precise Temporal Action Localization in Untrimmed Videos》。该网络主要是在SCNN中提到的用滑窗产生proposal的方法基础上继续做精调。C3D可以很好的学习高级语义特征,但是它在时间上会丢失细粒度(标准C3D网络会把时间减少到原来的1/8长度),这时如果想在视频帧的水平上做精确定位是不可能的,但是可以用反卷积的方式进行上采样。所以本文提出了一种在空间上做下采样(11的类别信息),时间上做上采样(恢复到原视频长L)的方法。
    在这里插入图片描述
    在这里插入图片描述
    该文还提出了一个把卷积和反卷积操作结合到一起的过滤器,实验证明这个结合的方法比分开计算效果要好一些,但是参数多了很多。网络首先把SCNN得到的proposal向两端扩展,然后每帧打分,哪类平均分最高就作为类别,然后从两端往中心一直找到一个分数高于均分的视频帧作为边界,里面的内容就是我们找到的动作。
    该文在THUMOS2014上IOU=0.5时MAP=23.3%。CDC主要贡献:(1)提出了一个卷积-反卷积过滤器;(2)用上述过滤器创建了一个端到端的网络; (3)提到了定位精度。
    5.5 SSN
    SSN,即结构化分段网络,是CVPR2017上的文章《Temporal Action Detection with Structured Segment Networks》。提出了一个通过结构化时序金字塔对每一个动作实例的时序结构建模的新框架。作者认为需要对时序结构进行分析,判断动作是不是完整,所以他把视频内的动作划分为三个阶段:开始、行动、结束。这个划分方式在以后的工作中也被大量使用。本文采用了TAG的方法生成proposal,然后把proposal分成开始、活动和结束三个阶段,对每个阶段做时间上的金子塔池化操作,然后把结果合并在一起送入两个分类器,一个判断该段是什么动作,一个判断动作完整不完整。
    在这里插入图片描述
    该文在THUMOS上IOU=0.5时MAP=29.8。主要贡献:(1)提出一个有效的三阶段机制来建模活动的时间结构,从而区分完整和不完整的proposal;(2)以端到端的方式学习网络,并且一旦训练完毕,就可以对时间结构进行快速推测;(3)该方法在主流数据集THUMOS14和ActivityNet上实现了超过以前的检测性能。
    5.6 CBR
    CBR,即级联的边界回归网络,是CVPR2017上的文章《Cascaded Boundary Regression for Temporal Action Detection》,这篇论文获得了2017年在THUMOS2014数据集上的最佳效果。方法比较简单,作者做了大量实验,对很多参数的选择都做了比较好的实验,为后人科研选择合适的方法给了一些启发。CBR是在TURN的基础上做的,网络分为两部分,第一部分用粗略proposal作为输入,输出类别无关的proposal,第二部分来继续调整边界。
    在这里插入图片描述
    与之前方法比较这里每一部分都是级联的,意思就是调整一次效果不好,就继续调整,一直到效果好位置。这里和TURN不同的是找的proposal不再是根据是不是动作,而且为每个动作都通过单元回归找一个proposal,把分数最高的作为我们要找的proposal。网络对C3D、TWO STREAM、FLOW特征进行了对比,得出双流特征效果比光流和C3D好;对单元水平和帧级回归做了对比,证明单元水平的效果好一些;网络还对每一阶段级联级数做了实验,证明2-3级的proposal网络和2级的分类网络效果更好。
    该文章在THUMOS2014上IOU=0.5时MAP=31.0%,是2017年该数据集最好的效果。
    5.7 R-C3D
    R-C3D,是ICCV 2017上的文章《R-C3D: Region Convolutional 3D Network for Temporal Activity Detection》。之前的方法有些用滑窗的方法计算量大,预测边界不灵活,很多都不是端到端的学习深层特征,只在分类网络上学习现成的特征对定位效果可能不佳。所以本文借鉴目标检测领域faster-rcnn的思想提出了一个端到端的网络,生成候选段和分类结合在一起学习特征,用全卷积来学习3D特征再加上ROI pooling使网络可以接收任意长度输入,生成候选段的步骤过滤掉了很多背景可以节约计算,而且候选段由预定义的anchor来预测,可以检测灵活的活动边界。
    在这里插入图片描述
    网络由三部分组成:特征抽取网络、时序候选段子网、分类子网。候选段偏移和类别分数由最后两个1
    1*1的卷积层计算。特征和损失函数都由两个子网络共享。
    该方法在THUMOS2014数据集上IOU=0.5时MAP为28.9%。主要贡献是提出了一种端到端的网络把定位和分类结合起来一起训练,可以接受任意长度视频输入并且节约了计算。
    5.8 ETP
    ETP,是ICMR 2018上的文章《Precise Temporal Action Localization by Evolving Temporal Proposals》,提出了三阶段的evolving temporal proposal网络,引入了非局部金字塔特征。
    网络分为三个阶段:Actionness Network、Refinement Network、Localization Network。第一个网络运用TAG的方法生成proposal,是一个分类网络。第二个网络在单元水平做进一步调整,同时运用了双门的RNN更加关注视频的上下文信息。最后一个定位网络继续调整边界,采用SSN的结构,并在顶层加入了非局部块,但是为了防止对网络的影响太大,以残差连接方式加入,定位网络是一个多任务网络,不只要判断proposal是动作还是背景,还要判断它是什么动作,还要调整边界。
    在这里插入图片描述
    这篇文章在THUMOS2014数据集IOU=0.5时MAP达到34.2%。主要贡献是利用RNN更加关注动作的上下文信息,引入了非局部特征,融合了之前一些比较好的方法,达到了目前比较好的效果。
    5.9 Learning Latent Super-Events to Detect Multiple Activities in Videos
    潜在的超级事件,这篇是CVPR2018上的文章,在视频中学习潜在的超级事件来做多活动检测。这篇文章关注于更细粒度的检测,用的数据集是MUTITHUMOS,在THUMOS的基础上加了一些数据,平均每段视频内的活动更多。目前的方法基本都更关注候选段的决策,而忽略了整段视频的时序结构和上下文信息,连续的视频中有很多上下文信息都可以帮助我们做更好的动作检测。所以本文提出了一个超级事件的概念,与子事件相对应,一个超级事件包含一系列的子事件,是相互关联的子事件的集合。题目名为潜在的超级事件是因为这些超级事件和子事件的定义是无需标注的。文章还提出了一个时间结构过滤器来学习每类的软注意力权重从而得到超级事件表现,用它来逐帧分类。
    首先将整段视频输入网络,对每帧或每个局部段落学习一个特征,这里用到了RNN还用到全卷积的网络来对每帧学习一个类别分数,然后把这些特征输入到M个时间结构过滤器里,时间结构过滤器由若干个柯西分布组成,它可以让模型知道哪些时间间隔和帧级检测相关。
    用I3D特征+超级事件在MUTITHUMOS上MAP为36.4%
    在这里插入图片描述
    5.10 Rethinking the Faster R-CNN Architecture for Temporal Action Localization
    这篇是CVPR2018上的文章。之前的R-C3D是直接生硬的迁移faster-rcnn到动作检测上,有一些问题,主要是因为视频长度相差很大1s到几分钟都有可能。rethinking faster rcnn这篇文章做了一些改进,使之更适应动作检测:1)感受野对齐,用了空洞卷积;2)利用上下文,即动作前后的信息,类似SSN提到的;3)加入光流信息,并做了个晚融合。
    在这里插入图片描述
    效果非常好,thumos14直接从2017年IOU=0.5的MAP31%提高到了42%
    5.11 TACNet
    TACNet,是CVPR 2019上的文章《Transition-Aware Context Network forSpatio-Temporal Action Detection》。动作检测对时间范围的检测仍不好,其主要原因是存在着一些与实际行动相似的模糊状态,即使是经过良好训练的网络,也可能被视为目标行动。本文将这些模糊样本定义为“过渡状态”,并提出了一种区分过渡状态的过渡感知上下文网络。提出的TACNET包括两个主要组成部分,即时间上下文检测器和过渡感知分类器。时间上下文检测器可以通过构造一个循环网络来提取具有恒定时间复杂度的长期上下文信息。过渡感知分类器通过对动作和过渡状态同时进行分类,进一步区分过渡状态。因此,所提出的TACNET可以显著提高时空动作检测的性能。我们对UCF101-24和J-HMDB数据集上的TACNET进行了广泛的评估。实验结果表明,TACNET在J-HMDB上获得了竞争性的性能,在帧映射和视频映射方面均明显优于未经优化的UCF101-24。
    在这里插入图片描述
    5.12 WSGN
    这是CVPR 2019上的文章《Weakly Supervised Gaussian Networks forAction Detection》。检测视频中人类行为的时间范围需要详细的人工监控,包括帧级标签。这种昂贵的注释过程限制了在有限数量的类别上部署动作检测器。该文提出了一种新的动作识别方法WSGN,可以从“弱监督”的视频级标签中学习检测动作。WSGN学习利用视频特定和数据集范围的统计信息来预测每个帧与动作类别的相关性。该方法在弱监督基线上改进了超过12%的MAP,优于其他弱监督最先进的方法,在Thumos14动作检测数据集中仅落后于最先进的监督方法4%。同样地,我们的方法也只是落后于最先进的关于挑战性的字谜数据集的监控方法的0.3%。
    在这里插入图片描述
    5.13 TSA-Net
    TSA-Net,是2019年8月最新文章《Scale Matters: Temporal Scale Aggregation Network for Precise Action Localization in Untrimmed Videos》提出的一种新的集成时间尺度聚合网络。主要观点是将不同膨胀率的卷积滤波器组合在一起,有效地以较低的计算成本放大接收场,从而设计多膨胀时间卷积(MDC)块。此外,为了处理不同持续时间的视频动作实例,TSA-Net由多个子网组成。它们中的每一个都采用了具有不同扩张参数的叠层MDC块,实现了针对特定持续时间动作而特别优化的时间感受野。该文遵循边界点检测的公式,检测三种临界点(即起点/中点/终点)并将它们配对生成方案。
    在这里插入图片描述
    TSA-Net网络显示出清晰和一致的更好性能,并在两个基准上重新校准最新的技术状态。在THUMOS14上的记录是46.9%,而在MAP@0.5下,之前的最好记录是42.8%,是当前最好的效果。

    6 小结
    视频动作识别和检测都是视频理解的重要内容,也是计算机视觉领域的重要组成部分,在视频信息检索、日常生活安全、公共视频监控、人机交互、科学认知等领域都有广泛的应用前景和社会价值,是值得长期投入的课题。

    动作识别和检测的关系就类似于图像识别和图像检测,可以说识别是检测的一部分或者说是前期准备,因而目前的研究热点主要集中于难度更大的动作检测部分。随着深度学习技术的快速发展,R-C3D、 ETP、TACNet、WSGN、TSA-Net等各类新方法不断涌现,检测也从单独的时序检测延伸到时空检测,弱监督的思路也开始得到应用,准确率也大幅提升,达到了最新的46.9%(IOU=0.5),但和图像检测领域的高准确率相比,仍有很大的差距,这也是当前难以大规模商业化的原因。不过我们有理由相信,在不久的将来,准确率将取得突破,动作检测的商业化遍地开花,造福人类。

    本文参考了众多网络资料及论文原文,在此表示感谢!!
    在这里插入图片描述

    (关注微信公众号“StrongerTang”,看更多文章,和小汤一起学习,一同进步!)

    展开全文
  • 2019-06-16 17:17:26 武侠片,功夫片和动作片...为鼓励从业者继续拍出好的类型电影,表彰他们为此所做出的突出贡献,因此从第二届香港电影金像奖开始特增设“最佳动作设计奖”(据说这还是大导演张彻给金像...
  • 大家是否还记得那部硬汉动作明星云集的《敢死队》电影,史泰龙振臂一呼,天下英雄纷纷响应,汇集了包括史泰龙、施瓦辛格、龙格尔、杰森·斯坦森、李连杰等当今世界著名动作明星,续集更有尚格·云顿,斯科特·阿金斯...
  • 机器人误触发动作监控原因分析

    千次阅读 2020-08-02 14:42:59
    动作监控功能,也就是通常我们所说的碰撞保护功能,可以减少碰撞...如果需要根据现场工艺要求灵活调节灵敏度或者在手动调试的时候也使用的话,就得需要购买Collision Detection软件。 对于 Collision Detection(..
  • JSP动作标记

    千次阅读 2018-03-23 20:58:19
    include动作标记include的作用是将JSP文件,HTML网页文件或其他文本文件动态嵌入到当前的JSP网页里,该指令的语法有一下两种格式:&...当动作标记include不需要子标记时,使用第一种格式所谓动态...
  • 动作捕捉 Motion Capture (Mocap)

    千次阅读 2020-08-31 16:00:12
    在电影制作和电子游戏开发领域,它通常是记录人类演员的动作,并将其转换为数字模型的动作,并生成二维或三维的计算机动画。捕捉面部或手指的细微动作通常被称为表演捕捉(performance capture)。在许多领域,.
  • 战斗机机动动作分类与模型

    万次阅读 2019-08-17 22:16:57
    一、机动动作分类 机动动作一般是根据飞行员的实际飞行经验总结得出的,具有很强的实战意义,经过多年的发展,已经形成了从简单到复杂的诸多机动动作。 从理论上看,机动飞行动作是指飞行器的飞行状态(速度、位置...
  • 通过制作真实自然的动作提高了角色的逼真度,通过对角色动作进行合理的分解与合成,增加了角色在运动过程中的灵活性,通过对动作执行时间和空间位置的准确把握,保证了角色在运动过程中的可控性,最终实现了一个高...
  • 姿态估计与人体动作识别的多任务深度学习模型

    万次阅读 多人点赞 2018-04-13 18:08:14
    最近在一个人体康复训练的项目,一开始考虑到人体康复训练需要肢体的细微动作,所以先使用人体姿态估计识算法提取骨骼点,再根据人体骨骼点来识别动作(后来发现也不一定这样),并组合成一个端对端的模型,正好...
  • 视频动作识别——TLE模型解读

    千次阅读 2018-09-26 12:35:26
    接下来作者了一个验证实验,就是使用C3D+TLE层的模型来和其它使用3D卷积以及经典方法进行比较,目的是为了证明TLE层对于识别效果提升的有效: 作者认为加入TLE后的C3D效果提升是因为能够使用视频数据里...
  • 基于骨架动作识别的时空图卷积网络 摘要:人体骨骼动力学为人类动作识别传达了重要信息。传统方法在骨骼建模上通常依赖于手工制作的部分或遍历的规则,因此就导致了传统方法的表达力有限和泛化困难。在这项工作中,...
  • 相比图像来说,视频内容和背景更加复杂多变,不同的动作类别之间具有相似,而相同的类别在不同环境下又有着不同的特点。此外,由于拍摄造成的遮挡、抖动、视角变化等也为动作识别进一步带来了困难。在实...
  • 文章目录1 无人驾驶的动作规划2 轨迹规划2.1 车辆模型2.2 道路定义2.3 候选轨迹生成2.4 根据轨迹点构建有向图并搜索3 速度规划3.1 S-T图算法3.2 设置Cost 1 无人驾驶的动作规划 动作规划的目的:是将上游行为决策...
  • 反手握拍时,手心与球柄之间要留有空隙,这样握拍有利于手腕力量和手指力量的灵活运用。 在了解以上正确的握拍方法之后,应对照一下自己以前的习惯握法,如出现下面几种错误握法,应尽快加以纠正:拳握法,即一把...
  • include指令标记与动作标记详解

    千次阅读 2018-05-12 11:08:06
    一.include指令标记 ...静态嵌入 当前JSP网页中,语法如下: 静态嵌入就是“先包含后处理”在编译阶段完成对文件嵌入,即先将当前 ...动态嵌入与静态嵌入相比较,动态嵌入执行速度稍慢,但是灵活性较高。
  • 重点是代码质量,灵活性,性能和大小(核心引擎17k 和 gzipped 5.5k) - 这是一个演 示 。 该库也是 可扩展 的,因此你可以添加自己的功能。 11. Typed.js 超过 7k 星星,这个库基允许你以选定的速度为字符...
  • java中include动作和include指令的区别

    千次阅读 2017-04-12 20:33:56
    include指令和include动作都能实现将外部文档包含到JSP文档中的功能,名称也很相似,非常容易混淆。include指令和include动作到底有什么分别,哪一种方式会更好呢? 1.include指令  include可以在JSP页面转换成...
  • 牛逼!Java 从入门到精通,超全汇总版

    万次阅读 多人点赞 2021-05-06 19:40:33
    二、面向对象 为了把大象装进冰箱,需要三个动作(或者叫行为)。每个动作有一个执行者,它就是对象。 思路: 1、冰箱,你给我把门打开。 2、冰箱,你给我把大象装进去(或者说,大象,你给我钻到冰箱里去)。 3...
  • 推球动作的击球点较高,动作小,速度快。推球可以加大对方接球的难度。推球是从前场攻击对方后场底线的一种有威力的进攻技术,在单双打比赛中都很常见。 业余选手由于没有经过系统的练习,在推球过程中常常推球弧度...
  • 微服务系统中的数据一致,你都会了吗

    万次阅读 多人点赞 2021-09-17 23:11:34
    你好,我是看山。 从单体架构到分布式架构,从巨石架构到微服务...需要注意一下,本文所设计的数据一致,不是多数据副本之间保持数据一致,而是系统之间的业务数据保持一致。 本地事务 在早期的系统中,我们可.
  • 我们都知道在JSP中include有两种形式,分别是” ”%>” ” flush=”true”/>前者是指令元素,后者是动作元素。具体它们将在何处用?如何用及它们有什么区别?这应该是很多人看到它都会想到的问题。下面一起来看看吧...
  • deep learning approach for human action recognition in infrared images 总的来说,个人觉得这篇文章比较冗长,读起来比较晦涩,用词很刁钻,原文翻译...题目:深度学习方法实现红外图片中人物动作识别 摘要:...
  • 采用可编程控制器作为其控制系统,提高液压缸的自动化程度,保证了动力滑台有连续动作的高可靠性,使系统的通用性和灵活性达到了要求。本文从可编程控制器的选择、硬件设置和程序编制等方面作了介绍。
  • JSP中简单的指令标记与动作标记

    千次阅读 2018-07-19 09:50:19
    :被加载时才执行,执行更慢,但是灵活性更高。 5. forward动作标记 文件的URl"/> 注:从标记出现处 停止当前页面jsp执行 ,跳转到目标页面 6. param(参数) 父标记 page=“接受参数页面的URL...
  • Optitrack光学动作捕捉

    千次阅读 2019-12-06 14:20:03
    光学式动作捕捉依靠一整套精密而复杂的光学摄像头来实现,它通过计算机视觉原理,由多个高速摄像机从不同角度对目标特征点进行跟踪来完成全身的动作的捕捉。 美国大片中的后期特效制作大都是用的这种光学式动捕技术...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 143,818
精华内容 57,527
热门标签
关键字:

做动作的灵活性