精华内容
下载资源
问答
  • 2020-07-15 23:23:12

    人体行为识别

    人体行为识别。可以判断人体的动作,适合于机器人交互。python。实验室同学做的效果,非常好.支持60种人体行为动作 标注解释: person_1:%0.88 人体编号:置信度0.88 stand:0.950 战立状态:置信度0.950 talk to(eg.self):0.700 自我对话状态:置信度0.700 watch(a person):0.272 注视一个人的状态:置信度0.272

    更多相关内容
  • 人类行为识别的目的是通过一系列的观察,对人类的动作类型、行为模式进行分析和识别,并使用自然语言等方式对其进行描述的计算机技术。由于人类行为的复杂性和多样性,往往识别出的结果是多样性的,并且连带着行为...
  • 人类行为识别的实际应用: 安防监控。(检测识别异常行为:如打架,偷东西等) 监视和培训新人工作来确保任务执行正确。(例如,鸡蛋灌饼制作程序:和面,擀面团,打鸡蛋,摊饼等动作) 判断检测食品服务人员是否按...
  • 运用智能手机传感器数据进行人类行为识别研究在医疗服务、智能环境和网络空间安全等领域有许多重要应用。目前,大多数的分类方法识别率都不高,尤其是在医疗服务领域。为了提高行为活动的识别准确率,先利用稀疏局部...
  • 随着3D体感技术的飞速发展,人类行为识别已成为重要的研究领域。 人类行为特征分析已从传统的2D特征演变为3D特征。 为了提高人类活动识别的性能,提出了一种人类行为识别方法,该方法基于混合纹理边缘局部模式编码...
  • 基于层次聚类多任务学习的人类行为识别.pdf
  • 人工智能-深度学习-基于深度学习的人类行为识别和视频描述生成.pdf
  • 人类行为活动识别

    2018-03-04 21:21:06
    在智能家居环境中的人类基本是个行为活动的识别,其中运用的机器学习算法有两种分别是朴素贝叶斯分类器和隐含马尔科夫。
  • 人类行为识别是对于专用设备或者智能手机记录的人类行为数据做的分类,对于这一问题的经典方法有基于固定窗口和训练机器学习模型的特征的分类,例如决策树。困难时这一特征构建需要很强的专业技能。 近来,深度学习...

    人类行为识别是对于专用设备或者智能手机记录的人类行为数据做的分类,对于这一问题的经典方法有基于固定窗口和训练机器学习模型的特征的分类,例如决策树。困难时这一特征构建需要很强的专业技能。

    近来,深度学习方法如循环神经网络如LSTMs和其一维循环神经网络(CNNs)的变种已经可以对人类行为识别问题做到很少或者没有特征构建,取而代之的是使用原始数据进行特征学习。

    本文档包含三种循环神经网络对行为识别时间序列进行分类

    智能手机数据集的行为识别

    人类行为识别,即HAR,是使用传感器基于人的一系列动作预测这个人正在做什么。标准人类行为识别数据集是2012年的‘Activity Recognition Using Smart Phones Dataset’ 。这一数据集是Davide Anguita, et al在2013年的论文“A Public Domain Dataset for Human Activity Recognition Using Smartphones.” 

    这一数据集可以在UCI机器学习仓库下载。

    数据集涉及30个主体由19到48岁的进行六个标准动作之一,他们在腰部穿戴着智能手机记录动作数据。

    六个动作包括以下:

    1行走

    2上楼梯

    3下楼梯

    4坐下

    5站立

    6躺下

    记录的动作数据是智能手机的x,y和z加速器数据(线性数据)和陀螺仪,数据是50Hz记录。每一个主体执行两次,一次是左手侧的设备,一次是右手侧的设备。

    原始数据不可获得但是处理之前版本数据可以获得,处理步骤包括:

    *使用噪声过滤方法对加速器和陀螺仪数据处理

    *将数据分成50重叠的2.56秒的固定窗口(128个数据点)。将加速器数据分成重力(total)和身体动作部分

    特征构建应用于窗口数据,同时也将这一特征构建数据备份。应用于人类行为识别的大量时间和频率特征也从每个窗口提取。结果是561个元素向量特征。基于主体数据将数据集分成70%的训练集和30%的测试集。

    实验结果(固定点算法)应用于支持向量机得到的模型在测试集上运行准确率为89%,与未修改SVM得到相似的结果。

    1LSTM网络模型

    这一节我们建立长短期记忆网络模型(LSTM),LSTM网络模型是一种循环神经网络模型,其能够记忆输入数据的长序列。这一模型适用于本文的人类行为识别。该模型可以支持多列平行序列输入数据,如加速器和陀螺仪的每列数据。该模型可以学习从观察的序列中提取特征和如何将内部特征映射成不同行为类别。

    序列分类使用LSTMs的好处可以直接学习时间序列数据,不需要专门手动加工输入的特征。该模型可以学习时间序列数据的内部表现,可以完美匹敌专门加工的特征输入。

    部分代码如下

    	verbose, epochs, batch_size = 0, 15, 64
    	n_timesteps, n_features, n_outputs = trainX.shape[1], trainX.shape[2], trainy.shape[1]
    	model = Sequential()
    	model.add(LSTM(100, return_sequences=True,input_shape=(n_timesteps,n_features)))
    	model.add(Dropout(0.5))
    	model.add(LSTM(100,return_sequences=False))
    	model.add(Dropout(0.5))
    	model.add(Dense(100, activation='relu'))
    	model.add(Dense(n_outputs, activation='softmax'))
    	model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy'])
    	# fit network
    	model.fit(trainX, trainy, epochs=epochs, batch_size=batch_size, verbose=verbose)
    	# evaluate model
    	_, accuracy = model.evaluate(testX, testy, batch_size=batch_size, verbose=0)

    结论如下

    #trian的shape
    (7352, 128, 9) (7352, 1)
    #test的shape
    (2947, 128, 9) (2947, 1)
    
    (7352, 128, 9) (7352, 6) (2947, 128, 9) (2947, 6)
    
    
    >#1: 91.686
    >#2: 91.110
    >#3: 90.295
    >#4: 89.209
    >#5: 91.144
    >#6: 89.854
    >#7: 90.024
    >#8: 89.515
    >#9: 89.786
    >#10: 91.856
    [91.68646335601807, 91.10960364341736, 90.29521346092224, 89.20936584472656, 91.14353656768799, 89.85409140586853, 90.0237500667572, 89.51476216316223, 89.78622555732727, 91.85612201690674]
    Accuracy: 90.448% (+/-0.885)

    2构建CNN-LSTM网络模型

    CNN-LSTM模型设计循环神经网络(CNN)层作为数输入数据的特征提取并结合LSTMs进行序列预测,CNN-LSTM被用于视觉时间序列的预测问题,应用于生成时间序列图像的文本描述,特别是:

    行为识别:生成图像序列里某个行为的文本描述

    图像识别:生成单一图像的文本描述

    视频描述:生成图像序列的文本描述

    CNN-LSTM模型将主要序列分成子序列作为块进行读取,每个块特区特征,然后利用LSTM来阐述这些特征。换句话说,对于某一个时间序列进行再平均分割,然后让CNN模型来提取每个分割的子序列的特征。

    部分代码如下

    	verbose, epochs, batch_size = 0, 25, 64
    	n_timesteps, n_features, n_outputs = trainX.shape[1], trainX.shape[2], trainy.shape[1]
    	# reshape data into time steps of sub-sequences
    	n_steps, n_length = 4, 32
    	trainX = trainX.reshape((trainX.shape[0], n_steps, n_length, n_features))
    	testX = testX.reshape((testX.shape[0], n_steps, n_length, n_features))
    	model = Sequential()
    	model.add(TimeDistributed(Conv1D(filters=64, kernel_size=3, activation='relu'), input_shape=(None,n_length,n_features)))
    	model.add(TimeDistributed(Conv1D(filters=64, kernel_size=3, activation='relu')))
    	model.add(TimeDistributed(Dropout(0.5)))
    	model.add(TimeDistributed(MaxPooling1D(pool_size=2)))
    	model.add(TimeDistributed(Flatten()))
    	model.add(LSTM(100))
    	model.add(Dropout(0.5))
    	model.add(Dense(100, activation='relu'))
    	model.add(Dense(n_outputs, activation='softmax'))
    	model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy'])
    	model.fit(trainX, trainy, epochs=epochs, batch_size=batch_size, verbose=verbose)
    	_, accuracy = model.evaluate(testX, testy, batch_size=batch_size, verbose=0)

    结论如下

    >#1: 90.838
    >#2: 91.008
    >#3: 91.788
    >#4: 91.822
    >#5: 92.094
    >#6: 90.295
    >#7: 88.191
    >#8: 90.974
    >#9: 90.092
    >#10: 90.397
    [90.83814024925232, 91.00780487060547, 91.78826212882996, 91.82218909263611, 92.09365248680115, 90.29521346092224, 88.19137811660767, 90.97387194633484, 90.09161591529846, 90.39701223373413]
    Accuracy: 90.750% (+/-1.071)

    3构建ConvLSTM网络模型

    CNN-LSTM模型的进一步扩展是执行CNN的卷积作为LSTM模型的部分,两者的结合叫做卷积-长短期记忆网络(ConvLSTM),和CNN-LSTM一样应予以时空数据。

    不同于LSTM模型为了计算内部状态和状态转变直接读取数据,也不同于CNN-LSTM模型通过对CNN模型的输出作为LSTM模型的输入,ConvLSTM模型直接使用卷积层作为LSTM模型单元的输入内容。

    部分代码如下

    、
    	verbose, epochs, batch_size = 0, 25, 64
    	n_timesteps, n_features, n_outputs = trainX.shape[1], trainX.shape[2], trainy.shape[1]
    	# reshape into subsequences (samples, time steps, rows, cols, channels)
    	n_steps, n_length = 4, 32
    	trainX = trainX.reshape((trainX.shape[0], n_steps, 1, n_length, n_features))
    	testX = testX.reshape((testX.shape[0], n_steps, 1, n_length, n_features))
    、
    	model = Sequential()
    	model.add(ConvLSTM2D(filters=64, kernel_size=(1,3), activation='relu', input_shape=(n_steps, 1, n_length, n_features)))
    	model.add(Dropout(0.5))
    	model.add(Flatten())
    	model.add(Dense(100, activation='relu'))
    	model.add(Dense(n_outputs, activation='softmax'))
    	model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy'])
    、
    	model.fit(trainX, trainy, epochs=epochs, batch_size=batch_size, verbose=verbose)
    、
    	_, accuracy = model.evaluate(testX, testy, batch_size=batch_size, verbose=0)

    结论如下

    >#1: 91.517
    >#2: 91.042
    >#3: 90.804
    >#4: 92.263
    >#5: 89.684
    >#6: 88.666
    >#7: 91.381
    >#8: 90.804
    >#9: 89.379
    >#10: 91.347
    
    [91.51679674244994, 91.04173736002714, 90.80420766881574, 92.26331862911435, 89.68442483881914, 88.66644044791313, 91.38106549032915, 90.80420766881574, 89.37902952154734, 91.34713267729894]
    
    Accuracy: 90.689% (+/-1.051)

    展开全文
  • 基于可穿戴传感器的人类活动识别的自动标记框架
  • 行为识别简单概述

    千次阅读 2019-11-12 19:56:47
    在计算机技术讨论课程结束后,我非常感兴趣张老师所讲述的关于一些我未曾想过的领域,其中我最为感兴趣的莫过于行为识别技术了,行为识别技术当然不是需要我们人类去进行一个一个的分析,而是需要计算机去看,去分析...

    行为识别简单概述

    在计算机技术讨论课程结束后,我非常感兴趣张老师所讲述的关于一些我未曾想过的领域,其中我最为感兴趣的莫过于行为识别技术了,行为识别技术当然不是需要我们人类去进行一个一个的分析,而是需要计算机去看,去分析,这就非常的有意思了。

    视觉是人与外界进行信息交流的重要渠道和重要方式,根据相关的研究结果显示,人体有超过80%的外界感知信息源自视觉,远远超过第二感知途径(听觉为10%)的信息感知量。在当今社会,在摄像头大量普及的当下,单一的摄像头加上一个人看着很多显示器的时代已经过去,我们需要的是让摄像头,让电脑帮我们去分析计算或者筛选出我们需要的某一个或者多个目标,当然因为我国的国土面积大,信息资源丰富同时也意味着我国拥有海量的数据进行分析,在此我们便需要计算机帮我们去做更多的事。

    在这里运动人体图像检测主要需要图形图像基础,静态图像分割,动态图像分割以及人体动作数据库等。而动作特征提取需要包括人体动作特征。行为识别方法包括基于模板的方法,基于概率统计的方法,基于语法的方法以及基于深度图像的识别。

    因为这是一个很大的科目在这里就简要的说明一番。

    人体动作数据库有8个,这些分别是1.KTH数据库,2.Weizmann数据库,3.INRIA XMAS数据库,4.UCF体育动作数据库。5.CMU运动数据库,6.SOTON数据库,7.NIST/USF数据库,以及8.CASIA数据库。

    人体动作特征:从大量基于视觉的人体行为识别的现有研究可以得知,人体动作特征主要包括形状,轨迹,光流和局部时空兴趣点等。这些人体动作特征可进一步划分为基于轮廓和形状的静态特征,基于光流或运动信息的动态特征,基于时立方体的时空特征。

    特征提取方法有两种,一种是基于统计的方法和基于模型的方法,基于统计的方法是使用基于统计方法获取的人体运动特征的主要技术是在连续的视频图像序列中计算出人体的运动参数,如速度,轮廓,纹理等,进一步利用其时空统计特征进行分类识别。

    基于模型的方法是指详细描述并且拟合人体四肢结构的特性或者人体在运动图像序列中表现出的各种明显的运动特征,然后根据得到的结果建立相应的模型。

    综上所述,基于模型的方法与基于统计的方法的最大不同之处在于,大部分情况下基于模型的方法能够很好的描述人体运动中肢体各个部分的变化,使运动更加直观化,具体化,能够有效的克服图像视角变化或者是外物遮挡等外界因素的影响,而且可以通过获取关键点的关节角度变化特征来提高身份识别的效果。但是,这一类方法也存在一定的缺陷,例如人体运动模型的建立和模型的恢复难度,以及计算复杂度等,都是在计算机视觉领域一直未能解决的难题。

    基于深度图像的识别的方法有5种。

    1. 基于骨架关节点的方法。
      

    骨关节点是人体的视觉显著点,在4D空间中的运动能够反映动作的语义信息。由于不同时刻的关节点具有自然对应性,这是传统的RGB图像所不具有的的特征,因此大多数基于关节点的方法通常显示的建模人体动作的时间动态特性。

    1. 基于深度映射图像的方法。
      

    相对于精简骨架关节点数据,深度映射图像能够提供关于动作的形状和运动等,更为丰富的信息,此类方法可进一步划分为全局法和局部发。

    1. 基于深度相机3D云数据的方法。
      

    通过深度相机采集的深度映射图像可以直接转换为3D点云数据,利用3D点云数据的动作识别可分为基于局部占有模式和基于曲面法线两种方式。

    1. RGB图像与深度信息融合的多模拟方法。
      

    融合方式可分为特征层融和决策层融合。

    以上就是我在了解一些关于行为识别方面的总结,在学习过程中我发现,行为识别是一门非常有趣且有意义的事,在生活中太多的地方需要行为识别这一项功能,在这一项功能完全成熟后我甚至觉得可以带动科技全新的进步与发展,为人民提供更加安全的社会环境的同时还可以大大节约开支,从此监控室这个房间也许将不复存在。

    展开全文
  • 目的人类行为识别是计算机视觉领域的一个重要研究课题。由于背景复杂、摄像机抖动等原因,在自然环境视频中识别人类行为存在困难。针对上述问题,提出一种基于显著鲁棒轨迹的人类行为识别算法。方法该算法使用稠密光流...
  • 分层聚类多任务学习,用于联合人类行为分组和识别
  • 为提高人类行为识别准确性的同时降低实现过程的复杂程度,提出基于智能手机加速度传感器与陀螺仪数据对六种日常基础行为进行识别的方法。在分析传感器框架的基础上,对加速度传感器进行数据采集并对原始数据进行数据...
  • 一共12个人体行为识别的数据集,基于视频的; 6个图像识别的,有关物体识别、行人识别、年龄识别和人头检测的,基于图像,图像识别数据集参考于博客:http://blog.csdn.net/qq_14845119/article/details/51913171 ...

    一共12个人体行为识别的数据集,基于视频的;

    6个图像识别的,有关物体识别、行人识别、年龄识别和人头检测的,基于图像,图像识别数据集参考于博客:http://blog.csdn.net/qq_14845119/article/details/51913171

    后续可能还会补充。

    视频识别
    1、Weizmann
    内容:

    1、10个类别,每个类别9个视频,背景单一。
    2、180x144

    下载链接: http://www.wisdom.weizmann.ac.il/~vision/SpaceTimeActions.html

    2、KTH
    内容:

    1、共25个人采集,6个类别,每个类别4个情境,3中室外,1种室内,共600个视频。
    2、给出了每个视频4个片段的始末帧位置。
    3、规格:160x120,25fps。

    下载链接: http://www.nada.kth.se/cvap/actions/

    自己整理了一份放在百度云,
    链接:https://pan.baidu.com/s/1cMhy1nW76dFIcOK0RjlkQw 密码:naw4,

    有效期7天

    3、Fire Detection
    内容: 共6个视频,火灾检测。

    下载链接: http://crcv.ucf.edu/data/fire.php

    4、UCF101
    内容:

    1、共13320个视频101个类别,从YouTube采集的真实场景。
    2、分为5大类:人与物交互、baby动作、人人交互、乐器演奏、运动。
    3、规格:320x240,25fps,最小视频为28帧。

    下载链接: http://crcv.ucf.edu/data/UCF101.php

    5、HMDB51
    内容:

    1、共51个类别,6849个视频。每一个类别至少包含101个视频。
    2、从电影、视频网站上采集。
    3、包含5大类:面部动作(微笑、大笑、咀嚼、说话);面部与物交互动作(吃饭、喝水、抽烟);身体运动(翻跟斗、拍手、爬上等);身体与物交互运动(梳头发、拔剑等);人人交互运动(击剑、拥抱、接吻等)

    下载链接: http://serre-lab.clps.brown.edu/resource/hmdb-a-large-human-motion-database/#dataset

    6、VISAL
    内容:

    1、包含很多数据集,船只数据、纹理合成数据、交通拥挤数据、拥挤人群数据UCSD(行人、人注释、人数、线划分)、人3D姿态数据MADS。
    2、可下载拥挤人群和人姿态。

    下载链接: http://visal.cs.cityu.edu.hk/downloads/

    7、Monitoring Human Activity
    内容:

    1、数据量很小,且需要单独下载,有空可下载。

    下载链接: http://mha.cs.umn.edu/index.shtml

    8、HOLLYWOOD2
    内容:

    1、人体动作:12个类别。
    2、场景:10个类别。
    3、共3669个视频,20.1个小时。
    4、从69部电影中采集。
    5、视频样本中行为人的表情、姿态、穿着,以及相机运动、光照变化、遮挡、背景等变化很大,接近于真实场景下的情况,因而对于行为的分析识别极具挑战性。

    下载链接: http://www.di.ens.fr/~laptev/actions/hollywood2/

    9、YouTube-8M
    内容:

    1、800万个标注视频,每个视频120s到500s。

    下载链接: https://research.google.com/youtube8m/

    10、Moments in Time Dataset
    内容:

    1、100万个标注视频,每个视频3秒。

    下载链接: http://moments.csail.mit.edu/

    11、TRECVID
    内容:

    如何下载,没看明白,暂时先不管。

    下载链接: http://www-nlpir.nist.gov/projects/tv2008/tv2008.html#1

    12、CMU Graphics Lab Motion Capture Database
    内容:

    应该是一些骨骼点动作捕捉,下载链接分散,很难下载,需要写脚本。

    下载链接: http://mocap.cs.cmu.edu/

    图像识别
    1、ImageNet
    内容: 物体识别

    ImageNet是一个计算机视觉系统识别项目,是目前世界上图像识别最大的数据库。是美国斯坦福的计算机科学家李飞飞模拟人类的识别系统建立的。能够从图片识别物体。目前已经包含14197122张图像,是已知的最大的图像数据库。

    下载链接: http://www.image-net.org/

    2、CIFAR
    内容: 物体识别

    CIFAR-100由60000张图像构成,包含100个类别,每个类别600张图像,其中500张用于训练,100张用于测试。其中这100个类别又组成了20个大的类别,每个图像包含小类别和大类别两个标签。官网提供了Matlab,C,python三个版本的数据格式。

    下载链接: http://www.cs.toronto.edu/~kriz/cifar.html

    3、INRIA Person Dataset
    内容: 行人检测

    Inria数据集是最常使用的行人检测数据集。其中正样本(行人)为png格式,负样本为jpg格式。里面的图片分为只有车,只有人,有车有人,无车无人四个类别。图片像素为70134,96160,64*128等。

    下载链接: http://pascal.inrialpes.fr/data/human/

    4、CaltechPedestrian Detection Benchmark
    内容: 行人识别

    下载链接: http://www.vision.caltech.edu/Image_Datasets/CaltechPedestrians/

    5、Adience
    内容: 性别年龄识别

    该数据集来源为Flickr相册,由用户使用iPhone5或者其它智能手机设备拍摄,同时具有相应的公众许可。该数据集主要用于进行年龄和性别的未经过滤的面孔估计。同时,里面还进行了相应的landmark的标注。是做性别年龄估计和人脸对齐的一个数据集。图片包含2284个类别和26580张图片。

    下载链接: http://www.openu.ac.il/home/hassner/Adience/data.html#agegender

    6、HollywoodHeads dataset
    内容: 人头检测

    该数据集为从视频中截取的图片,包含224740张jpeg格式图片,还有xml格式的标注,和VOC的标注方式一样。

    下载链接: http://www.di.ens.fr/willow/research/headdetection/release/HollywoodHeads.zip

    原文链接:https://blog.csdn.net/liuxiao214/article/details/78889662

    展开全文
  • 这几天开始接触人体行为识别,经过多方对比后,选择了现在最热的人体骨架提取开源库,openpose。下面就不多说了,直接开始openpose在win10下的配置:需求如下:1. VS2019 据说VS2015以上的版本就可以,VS201x主要是...
  • 利用2D CNN实现人体行为识别

    千次阅读 2022-03-21 18:31:35
    UCI HAR、2D CNN
  • 基于安卓Android的人体动作行为识别系统APP设计(Android studio)(论文12000字,程序代码)摘要:Android手机已经成为我们大部分人日常生活中不可或缺的一部分,而且其功能的日益强大也让其可开拓性越来越强,其自携带...
  • 使用如数据挖掘、机器学习、模式识别等多种技术,对于人类行为中的表层及深层特征进行提取,精确表达出目标姿态、站立、行走、奔跑、跳跃等各类形式的静止或运动状态。目前人体行为识别主要有头部运动识别、手势识别...
  • 【TensorFlow】 基于LSTM的行为识别

    千次阅读 2019-12-16 19:51:30
    本文基于LSTM来完成用户行为识别。数据集来源:https://archive.ics.uci.edu/ml/machine-learning-databases/00240/ 此数据集一共有6种行为状态: 行走; 站立; 躺下; 坐下; 上楼; 下楼; 以上6种行为...
  • 学习有效的事件模型以识别大量的人类行为
  • 我们将它们的性能与以前研究的其他模型进行了比较,结果表明,使用人类行为数据集进行预训练然后使用鼠标行为数据集进行微调的深度学习模型的性能要优于先前研究的其他模型。 它还显示了将这些深度学习模型应用于...
  • 人类活动加速度传感器数据,包括行走,工作,上楼梯等一些列活动

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 47,971
精华内容 19,188
关键字:

人类行为识别

友情链接: SLPE.zip