基于人体姿态的时空动作检测(cpu fps25+)

tf_q568897492 2022-11-12 00:05:11

视频实时多人姿态估计 cpu fps33+

实时视频动作检测(action detection)

基于人体姿态的跌倒检测

yolov5 烟雾和火焰检测

在计算机视觉中, 人体姿态估计是指基于视频，图像信息对人体的各个关节和刚性部件进行准确检测和有效组合, 其目的是获取人身体各个关键点的位置, 得到正确位置后, 对关键点进行正确的连接形成人体骨架信息, 后续研究可以利用骨架信息对人的动作和行为进行分析一般我们可以这个问题再具体细分成4个任务：

单人姿态估计 (Single-Person Skeleton Estimation)
多人姿态估计 (Multi-person Pose Estimation)
人体姿态跟踪（Video Pose Tracking)
3D人体姿态估计（3D Skeleton Estimation)

人体姿态估计在人机交互、智能监控、虚拟现实以及运动分析等领域有着广阔的应用前景.本文主要介绍在人机交互和智能监控领域的应用.。

人机交互：人机交互指人与机器的互动和交流,目的是让机器人能理解和模仿人的语言和行为,让人类能够更有效、更自然地与机器人互动.想要实现互动自然,传统的输入输出方式是远远不够的,人与人之间的互动交流在很大程度上依赖于语音和视觉,因此人机交互势必会沿着语音和视觉交互的方向发展. 姿态估计作为计算机视觉。

人体姿态估计目前最为广泛的应用是在智能监控中.随着人们安防意识的提升以及监控技术的日益成熟,智能监控系统的应用领域在不断扩大.智能监控与普通监控的区别主要在于其将人体姿态估计技术嵌入视频服务器中,运用算法估计、判断监控画面场景中的人体姿态,提取其中的关键信息,当出现异常行为时及时向用户发出警报. 智能监控可应用于校园、监狱、家居、医院等场景,例如, 将智能化监控引入校园,智能化监控系统利用人体姿态估计监测学生的心理状态,有效防止校园暴力事件的发生。

姿态估计还可应用于体育项目、队列评分、智能驾驶、厅店零售等.例如,在体育领域建立人工智能教练系统来帮助运动员调整专业动作,为运动员提供个性化的运动训练体验。

自定义数据集概述：

根据生成数据集#fall1.mp4 ==0 fight1.mp4==1 stand1.mp4==2 walk1.mp4==3

用关键点模型从每个视频（视频格式720p MP4）提取骨骼关键点制作数据集.

fall(跌倒),0
fight(打架),1
stand(站立),2
walk1(走动),3

单个帧的输入（其中 j 指关节）存储为：

[ j0_x，j0_y，j1_x，j1_y，j2_x，j2_y，j3_x，j3_y，j4_x，j4_y，j5_x，j5_y，j6_x，j6_y，j7_x，j7_y，j8_x，j8_y，j9_x，j9_y，j10_x，j10_y，j11_x，j12_y， j12_y，j13_x，j13_y，j14_x，j14_y，j15_x，j15_y，j16_x，j16_y]

对于以下实验，对数据集进行了很少的预处理。采取了以下步骤：

关键点模型在单个帧上运行，针对每个主题、动作和视图，输出 17 个关节 x 和 y 位置关键点以及每帧的准确度转换为 txt 格式，仅保留每帧的 x 和 y 位置、帧期间执行的操作以及帧的顺序。这用于创建关联活动类别编号和相应系列的关节 2D 位置的数据库没有进行进一步的预置。

方案说明：

使用关键点检测和多目标姿态跟踪获取视频输入中的行人及跟踪ID序号，对每个人的动作分别识别。
截取每个人，并使用得到对应的17个骨骼特征点，骨骼特征点的顺序及类型与COCO一致。
每个跟踪ID对应的目标行人各自累计骨骼特征点结果，组成该人物的时序关键点序列。当累计到预定帧数，动作检测模型判断时序关键点序列的动作类型，输出每个人动作标签。
可以直接在(点击进入)免费云gpu上运行
支持自定义数据集和训练自己的动作类别，支持本地摄像头推断。
自定义数据集方法：找单人的单动作类型的视频，不要找镜头一直切换的，要找像监控那样镜头基本不动的，不同视频可以用win10的视频编辑器拆分拼接为一个长视频，有几个动作类型就拼接几个长视频，视频格式为mp4，720p。