工厂人员违规行为识别系统借助视频监控ai分析技术 计算机视觉学习技术,人员违规行为识别系统利用现场已有监控摄像头,对车间园区人员擅自离岗、玩手机、区域入侵、吸烟、劳保服不佩戴等个人行为实时检测分析,当系统识别到人员违规行为立即抓拍提醒,违规截图和视频保存到数据库系统生成表,推到后台人员妥善处理,及时纠正不符合操作规范的行为。
目标:给定一段视频,通过分析,得到里面人员的动作行为。
问题:可以定义为一个分类问题,通过对预定的样本进行分类训练,解决一个输入视频的多分类问题。 这里提出的问题是简单的图片(视频)分类问题,该问题的前提条件是:场景目标为单人,并且占据图片比较大的比例,
我们将算法描述为以下步骤:
1)在原始图像多尺度上进行密集特征点采样,采样间隔为W(上图左);
2)进行有效的特征点筛选(只保留有用的),这里选用的方式是基于自相关矩阵的特征值;
和直接通过surf去选择特征点的思路基本上一样。该 Step 形成空域信息。
3)跟踪特征点,在时间轴形成特征点的轨迹序列(上图中);该 Step 形成时域信息。
4)对应每个时间片上的每个特征点,在该点影响范围内 分别进行特征采样(HOG、HOF、MBH)(上图右),
对序列进行编码(Fisher Vector),得到 Total 特征;
5)采用分类器(SVM)进行分类;
描述非常清晰,通过CNN网络对 single frame 提取图像的特征信息,下面通过多帧间的密集光流(与iDT类似)提出时域信息,后面通过 fusion+分类来输出结果。针对 Two Stream 的改进比较多,主要思路包括 网络的改进、Fusion 方法、结合RNN(LSTM)、选择Key Frame等, 这里没有太多创新的东西,可以自己refer一下。与传统卷积的区别就在于将平面特征的提取扩展到3维,将空域特征和时域特征同时提取,该方法相比传统的2D方法,效率有明显的提高,基于VGG-like网络帧率达到了300FPS+。