(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210267563.1 (22)申请日 2022.03.18 (71)申请人 华东师范大学 地址 200241 上海市闵行区东川路5 00号 (72)发明人 朱宝　李响　 (74)专利代理 机构 上海蓝迪专利商标事务所 (普通合伙) 31215 专利代理师 徐筱梅　张翔 (51)Int.Cl. G06V 20/40(2022.01) G06V 20/52(2022.01) G06V 40/10(2022.01) (54)发明名称 一种基于多摄像头协同分析和识别考生异 常行为的方法 (57)摘要 本发明公开了一种基于多摄像头协同分析 和识别考生异常行为的方法， 其特点是采用深度 学习的方法， 从多视角视频中提取识别身体关键 点， 通过计算关键点坐标和四肢坐标相对关系来 判断考生是否具有异常行为， 最后输出识别考生 异常行为的视频， 考生异常行为的识别具体包 括： 1） 利用Alphapo se模型进行人体骨 骼点识别； 2） 异常行为分析及可视化等步骤。 本发 明与现有 技术相比具有精准地识别出考生在一段时间内 发生异常行为的情况， 方法简便、 省时省力、 经 济、 高效， 提高监考效率， 预防考试突发情况发 生， 为考生营造更好的、 更 公平的考试环境， 为监 管人员提供 更高效、 更智能的实时监 考技术。 权利要求书2页 说明书6页 附图4页 CN 115035433 A 2022.09.09 CN 115035433 A 1.一种基于多摄像头协同分析和 识别考生异常行为的方法， 其特征在于采用深度 学习 方法从考场监控视频多角度提取出考生的身体关键点， 利用异常行为规则通过四肢及骨骼 点之间的相对关系判断考生是否有异常行为， 最后可视化考生骨架及其异常行为， 考生异 常行为识别具体步骤 包括下述 步骤: 步骤1： 考 生行为采集设备的搭建 在考场正 面和侧面架设两个高清摄 像头， 从考场的正 面和侧面对考 生进行观测； 步骤2： 考 生身体关键点的识别 从视频影像逐帧获取 图像作为Alphapose模型输入数据， 使用YOLO模型对考生的身体 范围进行标注， 将标注考生范围的数据使用POSE模型进行关键点的识别， 所述关键点为鼻 子、 左右眼、 左右耳、 左右肩、 左右手肘、 左右手腕、 左右臀、 左右膝盖、 左右脚踝和肩中心， 并 将其归整为下述表1的关键点编号： 表1关键点编号 编号 名称 编号 名称 0 鼻子 9 左手腕 1 左眼 10 右手腕 2 右眼 11 左臀 3 左耳 12 右臀 4 右耳 13 左膝盖 5 左肩 14 右膝盖 6 右肩 15 左脚踝 7 左手肘 16 右脚踝 8 右手肘 17 肩中心 步骤3： 制定考 生异常行为的判断规则 1)站立判断 在侧面摄像头图像中若计算的同侧腰与大腿夹角 θ大于169 °夹角， 则判断为站立， 所述 同侧腰与大腿夹角 θ 由下述(a)～(e)式计算： v1＝(x17‑x11,y17‑y11) (a)； v2＝(x13‑x11,y13‑y11) (b): 式中： v1、 v2分别为左臀到肩中心向量和左臀到左膝盖向量； d1、 d2分别为左臀到肩中心 直线距离和左臀到左膝盖直线距离； x11、 y11、 x13、 y13、 x17、 y17为对应其下标编 号的关键点坐 标； 2)举手判断 在正面摄像头图像中若左右手腕关键点y值小于等于相同方位的肩膀y值， 即满足下述 (f)～(g)式判定为举 手；权　利　要　求　书 1/2 页 2 CN 115035433 A 2y5≥y9 (f)； y6≥y10 (g)； 3)左顾右盼判断 在正面摄像头图像中若鼻子横坐标x0大于左肩中点横坐标或小于右肩中点横坐标， 即 满足下述(h)～(i)式判定为左顾 右盼： 步骤4： 考 生异常行为的可视化 1)绘制每 个考生的身体关键点， 并采用不同颜色区分左右边四肢的关键点； 2)根据下述表 2的关键点连接关系绘制四肢 线段： 表2关键点连接关系 部位 关键点连接关系 头部 (0， 1)， (0， 2)， (1， 3)， (2， 4) 手臂 (5， 6)， (5， 7)， (7， 9)， (6， 8)， (8， 10) 躯干 (17， 11)， (17， 12) 腿部 (11， 13)， (12， 14)， (13， 15)， (14， 16) 3)根据异常行为建立文本框展示当前异常行为， 并获取当前考生范围用红色矩形框突 出考生位置， 所述矩形框由左上角坐标、 右下角坐标确定， 具体 计算如下述(j)～(l)式： 右下角坐标： (max(xi)， max(yi)) (j)； 左上角坐标： (mi n(xi)， min(yi)) (k)； 文本坐标： (mi n(xi)， min(yi)‑5) (1)； 4)重复上述1)～4)步骤绘制图像， 直至所有考 生图像绘制完成； 5)若具有异常行为则根据规则将考生四肢和关键点及其对应异常行为可视化在每帧 视频影像中， 最后输出识别考 生异常行为的视频。 2.根据权利要求1所述基于多摄像头协同分析和识别考生异常行为的方法， 其特征在 于所述关键点像素坐标系X轴水平向右为正， Y轴垂直向下为正， 在摄像头图像中某考生关 键点i的像素坐标为(xi， yi)。权　利　要　求　书 2/2 页 3 CN 115035433 A 3