(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210216967.8 (22)申请日 2022.03.07 (71)申请人 华录智达科技股份有限公司 地址 116000 辽宁省大连市高新 技术产业 园区黄埔路717号 华录大厦14层 (72)发明人 孙强　张世强　孙宏飞　赵岩　 王金刚　 (74)专利代理 机构 大连东方专利代理有限责任 公司 21212 专利代理师 陈丽　李洪福 (51)Int.Cl. G06Q 10/06(2012.01) G06Q 50/26(2012.01) G06V 20/40(2022.01) G06V 20/52(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种公交业 务智能管理平台 (57)摘要 本发明公开了一种公交业务智能管 理平台， 涉及公交智能监测技术领域， 针对乘 坐公交车的 乘客因身体不适导致的异常进行实时监测和管 理， 采用了视频和生理信号相结合的监测方式， 通过对乘客的视频图像以及乘客的生理信号进 行分析， 及时准确的发现乘客出现身体不适， 确 保在乘客出现各种状况时予以及时有效的帮助。 在硬件方面， 仅在专座上布置生理信号监测垫， 再利用公交车上已有的摄像头即可 实施， 无需对 公交车做出大幅改动， 易于实施； 在软件 方面， 利 用2D/3D卷积联合的神经网络， 提升了异常行为 识别的性能和效率； 采用将视频图像 分析与生理 信号分析相结合， 以及人工确认的乘 客异常识别 判定方式， 最大限度的降低了误判。 权利要求书2页 说明书7页 附图3页 CN 114580913 A 2022.06.03 CN 114580913 A 1.一种公交业务智能管理平台， 其特征在于， 所述公交业务智能管理平台主要包括： 用 于对多个乘客因身体不适导致的异常进行监测的乘客监测管理系统； 所述乘客监测管理系 统包括： 平台端和公交车端； 其中： 平台端包括： 用于接收公交车端传输的视频信息的视频信息 接收单元； 用于接收公交车端传输的生理信息的生理信息 接收单元； 用于对视频信息接收单元得到的视频信息和生理信息接受单元得到的生理信息进行 预处理的数据预处 理单元； 用于接收数据 预处理单元传输的视频流中的图片帧稀疏处理后的数据， 对视频流中的 图片帧稀疏 处理后的数据采用图像分割模型对图像中的各个乘客进行分割， 之后针对分割 后的每个子图像采用基于深度学习的异常分析模型对乘客的异常行为和 正常行为进行区 分， 得到乘客乘坐公交车时正常行为和异常行为的区分结果的视频 数据分析 单元； 用于分析预处理过的生理信 息信号的生理信 息分析单元， 所述生理信 息分析单元提取 其中的BC G信号、 呼吸信息以及体动信息并分别解析， 得到人体心 率值和呼吸频率以及确定 乘客是否在座位上； 判断分析出的生理信息是否在安全阈值内， 如果在安全阈值内， 则分析 结果为正常， 如果 不在安全阈值内， 则分析 结果为异常； 用于结合视频数据分析单元和生理信息数据分析单元的分析结果确定乘客是否出现 因身体不 适导致的异常的异常确定单 元； 用于当异常确定单元确定公交车上有乘客出现异常时， 发出报 警给中央监控室的监控 人员， 由监控人员基于 视频进行进一 步确认， 并在确认之后触发调度单 元的报警单 元； 用于调度救护车或者空闲公交车辆至该乘客所在的公交车的位置， 以便对乘客实施救 治以及其 他乘客的转用的调度单 元； 公交车端包括： 用于利用摄像头采集和传输公交车厢内乘客的视频数据的视频数据采集及传输单元， 以及， 用于利用各个座位上布置的生理信息监测垫采集和传输公交车座位上乘客的生理信 息的生理信息采集以及 传输单元。 2.根据权利要求1所述的一种公交业务智能管理平台， 其特征在于， 所述图像分割模型 采用基于掩膜的区域卷积神经网络 。 3.根据权利要求1所述的一种公交业务智能管理平台， 其特征在于， 所述异常分析模型 为由2D卷积子网络和3D卷积子网络经 过特征拼接结合而成的深度学习模型； 2D卷积子网络由四个Ghost ‑Bottleneck块拼接而 成， 其中Ghost ‑Bottleneck块又由两 个GhostModule模块和一个深度可分离卷积模块堆叠而成， 而GhostModule又分为主卷积运 算和简单转换运算， 先 由主卷积生成特征图， 然后使用简单转换运算对主卷积生成的特征 图进行变换， 最后把两部分的特征图拼接到一起， 输入到下一个GhostModule； 在第4个 Ghost Bottleneck块中加入SE模块的注意力机制； 3D卷积子网络采用的是3D ‑Shufflenetv2的结构， 由6个3D卷积模块组成， 其中， 每个3D 卷积模块是由1 ×1×1、 3×3×3和1×1×1卷积分别计算， 最后合并到一起到下一个3D卷积 模块， 最后用全连接层分类出异常和正常行为。权　利　要　求　书 1/2 页 2 CN 114580913 A 24.根据权利要求1所述的一种公交业务智能管理平台， 其特征在于， 生理信 息监测垫在 其垫体内部设置有采集 生理信息的生理信息采集装置以及信息传输装置； 生理信息采集装置包括压电薄膜传感器和压力传感器， 压电薄膜传感器用于检测微弱 的变化信号， 基于所述微弱的变化信号能够得到生理信号； 压力传感器用于检测有无人在 座椅上。 5.根据权利要求1所述的一种公交业务智能管理平台， 其特征在于， 所述生理信 息包括 呼吸频率和心率 值。 6.根据权利要求1所述的一种公交业务智能管理平台， 其特征在于， 所述座位为 “老、 弱、 病、 残、 孕”专座。 7.根据权利要求6所述的一种公交业务智能管理平台， 其特征在于， 针对视频图像信 息， 预处理包括目标区域裁剪以及图片帧稀疏化处理， 目标区域为公交车厢内 “老、 弱、 病、 残、 孕”专座所在区域； 对每个图片帧都进 行目标区域裁剪； 稀疏化处理指的是： 通过滑动窗 口的方式对图片帧进 行两步预 处理， 第一步选以8秒为一个片段， 一个片段取16帧的稀疏采 样后， 将这16帧处理成224 ×224大小的图片帧， 第二步是将图片帧转化为模型能接受的张 量格式； 针对生理信息， 预处理包括去噪和分割， 去噪， 即去除工频干扰与信号基线， 得到原始 波形数据； 分割指的是区分该座位上不同乘客的生理信号， 以压力传感器检测到的是否有 乘客坐在座位上的时间节点为依据， 将 检测到有乘客坐在座位上和检测到有乘客离开座位 的时间段采集到的生理信号作为 一个乘客的生理信号。 8.根据权利要求1所述的一种公交业务智能管理平台， 其特征在于， 异常确定单元具体 用于： 根据采集 时间以及座位号匹配视频数据和生理信 息， 匹配后的视频数据和生理信 息为 同一乘客的信息； 若视频数据分析单元的分析结果为乘客出现异常， 且生理信 息数据分析单元的分析结 果为乘客出现异常， 则确定该乘客出现异常。 9.根据权利要求1所述的一种公交业务智能管理平台， 其特征在于， 心跳的安全阈值为 不超过80次/分， 呼吸频率的安全阈值 为12次/分 ‑24次/分。权　利　要　求　书 2/2 页 3 CN 114580913 A 3