(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210208634.0 (22)申请日 2022.03.04 (71)申请人 北京交通大 学 地址 100044 北京市海淀区北 下关街道上 园村3号 (72)发明人 丁鑫　王智　刘彪　谢子灿　 傅子玲　蒋瑞　王慧莹　郑赟　 张正贤　 (74)专利代理 机构 北京安度修典专利代理事务 所(特殊普通 合伙) 11424 专利代理师 杨方成　马欢萍 (51)Int.Cl. G06V 20/59(2022.01) G06V 40/20(2022.01) G06V 10/26(2022.01)G06V 10/762(2022.01) G06V 10/764(2022.01) G06K 9/62(2022.01) G01S 13/86(2006.01) (54)发明名称 一种基于深度学习的列车驾驶员行为分析 系统及方法 (57)摘要 本发明公开了一种基于深度学习的列车驾 驶员行为分析系统及方法， 其中该系统包括： 数 据采集设备， 用于采集目标列车驾驶员的多个肢 体动作视频数据； 边缘服务器， 用于对目标列车 驾驶员的多个肢体动作视频数据进行预处理， 采 用目标检测算法及目标训练模型对预处理后的 目标列车驾驶员的多个肢体动作视频数据进行 分类预测处理， 得到目标列车驾驶员的肢体动作 预测结果； 云端服务器， 用于创建列车驾驶员规 范动作数据集， 利用列车驾驶员规范动作数据集 训练目标训练模 型及预测目标检测算法， 并反馈 给边缘服务器。 本发明采用RGB ‑D相机采集目标 驾驶员的多个肢体动作视频数据， 并对其进行预 处理及分类预测， 得到目标驾驶员的多个肢体动 作的准确预测结果。 权利要求书2页 说明书8页 附图6页 CN 114758325 A 2022.07.15 CN 114758325 A 1.一种基于深度学习的列车驾驶员行为分析系统， 其特 征在于， 包括： 数据采集设备， 用于采集目标列车驾驶员的多个肢体动作视频 数据； 边缘服务器， 用于接收所述数据采集设备采集的目标列 车驾驶员的多个肢体动作视频 数据， 对所述 目标列车驾驶员的多个肢体动作视频数据进行预处理， 采用目标检测 算法及 目标训练模型对预 处理后的目标列车驾驶员的多个肢体动作视频数据进 行分类预测处理， 得到目标列车驾驶员的肢体动作预测结果， 将预测结果反馈给云端服 务器； 云端服务器， 用于创建列车驾驶员规范动作数据集， 利用列车驾驶员规范动作数据集 训练目标训练模型及预测目标检测算法， 将训练好的目标训练模型及预测后的目标检测算 法反馈给边 缘服务器。 2.根据权利要求1所述的基于深度学习的列 车驾驶员行为分析系统， 其特征在于， 所述 数据采集设备至少包括RGB ‑D相机， 所述RGB ‑D相机用于采集目标列车驾驶员的多个肢体动 作视频数据。 3.根据权利要求1所述的基于深度学习的列 车驾驶员行为分析系统， 其特征在于， 所述 边缘服务器对目标列车驾驶员的多个肢体动作视频 数据进行 预处理， 包括： 对目标列车驾驶员的多个肢体动作视频 数据进行解码处 理； 基于深度与灰度的阈值对解码后的目标列车驾驶员的多个肢体动作视频数据进行滤 波处理； 对滤波处 理后的目标列车驾驶员的多个肢体动作视频 数据进行点云聚类分割； 将点云聚类分割后的多个肢体动作视频数据与滤波后的多个肢体动作视频数据进行 对齐处理， 得到预处 理后的目标列车驾驶员的多个肢体动作视频 数据。 4.根据权利要求1所述的基于深度学习的列 车驾驶员行为分析系统， 其特征在于， 所述 数据采集设备进一 步用于采集列车驾驶员的多个规范动作图像数据。 5.根据权利要求4所述的基于深度学习的列 车驾驶员行为分析系统， 其特征在于， 所述 边缘服务器进一步用于接 收所述数据采集设备采集的列车驾驶员的多个规范动作图像数 据， 并下发至所述云端服 务器； 所述云端服务器进一步用于接收所述边缘服务器下发的列车驾驶员的多个规范动作 图像数据， 对所述列车驾驶员的多个规范动作图像数据进行标签化处理， 得到不同格式的 列车驾驶员的多个规范动作图像数据， 利用不同格式的列车驾驶员的多个规范动作图像数 据构建列车驾驶员规范动作数据集， 采用列车驾驶员规范动作数据集训练所述目标训练模 型及预测所述目标检测算法， 将训练后的目标训练模型及预测后的目标检测算法反馈给所 述边缘服务器。 6.根据权利要求1所述的基于深度学习的列 车驾驶员行为分析系统， 其特征在于， 还包 括： 显示设备， 用于接收所述边缘服务器发送的目标列车驾驶员的多个肢体动作预测结 果， 并显示。 7.一种基于深度学习的列车驾驶员行为分析 方法， 其特 征在于， 包括： 数据采集设备采集目标列车驾驶员的多个肢体动作视频 数据； 边缘服务器接收数据采集设备采集的目标列车驾驶员的多个肢体动作视频数据， 对目 标列车驾驶员的多个肢体动作视频数据进 行预处理， 采用目标检测算法及目标训练模型对权　利　要　求　书 1/2 页 2 CN 114758325 A 2预处理后的目标列车驾驶员的多个肢体动作视频数据进行分类预测处理， 得到目标列车驾 驶员的肢体动作预测结果， 将预测结果反馈给云端服 务器； 云端服务器创建列 车驾驶员规范动作数据集， 利用列 车驾驶员规范动作数据集训练目 标训练模型及预测目标检测算法， 将训练好的目标训练模型及预测 后的目标检测算法反馈 给边缘服务器。 8.根据权利要求7所述的基于深度学习的列 车驾驶员行为分析方法， 其特征在于， 所述 边缘服务器对目标列车驾驶员的多个肢体动作视频 数据进行 预处理的步骤， 包括： 对目标列车驾驶员的多个肢体动作视频 数据进行解码处 理； 基于深度与灰度的阈值对解码后的目标列车驾驶员的多个肢体动作视频数据进行滤 波处理； 对滤波处 理后的目标列车驾驶员的多个肢体动作视频 数据进行点云聚类分割； 将点云聚类分割后的多个肢体动作视频数据与滤波后的多个肢体动作视频数据进行 对齐处理， 得到预处 理后的目标列车驾驶员的多个肢体动作视频 数据。 9.根据权利要求7所述的基于深度学习的列 车驾驶员行为分析方法， 其特征在于， 还包 括： 所述数据采集设备采集列车驾驶员的多个规范动作图像数据。 10.根据权利要求9所述的基于深度学习的列车驾驶员行为分析方法， 其特征在于， 还 包括： 所述边缘服务器接收所述数据采集设备采集的列 车驾驶员的多个规范动作图像数据， 并下发至所述云端服 务器； 所述云端服务器接收所述边缘服务器下发的列 车驾驶员的多个规范动作图像数据， 对 所述列车驾驶员的多个规范动作图像数据进 行标签化处理， 得到不同格式的列车驾驶员的 多个规范动作图像数据， 利用不同格式的列车驾驶员的多个规范动作图像数据构建列车驾 驶员规范动作数据集， 采用所述列车驾驶员规范动作数据集训练目标训练模型及预测目标 检测算法， 将训练后的目标训练模型及预测后的目标检测算法 反馈给所述边缘服务器。权　利　要　求　书 2/2 页 3 CN 114758325 A 3