(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210774165.9 (22)申请日 2022.07.01 (71)申请人 昆明理工大 学 地址 650093 云南省昆明市五华区学府路 253号 (72)发明人 王森　李茂　陈明方　林森　 吴锦秀　柴尚磊　杨荣良　王庆健　 祝阳　郉开哲　 (74)专利代理 机构 昆明人从众知识产权代理有 限公司 5 3204 专利代理师 陈波 (51)Int.Cl. G06T 7/73(2017.01) G06V 10/44(2022.01) G06V 10/764(2022.01)G06V 10/82(2022.01) G01H 9/00(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种深度学习网络模型的构建方法及应用 (57)摘要 本发明公开了一种深度学习网络模型的构 建方法及应用， 属于视觉振动位移测量和计算机 视觉领域。 本发 明的深度学习网络模 型的构建方 法利用CSPDarknet特征提取的骨干网络、 注意力 机制模块、 PAFPN模块和头部定位模块构建深度 学习网络模型。 本发明构建了深度学习网络模 型； 进一步地， 以高速视频中的桥梁柔性结构体 作为振动位移测量的对象， 将深度学习网络模型 引入到视觉振动测量领域， 并从多角度验证了深 度学习方法在视觉振动测量方面的可行性， 且该 测量方式具有非接触、 远距离、 多点同步测量等 优势。 权利要求书1页 说明书9页 附图12页 CN 115294196 A 2022.11.04 CN 115294196 A 1.一种深度学习网络模型的构建方法， 其特征在于： 利用CSPDarknet特征提取的骨干 网络、 注意力机制模块、 PAFPN模块和头 部定位模块构建深度学习网络模型。 2.根据权利要求1所述的深度学习网络模型的构 建方法， 其特征在于： 所述CSPDarknet 特征提取的骨干网络包括Focus模块、 4个CBS模块、 SPP 模块、 4个CSPLayer模块； 在特征提取 部分新增 加一个浅层特 征层输出， 即通过 特征提取模块获得S1、 S2、 S3、 S4。 3.根据权利要求2所述的深度学习网络模型的构建方法， 其特征在于： 所述4个 CSPLayer模块中Bot tleneck模块的数量依次分别为1、 3、 3、 1。 4.根据权利要求1所述的深度 学习网络模型的构建方法， 其特征在于： 将骨干网络输出 的特征图S1、 S2、 S3、 S4经过注意力机制模块， 获得 特征图X1、 X2、 X3、 X4。 5.根据权利要求1所述的深度学习网络模型的构建方法， 其特征在于： PAFPN模块分为 自顶向下和自底向上的双向融合过程； 依据注意力机制模块输出的特征图X1、 X2、 X3、 X4， 通 过自顶向下过程得到特征图C1、 C2、 C3、 C4； 依据C1、 C2、 C3、 C4通过自底向上过程得到 特征图P1、 P2、 P3、 P4。 6.根据权利要求1所述的深度 学习网络模型的构建方法， 其特征在于： 所述头部定位模 块对PAFPN模块输出的特征图P1、 P2、 P3、 P4先各自通 过一个C1BS模块， 得到分类部分和回归 部 分； 然后将这2个部分分别通过两个C3BS模块， 回归部分得到回归分支和背景分支， 分类部 分得到分类分支； 将3个分支分别通过一个1 ×1的卷积， 获得分支的预测结果； 其中， C1BS模 块表示采用1 ×1卷积， C3BS模块表示采用3 ×3卷积； 通过KL散度来代替回归分支的原水平 框的IOUl oss损失函数。 7.根据权利要求6所述的深度 学习网络模型的构建方法， 其特征在于： 所述 回归分支用 于获得特征点的回归参数， 即判断目标区域的候选框位置； 背景分支用于判断特征点是否 包含物体； 分类分支用于判断特 征点所包 含的目标类别。 8.一种深度学习网络模型在振动结构体中的应用， 其特 征在于： 包括： 获取振动结构体数据集并将其划分为训练数据集和验证数据集； 通过标注工具， 分别对训练数据集和验证数据集进行 标注得到训练集与验证集； 采用权利要求1 ‑7中任一项所述方法构建深度学习网络模型； 修改配置文件中的超参数， 获得训练参数； 调用训练集和配置文件开始对深度学习网络模型进行训练， 训练结束获得候选 权重； 用验证集对候选权重性能进行评估， 以量化候选权重的性能， 将最优权重载入深度学 习网络模型， 获得 载入最优权 重后的深度学习网络模型； 将新获取的待检测的振动结构体图像输入至载入最优权重后的深度学习网络模型进 行检测， 获得 预测结果。 9.根据权利要求8所述深度学习网络模型在振动结构体中的应用， 其特征在于： 所述预 测结果包括特征点的回归参数， 即判断目标区域的候选框位置， 共有5个参数[x,y,w1,h1, θ ]， 在每个特征图共有h ×w×5个输出； 包括特征点包含目标的概率值， 在每个特征图共有h ×w×1个输出； 还包括目标类别， 在每个特征图共有h ×w×m个输出； 其中， x,y分别表示候 选框中心点的X轴、 Y轴坐标， w1,h1, θ 分别表 示候选框的宽度、 高度、 旋转角度； w,h分别表示 特征图的宽度、 高度， m表示目标类别的数量。权　利　要　求　书 1/1 页 2 CN 115294196 A 2一种深度学习 网络模型的构建 方法及应用 技术领域 [0001]本发明涉及 一种深度学习网络模型的构建方法， 属于视觉振动位移测量和计算机 视觉领域。 背景技术 [0002]在视觉测量领域中， 传统的位移测量方法主要有 目标检测算法和追踪算法， 基于 目标检测的模板匹配算法适用于目标与 环境色差较大的单一场景测量， 而常用的追踪算法 受亚像素精度的影响在位移测量过程中会出现较大的误差， 均不适用于在实际的复杂场景 中应用。 随着计算机硬件的更新迭代， 使用深度学习网络模型进行结构体的视觉振动测量 越来越普遍， 但目前 的大部分深度学习算法更加侧重于目标识别的准确 性， 而忽略定位的 准确性和目标存在旋转的情况， 且检测时用于匹配的水平矩形框也会因引入较多的背 景信 息而提高目标的误检率。 另外， 由于相机和检测对象会存在一定的倾斜， 大跨度桥梁受扰动 后会存在一定转动等情况， 这都会进一步导致了预测精度不高的情况， 这些都必将会影响 深度学习算法的测量， 进一步会影响结构 体最终的振动位移测量。 为了解决此类问题， 有必 要提出了一种新的深度学习网络模型的构建方法。 发明内容 [0003]本发明提供了一种深度学习网络模型的构建方法及应用， 以用于构建深度学习网 络模型， 进一步用于振动结构体测 量， 以非接触的方式实现振动结构体中多目标检测及振 动位移视 觉测量。 [0004]本发明的技术方案是： 一种深度学习网络模型的构建方法， 利用CSPDarknet特征 提取的骨干网络、 注意力机制模块、 PAFPN模块和头 部定位模块构建深度学习网络模型。 [0005]所述CSPDarknet特征提取的骨干网络包括Focus模块、 4个CBS模块、 SPP模块、 4个 CSPLayer模块； 在特征提取部分新增加一个浅层特征层输出， 即通过特征提取模块获得S1、 S2、 S3、 S4。 [0006]所述4个CSPLayer模块中Bot tleneck模块的数量依次分别为1、 3、 3、 1。 [0007]将骨干网络输出的特征图S1、 S2、 S3、 S4经过注意力机制模块， 获得特征图X1、 X2、 X3、 X4。 [0008]PAFPN模块分为自顶 向下和自底向上的双向融合过程； 依据注意力机制模块输出 的特征图X1、 X2、 X3、 X4， 通过自顶向下过程得到 特征图C1、 C2、 C3、 C4； 依据C1、 C2、 C3、 C4通过自底 向上过程得到特 征图P1、 P2、 P3、 P4。 [0009]所述头部定位模块对PAFPN模块输出的特征图P1、 P2、 P3、 P4先各自通过一个C1BS模 块， 得到分类部分和回归部分； 然后将这2个部分分别通过两个C3BS模块， 回归部分得到回 归分支和背景分支， 分类部分得到分类分支； 将3个分支分别通过一个1 ×1的卷积， 获得分 支的预测结果； 其中， C1BS模块表示采用1 ×1卷积， C3BS模块表示采用3 ×3卷积； 通 过KL散度 来代替回归分支的原水平框的IOU  loss损失函数。说　明　书 1/9 页 3 CN 115294196 A 3