(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210831643.5 (22)申请日 2022.07.15 (71)申请人 北京铁科英迈技 术有限公司 地址 100081 北京市海淀区大柳树路2号主 楼12层 申请人 中国铁道科 学研究院集团有限公司 　 中国铁道科 学研究院集团有限公司 基础设施检测研究所 (72)发明人 王胜春　刘俊博　王乐　方玥　 王宁　赵鑫欣　 (74)专利代理 机构 北京三友知识产权代理有限 公司 11127 专利代理师 杨丹　沈珍珠 (51)Int.Cl. G06T 7/00(2017.01)G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/44(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) (54)发明名称 多源传感器融合的钢轨表面缺陷检测与测 量方法及系统 (57)摘要 本发明提供了一种多源传感器融合的钢轨 表面缺陷检测与测量方法及系统， 包括： 利用钢 轨表面三维数据采集系统， 采集钢轨三维数据； 根据采集的钢轨三维数据， 确定钢轨表面缺陷类 型和钢轨表 面缺陷严重程度， 建立钢轨表面缺陷 数据集， 划分为训练集、 验证集和测试集； 设计主 干网络、 颈部模块和头部模块， 构建三维钢轨表 面缺陷检测与测量网络， 并以此构建基于多源传 感器融合的钢轨表面缺陷检测与测量网络模型， 利用钢轨表面缺陷数据集的训练集和验证集训 练网络模型， 利用测试集测试网络模 型的检测性 能指标， 确定训练好的基于多源传感器融合的钢 轨表面缺陷检测与测量网络模型； 将在真实线路 采集钢轨表 面三维数据输入网络模 型， 确定钢轨 表面缺陷检测结果。 权利要求书5页 说明书19页 附图11页 CN 115131330 A 2022.09.30 CN 115131330 A 1.一种多源传感器融合的钢轨表面 缺陷检测与测量方法， 其特 征在于， 包括： 利用钢轨表面 三维数据采集系统， 采集钢轨三维数据； 根据采集的钢轨三维数据， 确定钢轨表面缺陷类型和钢轨表面缺陷严重程度， 建立钢 轨表面缺陷数据集， 将钢轨表面 缺陷数据集划分为训练集、 验证集和 测试集； 设计主干网络、 颈 部模块和头 部模块， 构建三维钢轨表面 缺陷检测与测量网络； 根据三维钢轨表面缺陷检测与测量网络， 构建基于多源传感器融合的钢轨表面缺陷检 测与测量网络模型， 利用钢轨表面缺陷数据集的训练集和验证集训练基于多源传感器融合 的钢轨表面缺陷检测与测量网络模型， 利用测试集测试训练的基于多源传感器融合的钢轨 表面缺陷检测与测量网络模型的检测性能指标， 在训练的基于多源传感器融合的钢轨表面 缺陷检测与测量网络模型的检测性能指标达到 设定阈值时， 确定训练好的基于多源传感器 融合的钢轨表面 缺陷检测与测量网络模型； 将在真实线路采集钢轨表面三维数据输入训练好的基于多源传感器融合的钢轨表面 缺陷检测与测量网络模型， 确定钢轨表面缺陷检测结果； 所述钢轨表面缺陷检测结果， 包 括： 钢轨表面预测缺陷类型， 钢轨表面预测缺陷严重程度。 2.如权利要求1所述的方法， 其特征在于， 所述钢轨表面三维数据采集系统， 包括： 3D相 机、 线性激光器； 利用钢轨表面 三维数据采集系统， 采集钢轨三维数据， 包括： 利用线性激光器发出光刀平面垂直入射到钢轨表面， 由3D相机获取钢轨表面的激光截 面图像； 所述线性激光器发出的激光线被调制成反映钢轨轮廓信息的光刀平面； 对钢轨表面的激光截面图像进行光刀平面中心提取， 得到光刀平面中心像素坐标； 根据光刀平面中心像素坐标和标定参数， 确定钢轨轮廓数据； 按照采样间隔对钢轨等间距扫描采集， 得到一系列钢轨轮廓数据； 根据采样间隔， 对一系列钢轨轮廓数据按照采样时间顺序等间距排列， 确定钢轨的三 维点云数据； 根据钢轨的三维点云数据， 计算得到钢轨表面的强度图像和深度图像作为钢轨三维数 据。 3.如权利要求2所述的方法， 其特征在于， 根据采集的钢轨三维数据， 确定钢轨表面缺 陷类型和钢轨表面 缺陷严重程度， 建立钢轨表面 缺陷数据集， 包括： 对采集的钢轨三维数据提取钢轨表面的强度图像和深度图像， 在强度图像和深度图像 上标记钢轨表面缺陷的边界框， 为强度图像和深度图像指定深度标签和类别标签； 所述钢 轨表面缺陷的边界框表示钢轨表面缺陷的位置信息， 所述类别标签表示钢轨表面缺陷类 型， 包括： 擦伤， 异 物， 划痕， 掉 块； 根据深度图像和边界框所表示的钢轨表面缺陷的位置信 息， 确定钢轨表面缺陷严重程 度， 建立深度标签； 根据钢轨表面缺陷类型和钢轨表面缺陷严重程度， 构建钢轨表面的强度图像和深度图 像数据集， 结合 边界框、 类别标签和深度标签， 建立钢轨表面 缺陷数据集。 4.如权利要求1所述的方法， 其特 征在于， 设计主干网络， 包括： 根据并行特征提取策略， 创建强度图像主干网络和深度图像主干网络； 所述主干网络 用于提取图像特 征， 输出多尺度特 征图。权　利　要　求　书 1/5 页 2 CN 115131330 A 25.如权利要求 4所述的方法， 其特 征在于， 创建强度图像主干网络， 包括： 根据常规卷积层、 shortcut层、 可变形卷积层、 可变形残差块和 常规残差块， 组成强度 图像主干网络； 所述常规残差块， 包括： 1个1 ×1的常规卷积层， 1个3 ×3的常规卷积层和1个 shortcut层； 所述可变形残差块， 包括： 1个1 ×1的常规卷积层， 1个可变形卷积层和1个 shortcut层； 在常规卷积层和可变形 卷积层后添加批量归一 化层和带泄 露修正线性单 元激活函数， 在每个残差块前使用基于残差块类型的1个3 ×3、 步长为2的卷积层， 强度图像主干网 络对输入的强度图像进行5次下采样操作， 提取图像特征， 输出8倍、 16倍和 32倍3个尺度的 下采样特征图， 作为多尺度特征图； 所述shortcut层用于将各特征图逐元素相加后作为输 出。 6.如权利要求 4所述的方法， 其特 征在于， 创建深度图像主干网络， 包括： 根据常规卷积层、 shortcut层和常规残差块， 组成深度 图像主干网络； 所述常规残差 块， 包括： 1个1 ×1的常规卷积层， 1个3 ×3的常规卷积层和1个shor tcut层； 在常规卷积层后添加批量归一 化层和带泄 露修正线性单 元激活函数， 在每个残差块前使用基于残差块类型的1个3 ×3、 步长为2的卷积层， 深度图像主干网 络对输入的深度图像进行5次下采样操作， 提取图像特征， 输出8倍、 16倍和 32倍3个尺度的 下采样特征图， 作为多尺度特征图； 所述shortcut层用于将各特征图逐元素相加后作为输 出。 7.如权利要求 4所述的方法， 其特 征在于， 设计颈 部模块， 包括： 根据多尺度特征图， 采用空间金字塔池对不同采样率下最大下采样特征图的并行采样 进行卷积， 利用低层特征感受野较小、 包含较多的细节信息和高层特征感受野较大、 包含较 强的语义信息的特点， 将上采样的高层次特征和 低层次特征进 行融合， 创建颈部模块， 输出 3个尺度的具有不同感受野的特征图， 以定义不同的头部模块来预测不同大小的钢轨表面 缺陷的边界框、 分类概 率值以及确定缺陷严重程度。 8.如权利要求7 所述的方法， 其特 征在于， 设计头 部模块， 包括： 根据分辨率将多尺度特征图划分为S ×S网格， 利用每个网格预测预测4类钢轨缺陷的 分类概率和3个不同大小的具有置信度和缺陷严重度的候选边界框； 其中， 每个缺陷严重度 的候选边界框， 包括： 边界框坐标， 缺陷严重度。 9.如权利要求8所述的方法， 其特 征在于， 按如下 方式， 确定边界框坐标和缺陷严重度： 其中， (x， y， w， h)表示边界框坐标； s表示缺陷严重度； 网络预测参数为(tx， ty， tw， th， ts)， 表示边界框形成的包围盒中心点的坐标、 宽度、 高度以及包围盒内缺陷的严重程度； (cx， cy)表示划分的网格单元的坐标偏移量； (px， py)表示先验边界框的宽度和高度； (bx， by， bw， bh， bs)表示边界框相对于特 征图的位置和大小、 以及钢轨表面 缺陷的真实严重程度。权　利　要　求　书 2/5 页 3 CN 115131330 A 3