(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210901627.9 (22)申请日 2022.07.28 (71)申请人 平安科技 （深圳） 有限公司 地址 518000 广东省深圳市福田区福田街 道福安社区益田路5033号平 安金融中 心23楼 (72)发明人 方起明　刘莉红　陈远旭　肖京　 (74)专利代理 机构 深圳市赛恩倍吉知识产权代 理有限公司 4 4334 专利代理师 陈敬华 (51)Int.Cl. G06V 20/54(2022.01) G06V 10/26(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于人工智能的车辆灯具损伤检测方法及 相关设备 (57)摘要 本申请提出一种基于人工智能的车辆灯具 损伤检测方法、 装置、 电子设备及存储介质， 基于 人工智能的车辆灯具损伤检测方法包括： 储存车 辆图像及车辆图像的标签数据作为第一训练集； 基于第一训练集训练灯具部件分割网络以更新 所述灯具分割网络的参数； 将目标车辆的实时图 像输入训练完毕的灯具部件分割网络得到各灯 具部件种类的灯具子图； 搭建损伤检测 网络， 损 伤检测网络包括第一编码器、 第二解码器和多个 检测器； 基于带有标签数据的灯具子图训练损伤 检测网络以更新第二解码器和多个检测器的参 数； 将实时图像中所有灯具子图依次输入训练完 毕的损伤检测网络得到灯具损伤检测结果。 本申 请能提高车辆灯具损伤检测的准确度。 权利要求书3页 说明书15页 附图2页 CN 115240147 A 2022.10.25 CN 115240147 A 1.一种基于人工智能的车辆灯具损伤检测方法， 其特 征在于， 所述方法包括： 储存大量车辆图像和每一张车辆图像的标签数据得到第 一训练集， 所述车辆图像的标 签数据包括所述车辆图像中每 个像素点的灯具部件种类； 搭建灯具部件分割网络， 并基于所述第 一训练集训练所述灯具部件分割网络以更新所 述灯具部件分割网络的参数， 所述灯具部件分割网络包括第一编码器和第一 解码器； 采集目标车辆的实时图像， 并将所述实时图像输入训练完毕的灯具部件分割 网络， 得 到所述实时图像中每一种灯具部件种类的灯具子图； 基于所述第一编码器搭建损伤检测网络， 所述损伤检测网络包括所述第一编码器、 第 二编码器和多个 检测器； 储存不同灯具部件种类的大量灯具子图和每一张灯具子图的标签数据作为第二训练 集， 并基于所述第二训练集训练所述损伤检测网络以更新所述第二编 码器和所述多个检测 器的参数， 所述灯具子图的标签数据包括所述灯具子图中所有损伤的位置信息和损伤种 类； 将所述实时图像中所有灯具子图依次输入训练完毕的损伤检测网络得到所述目标车 辆的灯具损伤检测结果。 2.如权利要求1所述的基于人工智能的车辆灯 具损伤检测方法， 其特征在于， 所述储存 大量车辆图像和每一张车辆图像的标签数据得到第一训练集， 所述车辆图像的标签数据包 括所述车辆图像中每 个像素点的灯具部件种类， 包括： 采集大量的车辆 图像， 并获取每一张车辆 图像的标签数据， 所述车辆 图像的标签数据 为一张与所述车辆图像等大的图像数据， 所述图像数据中像素点的像素值为所述像素点对 应的灯具部件种类的预设值； 储存所有车辆图像以及所有车辆图像的标签数据作为灯具部件种类的第一训练集。 3.如权利要求1所述的基于人工智能的车辆灯 具损伤检测方法， 其特征在于， 所述搭建 灯具部件分割网络， 并基于所述第一训练集训练所述灯具部件分割网络以更新所述灯具部 件分割网络的参数， 包括： 搭建灯具部件分割网络， 所述灯具部件分割网络包括第一编码器和第一 解码器； 依据预设初始化算法对所述灯具部件分割网络中的参数进行初始化以获取初始化的 灯具部件分割网络； 基于所述第 一训练集和交叉熵损失函数对初始化的灯具部件分割网络进行训练， 以更 新所述灯具部件分割网络的参数， 直至所述交叉熵损失函数 的数值不再变化时停止训练， 得到训练完毕的灯具部件分割网络， 所述训练完毕的灯具部件分割网络输入为车辆图像， 输出为所述车辆图像的灯具部件分割结果， 所述灯具部件分割结果包括所述车辆图像中每 一个像素点所属的灯具部件种类。 4.如权利要求1所述的基于人工智能的车辆灯 具损伤检测方法， 其特征在于， 所述采集 目标车辆的实时图像， 并将所述实时图像输入训练完毕的灯具部件分割网络， 得到所述实 时图像中每一种灯具部件种类的灯具子图， 包括： 采集目标车辆的实时图像， 将所述实时图像输入训练完毕的灯 具部件分割网络得到灯 具部件分割结果， 所述灯具部件分割结果中包括所述 实时图像中每一个像素点的灯具部件 种类；权　利　要　求　书 1/3 页 2 CN 115240147 A 2对所述灯具部件分割结果中灯具部件种类为目标灯具部件种类的像素点进行标记得 到所述目标灯具部件种类的标记图， 所述标记图包括标记像素点和非标记像素点， 所述 目 标灯具部件种类为所有灯具种类中的任意 一个； 基于所述目标灯具部件种类的标记图将所述实时图像中非标记像素点的像素值置为 0， 标记像素点的像素值保持不变， 得到所述实时图像中所述目标灯具部件种类的灯具子 图； 遍历所有灯具种类以获取 所述实时图像中每一种灯具部件种类的灯具子图。 5.如权利要求1所述的基于人工智能的车辆灯 具损伤检测方法， 其特征在于， 所述损伤 检测网络为目标检测网络， 所述基于所述第一编码器搭建损伤检测网络， 包括： 搭建损伤检测网络， 所述损伤检测网络包括所述第一编码器、 第二编码器和多个检测 器； 所述第一编码器对输入的灯具子图进行多次卷积操作得到多个不同尺寸的第一下采 样图； 所述第二编 码器对输入的灯具子图进 行多次卷积操作得到多个不同尺寸的第二下采 样图， 所述第一下采样图的数量和尺寸与所述第二下采样图相同； 将相同尺寸的所述第一下采样图和所述第二下采样图堆叠在一起得到每一种尺寸的 融合下采样图； 将所有融合下采样图输入所述多个检测器中以获取每一张融合下采样图的子结果， 所 述检测器与所述融合下采样图一一对应， 所述融合下采样图的子结果包括所述融合下采样 图中所有损伤的位置信息和损伤种类； 将所有融合下采样图的子结果作为所述灯 具子图的损伤检测结果， 所述损伤检测结果 包括所述灯具子图中所有损伤区域的位置信息和损伤种类。 6.如权利要求1所述的基于人工智能的车辆灯 具损伤检测方法， 其特征在于， 所述基于 所述第二训练集训练所述损伤检测网络以更新所述第二编 码器和所述多个检测器的参数， 包括： 固定损伤检测网络中所述第一编码器的参数； 依据预设初始化算法对所述第二编码器和所述多个检测器的参数进行初始化得到初 始化的损伤检测网络； 从所述第二训练集中随机 选取灯具子图作为训练图像； 将所述训练图像依次输入初始化的损伤检测网络以获取损伤检测结果， 基于所述损伤 检测结果和所述训练图像的标签数据计算预设损失函数的数值， 并更新所述第二编 码器和 所述多个 检测器的参数； 直至所述预设损失函数的数值 不再变化， 停止训练， 得到训练完毕的损伤检测网络 。 7.如权利要求1所述的基于人工智能的车辆灯 具损伤检测方法， 其特征在于， 所述将所 述实时图像中所有灯具子图依 次输入训练完毕的损伤检测网络得到所述目标车辆的灯具 损伤检测结果包括： 将所述实时图像中所有灯具子图依次输入训练完毕的损伤检测网络得到每一张灯具 子图的损伤检测结果； 统计每一张灯具子 图的损伤检测结果中损伤区域的数量， 将损伤区域的数量大于0的 灯具子图作为损伤子图；权　利　要　求　书 2/3 页 3 CN 115240147 A 3