(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210209242.6 (22)申请日 2022.03.03 (71)申请人 南京理工大 学 地址 210094 江苏省南京市孝陵卫20 0号 (72)发明人 雍亚婕　那瑟　郭玲　 (74)专利代理 机构 南京理工大 学专利中心 32203 专利代理师 段宇轩 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/136(2017.01) G06T 5/40(2006.01) G06K 9/62(2022.01) G06V 10/762(2022.01) G06V 10/82(2022.01)G06N 3/08(2006.01) (54)发明名称 一种基于可见光和红外视觉的光伏板缺陷 检测方法 (57)摘要 本发明公开了一种基于可见光和红外视觉 的光伏板缺陷检测方法， 包括步骤： 通过可见光 相机和红外相机分别获取光伏板图像； 基于可见 光光伏板图像， 通过YOL Ov3深度学习网络模型进 行表面污渍检测； 基于红外光伏板图像， 通过自 适应最小阈值分割算法进行光伏板热斑效应区 域的检测。 本发 明同时基于可见光图像和红外图 像， 对光伏板表面的污渍和热斑缺陷进行检测， 为后续光伏清洗机器人导航至缺陷处进行清洗 或上报提供了 基础。 权利要求书3页 说明书5页 附图1页 CN 114612406 A 2022.06.10 CN 114612406 A 1.一种基于可 见光和红外 视觉的光伏板缺陷检测方法， 其特 征在于， 包括 步骤： 通过可见光相机和红外相机分别获取光伏板图像； 基于可见光光伏板图像， 通过YOLOv3深度学习网络模型进行表面污 渍检测； 基于红外光伏板图像， 通过自适应最小阈值分割算法进行光伏板热斑效应区域的检 测。 2.根据权利要求1所述的一种基于可见光和红外视觉的光伏板缺陷检测方法， 其特征 在于， 所述YOLOv3深度学习网络模型 具体包括： 基于自适应学习率方法配置 YOLOv3深度学习网络模型的学习率； 采用K‑means聚类算法计算生成适配数据 集的锚框尺寸， 所述K ‑means聚类算法采用自 定义距离d(box,centroid)＝1 ‑IoU(box,centroid)， 式中， box是锚框， centroid是 聚类中 心， d(box,cent roid)为锚框边框 到聚类中心的距离， I oU为锚框和聚类中心的交并比； YOLOv3深度学习网络模型的主干特征提取网络采用SE ‑Residual残差块， YOLOv3深度 学习网络模型用于特 征融合的三个主干层输出位置， 分别添加SE注意力模块。 3.根据权利要求2所述的一种基于可见光和红外视觉的光伏板缺陷检测方法， 其特征 在于， 所述采用K ‑means聚类算法计算 生成适配数据集的锚框尺寸具体为： 给定k个聚类中心(Wj,Hj),j∈{1,2, …,k}， 其中， Wj、 Hj分别是第j个锚框的宽和高； 计算每个锚框边框到聚类 中心点的距离d， 在计算过程中， 每个边框中心与聚类中心重 合， 并把锚框边框分配至距离最近的聚类中心； 重新计算每个簇的聚类 中心， 重复上述步骤， 直到聚类 中心的值收敛， 获取数据集的锚 框尺寸。 4.根据权利要求2所述的一种基于可见光和红外视觉的光伏板缺陷检测方法， 其特征 在于， 所述YOLOv3深度学习网络模型的训练方法包括 步骤： 获取光伏板缺陷 图像训练数据集并对缺陷点进行标注， 若训练数据集原始图像数量不 足， 采用翻转、 旋转及灰度化方法进行扩充， 然后使用LabelImg软件对图片中的目标用方框 标注， 将标注标签命名为stai n； 加载预训练YOLOv3深度学习网络模型， 从.cfg文件中解析出路径， 包括训练路径、 验证 路径、 训练类别和各层网络， 同时加载 预训练权 重； 通过训练数据集对预训练YOLOv3深度学习网络模型迭代训练， 训练时需要调整图像的 尺寸大小， 迭代时首先从一个批次中获取图片， 从标签中获取对应图片归一化后的标注数 据， 然后输入到模型中进行训练； 计算边界框损失值、 置信度损失值、 类别损失值和真实损失值， 求取损 失值之和， 进行 反向传播和梯度优化； 迭代完成， 获取收敛的YOLOv3深度学习网络模型。 5.根据权利要求4所述的一种基于可见光和红外视觉的光伏板缺陷检测方法， 其特征 在于， 所述基于自适应学习率方法配置YOLOv3深度学习网络模型的学习率具体为： 当 YOLOv3深度学习网络模 型训练开始m+2 k轮之后， 每k轮计算一次损失函数， 再比较 当前轮数 的前2k轮到前k轮和前k轮到当前轮的损失函数平均值， 此时对学习率进行自动调整， 当损 失函数值变大时， 通过阻尼因子降低学习率， 反之， 当损失函数值变小时， 通过增量因子提 高学习率， 其中， k指对损失函数平均值计算 k轮， m指前m轮不改变学习率。权　利　要　求　书 1/3 页 2 CN 114612406 A 26.根据权利要求2所述的一种基于可见光和红外视觉的光伏板缺陷检测方法， 其特征 在于， 所述 通过YOLOv3深度学习网络模型进行表面污 渍检测具体包括： 设置初始参数； 把采集的可 见光光伏板图像输入至 YOLOv3深度学习网络模型， 获得多个 检测框； 采用非极大值抑制的方法筛 选检测框； 计算出所有边框的面积以及置信度最高的边框和其它候选框的IoU值， IoU值小于阈值 的边框即表面污 渍检测目标。 7.根据权利要求2所述的一种基于可见光和红外视觉的光伏板缺陷检测方法， 其特征 在于， 通过自适应最小阈值分割算法进行光伏板热斑效应区域的检测具体包括： S1、 将一幅红外光伏板图像的灰度值分成n等份， 设图像的灰度值范围为[m0～mn]， 对应 的概率分布为 确定直方图和灰度值的积分面积为： 式中， l指两灰度级间距离； 把灰度值轴的n等份拉伸为k不等份， k>n， 即灰度值范围由[m0～mn]改成[g0～gk]， 区间 [mi,mi+1]重新划分， 设区间[mi,mi+1]分成ki个子区间， [mi,mi+1]重新划分时每个小区间的面 积S相等， 则： 若设拉伸后的灰度值 为mi′， 则： S2、 对步骤S1处 理后的红外光伏板图像进行中值滤波； S3、 在自适应最小阈值分割算法中引入平衡系数α将S2得到的图像进行分割， 检测出热 斑。 8.根据权利要求7所述的一种基于可见光和红外视觉的光伏板缺陷检测方法， 其特征 在于， 所述 n等份为25 5等份。 9.根据权利要求7所述的一种基于可见光和红外视觉的光伏板缺陷检测方法， 其特征 在于， 所述在自适应最小阈值分割算法中引入平衡系数α 将S2得到的图像进 行分割， 检测出 热斑具体包括： 假设有一幅大小为M ×N， 灰度级为L的灰度图， 其中灰度值为i的有ni个像素点， 总共包 含n个像素， 用Pi表示灰度值为i的像素点出现的概率， P0和P1分别是背景C0和目标C1各自分 布的先验概率， 假设C0和C1的各自分布P(i|j)均服从均值为 μj、 方差为 的正态分布， 基于 最小分类误差思想确定目标函数J(t)， 并在其中引入平衡系数α， 目标函数J(t)为： 阈值t*在J′(t)取最小值时确定,即：权　利　要　求　书 2/3 页 3 CN 114612406 A 3