(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210279030.5 (22)申请日 2022.03.21 (71)申请人 广东工业大 学 地址 510090 广东省广州市越秀区东 风东 路729号 (72)发明人 蔡念　燕舒乐　龙进良　肖盼　 王晗　 (74)专利代理 机构 广州粤高专利商标代理有限 公司 44102 专利代理师 刘俊 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/25(2022.01) G06V 10/26(2022.01) G06V 10/75(2022.01)G06V 10/762(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06N 3/12(2006.01) (54)发明名称 一种基于电子样稿的柔印首件检测方法 (57)摘要 本发明提供一种基于电子样稿的柔印首件 检测方法， 该方法采用 “粗‑精”匹配方法避免了 单独使用全局匹配算法在匹配弱纹理或者重复 纹理的区域时表现不佳的问题； 粗匹配融合 SuperPoint与GNN方法， 由于注意力机制参照人 比对两幅图像的思想， 聚合自注 意力与交叉注意 力， 使得匹配精度远超暴力匹配和快速最近邻搜 索算法； 精匹配完成了局部区域内容的微调， 实 现电子样稿与柔印首件两者的完全匹配， 进而实 现像素级的检测精度； 将电子样稿分割结果作为 约束条件的聚类算法， 将柔印首件分割问题转换 为与电子样稿二值图差异最小的优化问题， 并采 用遗传算法加速求解优化算法的时间， 实现了首 件图像的有效分割， 提高了算法的速率与精度。 权利要求书3页 说明书10页 附图2页 CN 114612458 A 2022.06.10 CN 114612458 A 1.一种基于电子样稿的柔印首件检测方法， 其特 征在于， 包括以下步骤： S1： 提取电子样稿和柔印首件的超点得到二者的关键点位置和视觉特征描述子， 并完 成电子样稿和柔印首件的粗匹配； S2： 对完成步骤S1中粗匹配的电子样稿和柔印首件进行精匹配； S3： 对完成步骤S2中精匹配的柔印首件进行缺陷检测。 2.根据权利要求1所述的基于电子样稿的柔 印首件检测方法， 其特征在于， 所述步骤S1 中， 采用SuperPo int自监督网络提取电子样稿和柔印首件的超点。 3.根据权利要求2所述的基于电子样稿的柔印首件检测方法， 其特征在于， 所述 SuperPoint自监督网络的训练过程是： S11： 以VGG16作为基础检测器， 训练网络参数提取几何形状角点； S12： 兴趣点标注， 采用步骤S11中预训练的基础检测网络分别提取柔印首件和电子样 稿的角点， 进行兴趣点标注； S13： 对步骤S12中的柔印首件和电子样稿分别 进行N次单应性变换， 并通过基础检测器 分别标注变换后各图像的兴趣点； 随机取 次图像， 每次由抽取的两种不同姿态的兴趣点 构建损失函数， 以其中一种姿态的兴趣点自标注作为真值， 另一种姿态作为观 察结果， 构建 出兴趣点损失函数和描述子损失函数， 训练目标需使 得匹配点距离小， 非匹配点距离大， 联 合训练后得到SuperPo int检测网络并完成SuperPo int检测。 4.根据权利要求3所述的基于电子样稿的柔 印首件检测方法， 其特征在于， 由于电子样 稿和柔印首件的虚拟几何形状的角点是已知的， 将其直接作为标注的数据集去训练基础检 测器。 5.根据权利要求4所述的基于电子样稿的柔 印首件检测方法， 其特征在于， 由于电子样 稿和柔印首件 之间存在大量重复的内容信息会造成大量的匹配冗余， 使用引入注意力机制 的GNN网络并结合分配优化求解方式来解决匹配冗余， GNN网络采用端到端的训练方式经过 以下步骤完成匹配： 1)、 输入电子样稿和柔印首件分别对应的第I个视觉特征描述子 和 以及坐标位置 和 2)、 GNN网络首先使用Keypoint编码器分别将关键点位置 和 以及视觉描述符 和 映射到图中的节点信息， 然后使用自我和交叉注意力作为边将图层的节点信息聚合得到 超特征flF和flR； 3)、 最终根据超特征计算得分矩阵， 经过Sinkhorn算法迭代优化输出行列归一化的分 配矩阵。 将分配矩阵每列最大值横、 纵坐标对应的特征点对作为匹配点对进行仿射变换， 完 成电子样稿和柔印首件的粗匹配。 6.根据权利要求5所述的基于电子样稿的柔 印首件检测方法， 其特征在于， 所述步骤S2 的具体过程是： 电子样稿 内容清晰、 黑 白分明， 采用固定阈值提取电子样稿的不同文字或图案的子内 容块Fs， 设子内容块的中心点坐标为(Xs,Ys)， 尺寸为(Ws,Hs)， 以Fs为模板图， 在柔印首件图 像R中对应的区域内进行NCC搜索匹配， 设变量δ为搜索扩展基数， 每个搜索点(x,y)对应的权　利　要　求　书 1/3 页 2 CN 114612458 A 2NCC计算如下： x∈[Xs‑δ:Xs+δ ],y∈[Ys‑δ:Ys+δ ]   (2) 其中， f(x+m,y+n)为电子样稿F像素点(x+m,y+n)的灰度值， r(m,n)为柔印首件图像R像 素点(m,n)的灰度值， 得到(2 δ +1) ×(2 δ +1)的ncc(x,y)相似度矩阵， ncc(x,y)最大值对应的 像素点记为： P(Xmax,Ymax)＝argmax[nc c(x,y)]   (5) 根据P(Xmax,Ymax)与中心点 坐标(Xs,Ys)求得偏移量ΔP； ΔP＝(Xmax‑Xs,Ymax‑Ys)   (6) 将子内容块Fs平移ΔP， 所有子块按照公式(1) ‑(6)操作即可完成柔印首件与电子样稿 之间的精匹配。 7.根据权利要求6所述的基于电子样稿的柔印首件检测方法， 其特征在于， 采用128作 为固定阈值 提取电子样稿的不同文字或图案的子内容 块Fs。 8.根据权利要求7所述的基于电子样稿的柔 印首件检测方法， 其特征在于， 所述步骤S3 包括约束聚类： 将柔印首件图像分割问题转换为与样稿文件分割图差异最小的优化问题， 即： T∈[min(c1,c2),max(c1,c2)]    (10) 其中， F和R分别为 “粗‑精”匹配后的电子样稿和柔印首件图像， 求解满足(7)的聚类图 像Rt即为柔印首件的最佳分割结果， 为了减少优化算法的求解时间， 采用K均值聚类法得到 聚类中心c1,c2， 完成柔印首件图像分割的初始化， 并且将(c1+c2)/2作为遗传算法初始化 的种子之一， 采用遗传算法求 解优化问题(7)。 9.根据权利要求8所述的基于电子样稿的柔 印首件检测方法， 其特征在于， 所述步骤S3 还包括缺陷检测： 柔印首件可能因内容笔画断开或油墨局部扩散凸起造成毛刺现象， 约束聚类分割难以 抑制这种误差， 影响后续缺陷检测， 因此提出距离变换法进 行缺陷评估， 定义边缘距离函数 为： 权　利　要　求　书 2/3 页 3 CN 114612458 A 3