(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210778826.5 (22)申请日 2022.06.30 (71)申请人 沈阳建筑大学 地址 110623 辽宁省沈阳市 浑南区浑南中 路25号 (72)发明人 袁帅　许景科　栾方军　张笑闻　 (74)专利代理 机构 安徽爱信德专利代理事务所 (普通合伙) 34185 专利代理师 张翠英 (51)Int.Cl. G06V 10/25(2022.01) G06V 10/44(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) (54)发明名称 一种基于互相关自注意力机制的目标特征 提取方法 (57)摘要 本发明涉及目标检测和识别技术领域， 公开 了一种基于互相关自注意力机制的目标特征提 取方法， 具体包括首先输入大小为H*W*C的特征 图X； 然后对特征图进行窗口划分操作； 再对线 性 层扩张通道维度为2*C， 沿通道维度划分矩阵为 矩阵M和矩阵V； 获取互相关矩阵和激活操作； 再 进行自注 意力计算和进行通道注 意力计算； 最后 输出大小为H*W*C的特征图Y。 本发明寻找特征图 中元素间的相关性， 获取目标的相似特征， 同时 令通道间信息共享， 实现 空间维度和通道维度的 注意力区域选取。 本发明提高了模 型对图像中待 测信息的识别效果， 提升 了模型的识别精度。 权利要求书2页 说明书5页 附图4页 CN 115131551 A 2022.09.30 CN 115131551 A 1.一种基于互相关自注意力机制的目标特征提取方法， 其特征在于， 具体按以下步骤 执行： S1:首先输入大小为H *W*C的特征图X； S2:对特征图进行窗口划分操作； S3:线性层扩张通道维度为2* C， 沿通道维度划分矩阵为矩阵M和矩阵V； S4:获取互相关矩阵； S5:激活操作； S6:进行自注意力计算； S7:进行通道 注意力计算； S8:输出大小为H*W*C的特征图Y。 2.根据权利要求1所述的一种基于互相关自注意力机制的目标特征提取方法， 其特征 在于， 步骤S2具体按以下步骤执 行： S2.1:将输入张量沿长和宽的方向每n个 像素划分为 一组， 每一个窗口 的大小为 n*n； S2.2:将窗口中的三维张量从H *W*C延展为HW*1* C。 3.根据权利要求1所述的一种基于互相关自注意力机制的目标特征提取方法， 其特征 在于， 步骤S3具体按以下步骤执 行： 通过线性层扩张通道 维度为2*C； 沿通道 维度划分矩阵为矩阵M和矩阵V， 其中M矩阵和V 矩阵中的每一列如式(1)和式(2)： 其中， 其中i∈[0， C]， C表示矩阵的通道数。 4.根据权利要求1所述的一种基于互相关自注意力机制的目标特征提取方法， 其特征 在于， 步骤S4具体按以下步骤执 行： S4.1:将M矩阵中每一列向量复制 为H*W列， 再将复制后得到的大小为(H*W)*(H*W)的矩 阵复制为两份， 并将其中一份进行转置， 最后将复制后的矩阵和其转置矩阵相减， 获得了M 矩阵中每 个元素与其他元素的差异， 该矩阵定义 为Mdis； S4.2:将Mdis矩阵中每 个通道对应位置元 素相加， 获得的分子矩阵为 S4.3:将分母矩阵定义 为 其表达式如式(3)： S4.4:将分子矩阵除分母矩阵， 获得相似性矩阵Mmask， 计算式如式(4)；权　利　要　求　书 1/2 页 2 CN 115131551 A 2S4.5:将矩阵Mask使用1*1大小的卷积核 进行卷积操作。 5.根据权利要求1所述的一种基于互相关自注意力机制的目标特征提取方法， 其特征 在于， 在步骤S5中， 具体按以下步骤执行； 将卷积后的张量使用激活函数进行激活， 将激活 函数定义如式(5)； M＊＝Softmax(1 ‑Sigmoid(X))          式(5) 其中， 其中X为输入张量， M＊为通过激活函数后的矩阵。 6.根据权利要求1所述的一种基于互相关自注意力机制的目标特征提取方法， 其特征 在于， 所述步骤S6具体按以下步骤执行： 将激活后的矩阵M＊与矩阵V进行乘积运算； 将运算 后的张量结果进行重新排列为H*W*C； 再将重新排列的结果与通道注意力机制得到的通道 权重进行对应通道相乘。 7.根据权利要求1或6任一项所述的一种基于互相关自注意力机制的目标特征提取方 法， 其特征在于， 添加通道注意力机制， 首先将输入的特征图H*W*C， 经过平均池化， 得到大 小为1*1* C的特征图； 将特征图使用大小为3*1的一维卷积核进行卷积运算； 将卷积后的特征值通过Si gmoid 函数进行激活， 其具体实现公式如式(6)： E(X)＝Sigmo id(C3×1(Avgpool(X)))   式(6) 其中， X表示输入的特 征， C3×1表示尺寸 为3*1的卷积 操作。 8.根据权利要求1所述的一种基于互相关自注意力机制的目标特征提取方法， 其特征 在于， 运行的网络模型为YOLOv5， 运行步骤如下： S8.1:获取数据集， 并将数据集进行Mosaic数据增强； 将增强后的数据送入网络中进行 训练； S8.2:将一种基于互相关自注意力机制的目标特征提取方法应用与YOLOv5网络中， 将 neck结构中的最后三个C 3模块进行替换， 替换 方法为： S8.2.1:将输入张量复制为2份， 分别通过两个分支进行处 理； S8.2.2:将其中一个分支经过1*1卷积和改进的自注意力机制； 将另一个分支经过1*1卷 积； S8.2.3:将两个分支的输出结果进行concat操作， 沿通道维度进行拼接后， 经过1*1卷积 操作； S8.3:优化算法采用随机梯度下降算法SGD作为优化器， 以16张图片作为一个训练批次， 模型初始学习率为1e ‑2， 权重衰减参数为5e ‑4， 且动量为0.937， 训练300个epoch。 在模型训 练的初始阶段， 采用3个epoc h进行热身训练； S8.4:训练模型后对图片进行 预测， 得到结果。 9.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述程序被主控制 器执行时实现如权利要求1 ‑8中任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115131551 A 3