(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210166454.0 (22)申请日 2022.02.23 (71)申请人 中国电子科技 集团公司第十五研究 所 地址 100083 北京市海淀区北四环中路21 1 号 (72)发明人 张帆　史晓龙　王智超　赵正健　 (74)专利代理 机构 北京理工大 学专利中心 11120 专利代理师 高会允 (51)Int.Cl. G06V 20/10(2022.01) G06V 10/764(2022.01) G06V 10/762(2022.01) G06V 10/30(2022.01) (54)发明名称 一种基于多粒度融合的陆军装甲细粒度识 别方法及系统 (57)摘要 本发明公开了基于多粒度融合的陆军装甲 细粒度识别方法及系统， 能够从原图、 目标对象 以及目标对象的判别性部位的三个角度出发， 综 合各角度模型检测的结果， 综合整体、 局部及细 微的差异来区分子类别， 从而得到更加精确的分 类结果。 首先获取陆军装甲目标图像数据集， 并 进行预处理。 构建多粒度融合分类模型， 包括粗 粒度分类模 型、 中粒度分类模型以及细粒度分类 模型。 粗粒度分类模型用于对图像数据集中原图 进行分类。 中粒度分类模型用于提取图像中目标 对象进行分类。 细粒度分类模型用于提取图像中 的判别性部位进行分类。 加权三者的预测得分， 最终得出图像的检测得分， 进一步识别图像子类 别。 利用训练好的多粒度融合的识别模型对图像 进行分类 。 权利要求书2页 说明书8页 附图1页 CN 115331095 A 2022.11.11 CN 115331095 A 1.基于多粒度融合的陆军装甲细粒度识别方法， 其特 征在于， 包括如下步骤： 步骤一： 获取陆军装甲目标图像数据集； 步骤二： 对陆军装甲目标图像数据集中图像数据进行 数据预处 理； 步骤三： 构建多粒度融合分类模型， 包括三种不同粒度下的分类模型， 分别为粗粒度分 类模型、 中粒度分类模型以及 细粒度分类模型； 所述粗粒度分类模型用于对图像数据集中原图进行分类， 并保留图像中的原始特征， 得到粗粒度分类结果； 所述中粒度分类模型用于提取图像中目标对象， 根据目标对象进行分类， 得到中粒度 分类结果； 所述细粒度分类模型用于提取图像中的判别性部位， 根据判别性部位进行分类， 得到 细粒度分类结果； 利用陆军装甲目标图像训练数据集对多粒度融合分类模型进行训练得到训练好的多 粒度融合的识别模型； 步骤四： 获取陆军装甲目标图像测试数据， 将其作为输入， 传入到训练好的多粒度融合 的识别模型中； 步骤五： 将粗粒度、 中粒度和细粒度分类结果进行加权 融合， 从而获取图像最终的检测 结果。 2.如权利要求1所述的方法， 其特 征在于， 所述 步骤一， 具体为： 先获取具有多张侦察车拍摄的陆军地面军事装甲目标的图像数据组成集及其标注， 采 用分层抽样的方法， 对数据集进行划分， 随机从每类数据中抽取80％的图像作为训练图像 数据集， 剩下20％的图像作为测试图像数据集。 3.如权利要求2所述的方法， 其特 征在于， 所述 步骤二， 数据预处 理包括如下步骤： 针对陆军装甲目标图像数据集中图像数据进行尺寸调整； 对尺寸调整后的图像数据进行数据增强， 数据增强方式包括上下翻转、 左右旋转、 增 强/降低图片亮度以及镜像的数据增强方式； 将数据增强后的图像数据划分为多个候选图像子块， 筛选其中与类别标签相关性大于 阈值的候选图像子块组成候选 子块图像集。 4.如权利要求1所述的方法， 其特 征在于， 所述 粗粒度分类模型， 具体为： 以所述候选子块图像集作为训练数据， 其训练标签为对应的子类别； 加载ImageNet预 训练好的Resnet101模型的网络结构和权重参数， 采用上述训练数据集， 将模型进行微调， 从而得到粗粒度分类模型。 5.如权利要求1所述的方法， 其特 征在于， 所述中粒度分类模型， 具体为： 将数据预处 理得到的候选 子块图像集作为训练数据， 其训练标签为对应的子类别； 对候选子块图像集进行预处理， 首先采取类激活映射CAM方法， 获取图像 中的目标对象 的显著性映射图， 对显著性映射图进 行二值化和连通区域提取来 获取图片中的对象的目标 区域， 以此来获取候选 子块图像中的目标对象， 即为目标对象训练数据集； 将目标对象训练数据集及其对应的子类标签作为输入数据， 传入训练好的Resnet101 模型进行微调， 生成关于目标对象的分类模型， 称为中粒度分类模型。 6.如权利要求1所述的方法， 其特 征在于， 所述细粒度分类模型， 具体为：权　利　要　求　书 1/2 页 2 CN 115331095 A 2首先将数据预处理得到的候选子块图像集作为输入数据， 其次采用部位聚类算法， 将 判别性的部位数据集生成以部位为类别的簇， 代 替人工标注得到类标签； 最 终， 将其聚类好 的候选子块图像集及其类标签， 输入到预训练好的Resnet101模 型上进行微调， 生 成关于对 象部位的分类模型， 称为细粒度分类模型。 7.如权利要求6所述的方法， 其特征在于， 所述步骤五， 将粗粒度、 中粒度和细粒度分类 结果进行加权融合， 从而获取图像最终的检测结果， 具体步骤如下： 将测试图像分别输入到训练好粗粒度、 中粒度、 细粒度分类模型中， 分别计算三不同粒 度分类模型的分类结果分别为： Scorecoarse‑grain、 Scoremiddle‑grain、 Scorefine‑grain； 通过加权求得最终结果Scorefinal， 计算方式如下： Scorefinal＝α×Scorecoarse‑grain+β×Scoremiddle‑grain+γ×Scorefine‑grain 其中， α、 β、 γ为三个不同粒度模型的预测得分在总得分中所占的权重， 设定范围为0 ‑1 之间， 步长为0.1。 8.如权利要求1所述的方法， 其特征在于， 所述步骤五之后， 还包括对所述图像最终的 检测结果进行评价， 构建对检测结果的评价指标， 即精准 率Acc： 其中Rc表示所有样本中检测正确的个数， R表示所有样本的个数。 9.基于多粒度融合的陆军装甲细粒度识别系统， 其特征在于， 包括陆军装甲目标图像 数据采集模块、 数据预处 理模块、 多粒度融合分类模型模块以及测试 结果评价模块； 所述陆军装甲目标图像数据采集模块， 用于获取陆军装甲目标图像数据集， 分类为训 练图像数据集和 测试图像数据集； 所述数据预处 理模块， 用于对陆军装甲目标图像数据集中图像数据进行 数据预处 理； 所述多粒度融合分类模型模块， 用于构建多粒度融合分类模型， 包括三种不同粒度下 的分类模 型， 分别为粗粒度分类模型、 中粒度分类模型以及细粒度分类模型； 所述粗粒度分 类模型用于对图像数据集中原图进行分类， 并保留图像中的原始特征， 得到粗粒度分类结 果； 所述中粒度分类模型用于提取图像中目标对象， 根据目标对象进 行分类， 得到中粒度分 类结果； 所述细粒度分类模 型用于提取图像中的判别性部位， 根据判别性部位进 行分类， 得 到细粒度分类结果； 利用陆军装甲目标图像训练数据集对多 粒度融合分类模型进 行训练得 到训练好的多 粒度融合的识别模 型； 获取陆军装甲目标图像测试数据， 将其作为输入， 传入 到训练好的多 粒度融合的识别模 型中； 将粗粒度、 中粒度和细粒度分类结果进 行加权融合， 从而获取图像最终的检测结果； 所述测试结果评价模块， 对所述图像最终的检测结果进行评价， 构建对检测结果的评 价指标， 即精 准率Acc： 其中Rc表示所有样本中检测正确的个数， R表 示所有样 本 的个数。权　利　要　求　书 2/2 页 3 CN 115331095 A 3