(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210787416.7 (22)申请日 2022.07.05 (71)申请人 南通大学 地址 226000 江苏省南 通市崇川区啬园路9 号 (72)发明人 赵理莉　胡彬　李跃华　丁卫平　 (74)专利代理 机构 南通一恒专利商标代理事务 所(普通合伙) 32553 专利代理师 梁金娟 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种基于深度半监督模型的图像细粒度分 类方法 (57)摘要 本发明提供一种基于深度半监督模型的图 像细粒度分类方法， 包括以下步骤： S1、 获取原始 图片， 提取原始图片图像特征， 组成全局特征矩 阵； S2、 对原始图片进行超像素分割， 计算得出 成 特征分配映射； S3、 将全局特征矩阵和特征分配 映射进行非线性特征编码， 得到超像素局部区域 特征； S4、 检测每个部分的发生概率， 利用对齐概 率分布得到超像素区域发生概率正则化项； S5、 创建半监督神经网络， 根据超像素区域发生概率 正则化项和损伤函数训练半监督神经网络； S6、 用训练好的半监督神经网络进行图像细粒度分 类。 本发明能够准确高效地对手写数字和医学细 胞图像进行细粒度分类， 兼具更优的图像细粒度 分类准确率。 权利要求书2页 说明书5页 附图1页 CN 115035302 A 2022.09.09 CN 115035302 A 1.一种基于深度半监 督模型的图像细粒度分类方法， 其特 征在于， 包括以下步骤： S1、 获取原 始图片， 提取原 始图片图像特 征X1： N＝{Xn}， 组成全局特 征矩阵X； S2、 对步骤S1中获得的原始图片进行超像素分割， 图像划分为k个部分dk， 计算得到特征 分配映射 Q； S3、 将步骤1中获得的全局特征矩阵X和步骤S2中获得的特征分配 映射Q进行非线性特 征编码， 得到超像素局部区域特 征Z； S4、 在给定Q前提下， 检测每个部分dk的发生概率， 利用对齐概率 分布法得到超像素区域 发生概率正则化项； S5、 创建半监督神经网络fθ(x)， 根据超像素区域发生概率正则化项和损 伤函数训练半 监督神经网络fθ(x)； S6、 用步骤S5中训练好的半监 督神经网络fθ(x)进行图像细粒度分类。 2.根据权利要求1所述的基于深度半监督模型的图像细粒度分类方法， 其特征在于， 所 述步骤S1包括以下步骤： S1.1、 利用深度自编码器提取图像自编码特 征X′1： i； S1.2、 利用卷积核提取 卷积特征X′(i+1)： N； S1.3、 利用深度自编码器和池化层提取图像特 征组成特 征矩阵X1： N。 3.根据权利要求1所述的基于深度半监督模型的图像细粒度分类方法， 其特征在于， 所 述步骤S2包括以下步骤： S2.1、 将原 始图片进行超像素分割成k个部分； S2.2、 计算特 征向量xij分配给第k个部分dk的概率 S2.3、 将概率 组合起来得到部分分配向量qij∈RK， 由所有分配向量组成映射Q∈RK ×H×W。 4.根据权利要求1所述的基于深度半监督模型的图像细粒度分类方法， 其特征在于， 所 述步骤S3包括以下步骤： S3.1、 用非线性特征编码公式计算， 把Q带入公式得到 区域特征映射并z ’k， 所有区域特 征组成映射 其中， 非线性特 征编码公式为： 其中， z’k表示部分dk的超像素区域特 征； S3.2、 将映射Z ’输入带残差模块的子网络fz把Z’得特征表示fz(Z’)， 其中fz包含四个残 差模块， 每一个模块包 含三个带batc h norm和ReLU激活函数的卷积； S3.3、 将fz(Z’)输入到softmax层， 得到每 个区域的重要性 概率softmax(fz(Z’T))； S3.4、 把注意力模板f放在映射Z ’的上， 计算每个区域重要性， 把区域重要性表示为注 意力向量a， 其中， 模板f是一个神经网络， f的输入是z ’k， 输出是权重ak；权　利　要　求　书 1/2 页 2 CN 115035302 A 2S3.5、 用注意力向量调整a转换后的区域特征softmax(fz(Z’T))， 计算公式为Z＝ softmax(fz(Z’T))a。 5.根据权利要求1所述的基于深度半监督模型的图像细粒度分类方法， 其特征在于， 所 述步骤S4包括以下步骤： S4.1、 定义检测器为 其中， 是2D高斯核， *操作是卷积运算符， Qk来自步骤S2中分配向量映射Q， tk的范围为 (0， 1)； S4.2、 将所有k部分检测器的输出合并到共现向量τ＝[t1， t2， ...， tK]T∈(0， 1)K， 表示所 有超像素发生的概 率； S4.3、 将所有共现向量τn， n＝1， 2， ...， N合并成一个矩阵T＝[τ1， τ2， ... τN]∈(0， 1)K×N， 估计得到经验分布p(dk|X1： N)； S4.4、 设定一个先验分布 为U型的Beta分布， 用Earth  Mover距离来对齐p (dk|X1： N)和先验 并用对齐后的共现向量作正则化项， 对齐公式为： 6.根据权利要求1所述的基于深度半监督模型的图像细粒度分类方法， 其特征在于， 所 述步骤S5包括以下步骤： S5.1、 建立随机初 始化参数为θ 的神经网络fθ(x)， 将区域特征Z和特征矩阵X输入神经网 络进行训练； S5.2、 计算神经网络fθ(x)的监督数据和无监督数据损失项， 其中， 计算有标签数据的监 督损失项的公式为： 计算无标签数据的无监 督损失项的公式为： S5.5、 得到总损失， 公式为： Loss＝loss1+loss2+Reg_pri or； S5.6、 利用ADAM算法更新神经网络参数θ 。权　利　要　求　书 2/2 页 3 CN 115035302 A 3