(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210471081.8 (22)申请日 2022.04.28 (71)申请人 湖北楚天高速数字科技有限公司 地址 430000 湖北省武汉市汉阳区四新大 道26号湖北国展中心广场B4地块东塔 栋23层(1)办号23 03室 (72)发明人 阮一恒　朱晨露　高源　张立杰　 (74)专利代理 机构 深圳市科 冠知识产权代理有 限公司 4 4355 专利代理师 王海骏 (51)Int.Cl. G06V 10/762(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06K 9/62(2022.01) (54)发明名称 一种具有平滑结构的深度注意力嵌入图聚 类方法 (57)摘要 本发明适用图数据处理领域， 提供了一种具 有平滑结构的深度注意力嵌入图聚类方法， 本发 明提出了一种新的图聚类方法， 该方法通过在图 自编码网络上同时施加注意机制和平滑约束， 可 以有效地消除重构图结构的不稳定性， 学习节点 更有效的低维表示， 本发明还提出了一种自优化 聚类模块， 有效地解决了目标分布更新带来的性 能退化问题。 权利要求书3页 说明书6页 附图1页 CN 114842231 A 2022.08.02 CN 114842231 A 1.一种具有平 滑结构的深度注意力嵌入图聚类方法， 其特 征在于， 所述方法包括： 步骤1、 对图数据进行预处理， 构建基本 的属性图G＝(V,E,X,A)， 并设定好基本 的图注 意力编码网络的结构， 包括网络层数， 隐藏层维度， 输出维度和初始聚类精度Ac c； 步骤2、 输入图结构以及节点属性信息， 定义图编码网络的损失项Lr与Ls， 通过多组交叉 验证方法预 先设定一些超参数， 包括 惩罚项系数： ρl与 λl； 步骤3、 整合结构重构损失Lr以及平滑约束Ls， 定义整体的损失函数L＝Lr+Ls， 预训练图 注意力编码网络， 并保存最优的预训练模型； 步骤4、 通过最优预训练网络计算节点的嵌入； 执行K ‑means聚类算法， 得到初始聚类中 心 类软分配概 率Q， 目标概 率分配P和当前聚类精度C_Ac c； 步骤5、 如果C_Acc>Acc， 则根据类软分配概率Q， 更新目标概率分配P， 将C_Acc赋值给 Acc， 并保存 模型； 否则不更新P； 步骤6、 根据概率分布Q与P计算自优化聚类KL散度， 并对网络参数进行优化， 包括类中 心， 编码网络参数； 步骤7、 判断迭代是否终止， 如果达到预先设定的最大迭代次数， 结束训练并输出最优 的节点聚类结果； 否则返回步骤4。 2.根据权利要求1所述的具有平滑结构的深度注意力嵌入图聚类方法， 其特征在于， 所 述步骤1中的属性图G＝(V,E,X,A)的一阶拓扑结构 采用连接矩阵A表示， 即Ai,j＝1， 如果ei,j ∈E； 否则Ai ,j＝0， 对应的高阶属性图拓扑结构定义为： M＝(D+D2+L+Dt)/t， 其中， Degree(i)表示节点 i的度。 3.根据权利要求2所述的具有平滑结构的深度注意力嵌入图聚类方法， 其特征在于， 所 述步骤1中所述的图注意力编码网络包括， 对于图上具有连接 关系的节点， 采用注意力机制 进行属性的聚合， 具体实施过程如下： 基本过程可以表示为： 其中， 分别对应于节点 i的输入特征以及隐藏 嵌入， Ni是节点i的所有邻居构成集合， αij表示邻居节 点j对于中心节 点i的注意力系数， 用来衡量节 点j的重要性， W∈RF′ ×F对应用于输入到隐藏嵌入的线性变换 矩阵， σ(·)是非线性激活函数。 4.根据权利要求3所述的具有平滑结构的深度注意力嵌入图聚类方法， 其特征在于， 对 应的注意力系数αij的计算方式为： 其中 用来输出注意力系数的权 重向量， 符号‖表示将向量进行串联。 5.根据权利要求4所述的具有平滑结构的深度注意力嵌入图聚类方法， 其特征在于， 采权　利　要　求　书 1/3 页 2 CN 114842231 A 2用两层的注意力编码网络用来聚合邻居信息， 并学习节点有效的隐藏嵌入， 基本的编码过 程简记为： 其中 l∈{1,2}分别表示节点输入特征以 及隐藏嵌入。 6.根据权利要求5所述的具有平滑结构的深度注意力嵌入图聚类方法， 其特征在于， 所 述步骤1中所述的图注意力编码网络包括多阶段结构解码： 对于编码输出 的节点隐藏嵌入 矩阵H(l),l∈{1 ,2}， 根据隐藏特征的相似性进行图拓扑结构的逐层解码， 即 其中 对应第j个节点的在第l层嵌入输出， 对应 节点i与j的近似重构关系。 7.根据权利要求6所述的具有平滑结构的深度注意力嵌入图聚类方法， 其特征在于， 所 述步骤2中图编码网络的损失项Lr和Ls的定义如下： 其中， ρl是预先设定用来平衡损失项的超参 数， 表示最后一层节点嵌入结构重构的损失项， 对应于中 间层重构损失； 其中， 采用二范数衡量相邻解码结构 与 之间的 差异， 对于 两层的图注意力编码网络， 平 滑损失为 8.根据权利要求7所述的具有平滑结构的深度注意力嵌入图聚类方法， 其特征在于， 所 述步骤4的具体步骤如下： 对于预训练图注意力网络 学习到的节点嵌入， 根据预先设定的类别数目nc， 首先通过K ‑ means聚类算法对初始嵌入进行聚类， 得到初始聚类中心 并设置初始化聚类精度 Acc； 根据聚类中心 以及初始嵌入H， 依次计算软概率分配Q与目标分配概率P， 并通过Q 与P计算当前的Kul lback‑Leibler散度： 计算当前节点嵌入的聚类精度C_Ac c， 类软分配概 率Q， 目标概 率分配P。 9.根据权利要求8所述的具有平滑结构的深度注意力嵌入图聚类方法， 其特征在于， 所 述目标分布概 率P与软分配概 率Q的定义如下： 软类别分配概率Q定义为： 其中qij表示节点i属于聚类中心uj权　利　要　求　书 2/3 页 3 CN 114842231 A 3