(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210840438.5 (22)申请日 2022.07.15 (71)申请人 鹏城实验室 地址 518000 广东省深圳市南 山区兴科一 街2号 (72)发明人 代菊　陈张猛　潘俊君　 (74)专利代理 机构 深圳市君胜知识产权代理事 务所(普通 合伙) 44268 专利代理师 温宏梅 (51)Int.Cl. G06V 40/20(2022.01) G06V 10/42(2022.01) G06V 10/44(2022.01) G06V 10/82(2022.01) G06N 3/08(2006.01) (54)发明名称 一种姿态估计方法、 相关装置和存 储介质 (57)摘要 本发明公开了一种姿态估计方法、 相关装置 和存储介质， 所述方法包 括： Transformer编码器 对目标对象进行学习得到目标对象的关键点之 间的全局特征； 第一图卷积模块根据第一邻接矩 阵和所述全局特征确定目标对象的局部静态特 征； 所述第一邻接矩阵根据目标对象的关键点之 间的物理连接关系确定； 第二图卷积模块根据第 二邻接矩 阵和所述局部静态特征确定局部动态 特征； 所述第二邻接矩阵根据近邻算法和目标对 象的关键点之间稀疏的动态连接关系确定； 回归 模块根据所述局部动态特征确定目标对象的关 键点的三维坐标。 采用本发明提供的技术方案提 升了根据二维图像对目标对象进行姿态估计的 精度， 并且具有较好的泛化 性。 权利要求书2页 说明书11页 附图12页 CN 115273228 A 2022.11.01 CN 115273228 A 1.一种姿态估计方法， 其特征在于， 用于姿态估计模型对目标图像中的目标对象进行 三维姿态估计， 所述 目标图像是对所述 目标对象拍摄得到的二维 图像， 所述姿态估计模型 包括： Transformer编码器、 第一图卷积模块、 第二图卷积模块和回归 模块， 所述方法包括： 所述Transformer编码器对所述目标对象进行学习得到所述目标对象的关键点的全局 特征； 所述第一图卷积模块根据第一邻接矩阵和所述全局特征确定所述目标对象的局部静 态特征； 所述第一邻接矩阵根据所述目标对象的关键点之间的物理连接关系确定； 所述第二图卷积模块根据第 二邻接矩阵和所述局部静态特征确定局部动态特征； 所述 第二邻接矩阵根据近邻算法和所述目标对象的关键点之间稀疏的动态连接关系确定； 所述回归 模块根据所述局部动态特 征确定所述目标对象的关键点的三维坐标。 2.根据权利要求1所述的方法， 其特征在于， 所述Transformer编码器对所述目标对象 进行学习得到所述目标对象的关键点的全局特 征， 包括： 所述Transformer编码器通过线性变换， 将所述目标对象的关键点的坐标映射到隐空 间， 同时用可学习的空间位置编码维持关键点的空间信息， 然后经多头自注意力 层MSA和前 馈网络FFN整合所述关键点的信息， 得到所述目标对象的关键点的全局特 征。 3.根据权利要求2所述的方法， 其特征在于， 所述第一邻接矩阵为A1， A1∈RJ×J， 所述J是 所述目标图像中包括的关键点的总数量， 4.根据权利要求3所述的方法， 其特征在于， 所述第 一图卷积模块根据第 一邻接矩阵和 所述全局特 征确定所述目标对象的局部静态特 征， 包括： 所述第一图卷积模块根据第一邻接矩阵和所述全局特征使用切比雪夫多项式作为卷 积核做图卷积 操作得到局部静态变量。 5.根据权利要求 4所述的方法， 其特 征在于， 所述第二邻接矩阵为A2， A2∈RJ×J， 所述Ωi是在特征空间中与关键点xi的距离最近的前K个关键点的集合， 所述Ωi＝KNN (xi， xj， k)， j∈[1， ...， J]； 所述KNN是K近邻算法； 关键点xj在特征空间中与所述关键点xi的 距离为R(xi， xj)， R(xi， xj)＝Dist(xi， xj)， 所述Dist(xi， xj)为所述关键点xi、 xj之间的欧式 距离。 6.根据权利要求5所述的方法， 其特征在于， 所述第 二图卷积模块根据第 二邻接矩阵和 所述局部静态特 征确定局部动态特 征， 包括： 所述第二图卷积模块根据第二邻接矩阵和所述局部静态特征使用所述切比雪夫多项 式作为卷积核做图卷积 操作得到局部动态特 征。 7.根据权利要求1 ‑6任一项所述的方法， 其特 征在于， 还 包括： 使用损失函数L oss对所述姿态估计模型进行约束， 权　利　要　求　书 1/2 页 2 CN 115273228 A 2其中， 所述Yi， j和 分别表示对样本i的第j个关键点的三维坐标的真实值和估计值， N 是样本数， J是 所述目标对象包括的关键点总数。 8.一种姿态估计装置， 其特征在于， 用于对目标图像中的目标对象进行三维姿态估计， 所述目标图像是对所述目标对象拍摄得到的二维图像， 所述姿态估计装置包括： Transformer编码器模块， 用于对所述目标对象进行学习得到所述目标对象的关键点 之间的全局特 征； 第一图卷积模块， 用于根据第 一邻接矩阵和所述全局特征确定所述目标对象的局部静 态特征； 所述第一邻接矩阵根据所述目标对象的关键点之间的物理连接关系确定； 第二图卷积模块， 用于根据第二邻接矩阵和所述局部静态特征确定局部动态特征； 所 述第二邻接矩阵根据近邻算法和所述目标对 象的动作确定的所述关键点之间稀疏 的动态 连接关系确定； 回归模块， 用于根据所述局部动态特 征确定所述目标对象的关键点的三维坐标。 9.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质存储有一个或者 多个程序， 所述一个或者多个程序可被一个或者多个处理器执行， 以实现如权利要求 1‑7任 意一项所述的姿态估计方法中的步骤。 10.一种终端设备， 其特征在于， 包括： 处理器、 存储器及通信总线； 所述存储器上存储 有可被所述处 理器执行的计算机可读程序； 所述通信总线实现处 理器和存 储器之间的连接通信； 所述处理器执行所述计算机可读程序时实现如权利要求1 ‑7任意一项所述的姿态估计 方法中的步骤。权　利　要　求　书 2/2 页 3 CN 115273228 A 3