(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210886418.1 (22)申请日 2022.07.26 (71)申请人 浙江大华 技术股份有限公司 地址 310051 浙江省杭州市滨江区滨安路 1187号 (72)发明人 张红良　魏乃科　潘华东　 (74)专利代理 机构 深圳市威世博知识产权代理 事务所(普通 合伙) 44280 专利代理师 何倚雯 (51)Int.Cl. G06V 40/10(2022.01) G06V 40/20(2022.01) G06V 10/44(2022.01) G06V 10/75(2022.01) G06V 10/764(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 人体姿态估计方法、 装置、 终端及计算机可 读存储介质 (57)摘要 本发明提供一种人体姿态估计方法、 装置、 终端及计算机可读存储介质， 人体姿态估计方法 包括： 获取待检测图像； 待检测图像至少包含目 标人体； 对待检测图像进行特征提取， 得到待检 测图像的特征图； 采用多种关键点检测方式分别 对待检测图像的特征图进行关键点检测， 得到多 种关键点信息； 多种关键点信息至少包括第一类 关键点信息和第二类关键点信息， 第一类关键点 信息中的关键点数据不少于第二类关键点信息 中的关键点数据； 基于第一类关键点信息对第二 类关键点信息进行校正， 确定目标人体的姿态信 息。 本申请对特征图进行关键点检测， 基于多种 关键点信息中的第一类关键点信息对第二类关 键点信息进行校正， 提高检测得到目标人体关键 点信息的准确性。 权利要求书3页 说明书11页 附图4页 CN 115424290 A 2022.12.02 CN 115424290 A 1.一种人体姿态估计方法， 其特 征在于， 所述人体姿态估计方法包括： 获取待检测图像； 所述待检测图像至少包 含目标人体； 对所述待检测图像进行 特征提取， 得到所述待检测图像的特 征图； 采用多种关键点检测方式分别对所述待检测图像的特征图进行关键点检测， 得到多种 关键点信息； 所述多种关键点信息至少包括第一类关键点信息和第二类关键点信息， 所述 第一类关键点信息包含的关键点数据不少于所述第二类关键点信息包含的所述关键点数 据； 基于所述第 一类关键点信 息对所述第 二类关键点信 息进行校正， 确定所述目标人体的 姿态信息 。 2.根据权利要求1所述的人体姿态估计方法， 其特 征在于， 所述获取待检测图像， 包括： 获取原始图像， 所述原 始图像包括多个人体； 对所述原始图像进行人体检测， 得到人体检测框； 所述人体检测框至少包含一个所述 人体； 从所述原始图像中提取所述人体检测框， 得到待检测图像， 所述待检测图像为所述原 始图像的子图像。 3.根据权利要求2所述的人体姿态估计方法， 其特 征在于， 所述对所述待检测图像进行 特征提取， 得到所述待检测图像的特 征图， 包括： 通过关键点检测网络对所述待检测图像进行特征提取， 得到所述待检测图像的特征 图； 其中， 所述关键点检测网络包括依次级联的特征提取模块和耦合模块， 所述耦合模块 包括第一检测单元和 第二检测单元， 所述第一检测单元和所述第二检测单元分别与所述特 征提取模块级联。 4.根据权利要求3所述的人体姿态估计方法， 其特征在于， 所述第 一检测单元包括依次 级联的反卷积层、 第一卷积层和第二卷积层； 所述第二检测单元包括依 次级联的第一特征 提取层和第二特 征提取层； 所述采用多种关键点检测方式分别对所述待检测图像的特征图进行关键点检测， 得到 多种关键点信息； 所述多种关键点信息至少包括第一类关键点信息和第二类关键点信息， 包括： 通过所述反卷积层对所述特 征图进行 上采样处 理， 得到第一特 征图； 通过所述第一卷积层对所述第一特征图进行特征提取， 得到第二特征图； 通过所述第 一特征提取层对所述特 征图进行 特征提取， 得到第三特 征图； 对所述第二特征图进行下采样处理， 得到第 四特征图； 对所述第三特征图进行上采样 处理， 得到第五特 征图； 将所述第二特征图和所述第五特征图进行特征融合， 得到第六特征图； 将所述第三特 征图和所述第四特 征图进行 特征融合， 得到第七特 征图； 通过所述第 二卷积层对所述第六特征图进行特征提取， 得到所述待检测图像的第 一类 关键点信息； 通过所述第 二特征提取层对所述第七特征图进行特征提取， 得到所述待检测图像的第权　利　要　求　书 1/3 页 2 CN 115424290 A 2二类关键点信息 。 5.根据权利要求3所述的人体姿态估计方法， 其特 征在于， 所述采用多种关键点检测方式分别对所述待检测图像的特征图进行关键点检测， 得到 多种关键点信息； 所述多种关键点信息至少包括第一类关键点信息和第二类关键点信息， 包括： 通过所述第一检测单元对所述特征图进行关键点检测， 得到所述第一类关键点信息； 所述第一类关键点信息为所述待检测图像中包 含的所有所述人体的关键点信息； 通过所述第二检测单元对所述特征图进行关键点检测， 得到所述第二类关键点信息； 所述第二类关键点信息为所述待检测图像中包 含的所述目标 人体的部位关键点。 6.根据权利要求5所述的人体姿态估计方法， 其特 征在于， 所述通过所述第二检测单元对所述特征图进行关键点检测， 得到所述第 二类关键点信 息， 包括： 通过所述第 二检测单元对所述特征图进行关键点检测， 得到所述待检测图像包含的所 有所述人体对应的所述部位关键点和各 所述部位关键点之间的连接关系； 基于所述部位关键点之间的连接关系 对所述部位关键点进行匹配， 得到各所述人体对 应的关键点数据； 基于各所述人体对应的所述关键点数据， 从所述所有人体中筛 选出所述目标 人体。 7.根据权利要求6所述的人体姿态估计方法， 其特征在于， 所述关键点数据包括所述部 位关键点的数量和所述部位关键点的置信度； 所述基于各所述人体对应的所述关键点数据， 从所述所有人体中筛选出所述目标人 体， 包括： 基于各所述人体对应的所述部位关键点的数量和所述部位关键点的置信度， 计算得到 各所述人体对应的评分； 选取最高所述评分对应的所述人体确定为所述目标人体， 所述人体的关键点数据作为 所述目标 人体的第二类关键点信息 。 8.根据权利要求6所述的人体姿态估计方法， 其特征在于， 所述第 二类关键点信 息还包 括各第二类关键点的位置信息和各所述第二类关键点的误差范围； 所述第一类关键点信息 包括各第一类关键点的位置信息； 所述基于所述第一类关键点信 息对所述第 二类关键点信 息进行校正， 确定所述目标人 体的姿态信息， 包括： 计算得到同一部位的所述第一类关键点的位置信息与所述第二类关键点的位置信息 之间的误差值； 响应于所述误差值超出对应的所述第 二类关键点的误差范围， 则将所述第 二类关键点 作为所述目标 人体的关键点； 响应于所述误差值未超出对应的所述第 二类关键点的误差范围， 则将所述第 一类关键 点的位置信息和所述第二类关键点的位置信息进 行加权求平均， 得到所述目标人体的关键 点； 基于所述目标 人体的所有所述关键点， 确定所述目标 人体的姿态信息 。 9.一种人体姿态估计装置， 其特 征在于， 所述人体姿态估计装置包括：权　利　要　求　书 2/3 页 3 CN 115424290 A 3