(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221084787 7.9 (22)申请日 2022.07.19 (71)申请人 河北工业大 学 地址 300130 天津市红桥区丁字沽光 荣道8 号河北工业大 学东院330# (72)发明人 张满囤　刘川　申冲　师子奇　 权子洋　史京珊　郭竹砚　 (74)专利代理 机构 天津翰林知识产权代理事务 所(普通合伙) 12210 专利代理师 蔡运红 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/44(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 基于特征增强的人脸关键点检测方法 (57)摘要 本发明为基于特征增强的人脸关键点检测 方法， 首先提取人脸图像的卷积特征， 并将卷积 特征映射为图节点特征； 根据数据集生成关键点 邻接矩阵， 将图节点特征和关键点邻接矩阵输入 到特征增强模块中， 特征增强模块由四个沙漏网 络级联而成， 相邻两个沙漏网络之间插入消息传 递层， 同时根据人脸面部结构将关键点进行分 组， 每组关键点连成一条边界， 一共得到13条边 界； 将边界等效为树节点， 构建双向树结构， 通过 双向树结构进行消息传递， 得到增强节点特征； 增强节点特征经过关键点生成模块的图卷积推 理， 预测得到关键点坐标矩阵， 完成人脸关键点 检测。 该方法利用消息传递机制使得可见边界可 以根据人脸面部结构为遮挡边界提供信息， 提高 了预测关键点 坐标的准确性。 权利要求书3页 说明书9页 附图6页 CN 115205940 A 2022.10.18 CN 115205940 A 1.一种基于特 征增强的人脸关键点检测方法， 其特 征在于， 该 方法包括以下步骤： 步骤1、 获取由多张人脸图像组成的数据集， 每张人脸图像包含N个关键点， 关键点分布 在人脸外轮廓、 眉毛轮廓、 唇部轮廓以及鼻梁位置； 步骤2、 构建人脸关键点检测模型， 包括特征提取模块、 节点嵌入模块、 邻接矩阵生成模 块、 特征增强模块和关键点 生成模块； 2‑1、 人脸图像经过特征提取模块得到卷积特征， 节点嵌入模块将卷积特征映射为图节 点特征； 2‑2、 通过邻接矩阵生成模块得到关键点邻接矩阵； 首先， 在训练之前将数据集构建成一个三阶数据张量 表示实数空间， M表示人脸图像的数量， (x， y)表示关键点的坐标； 然后， 沿着x和y方向将三阶数据张量T分 割为数据张量 和 所有人脸图像组成数据张量Tx和Ty的行， 每张人脸 图像所有关键点的横、 纵坐标分别组成数据张量Tx和Ty的列； 根据数据张量Tx， 计算关键点 之间沿x方向的皮尔逊相关系数， 得到x方向相关系数矩阵 同理， 得到y方向相关 系数矩阵 再通过式(1)计算人脸图像中关键点之间的皮尔逊相关系数， 得到关 系矩阵C； 式中， abs(·)表示返回矩阵元 素的关键值； 选取关系矩阵C中每行较大的n个值来构建稀疏矩阵Q， 为每个关键点选取n个最相关的 关键点； 通过式(2)对 稀疏矩阵Q进行归一 化， 得到关键点邻接矩阵； 式中， Qij、 Cij分别表示稀疏矩阵Q和 关系矩阵C中第i行第j列的元素， 表示每 行较大的n个值； 2‑3、 特征增强模块由四个沙漏网络级联而成， 相邻两个沙漏网络之间插入一个消息传 递层； 将图节点特 征和关键点邻接矩阵输入到特 征增强模块中， 得到增强节点特 征； 根据人脸面部结构对所有关键点进行分组， 每组关键点连成一条边界， 一共得到13条 边界， 分别为人脸外轮廓、 左眉毛、 右眉毛、 鼻梁、 鼻子下边界、 左眼睛上边界、 左眼睛下边 界、 右眼睛上边界、 右眼睛下边界、 上嘴唇上边界、 上嘴唇下边界、 下嘴唇上边界和下嘴唇下 边界； 定义： 人脸外轮廓分别与左、 右眉毛， 左、 右 眼睛下边界和下嘴唇下边界之间存在联 系， 左眼睛上边界分别与左眉毛和左眼睛下边界之间存在联系， 右眼睛上边界分别与右眉 毛和右眼睛下边界之 间存在联系， 鼻梁分别与左、 右眼下边界和鼻子下边界存在联系， 上嘴 唇上边界分别与鼻子下边界和上嘴唇下边界存在联系， 下嘴唇上边界分别与上嘴唇下边界 和下嘴唇下边界存在联系； 将边界等效为树节点， 将存在联系的边界对应的树节点连接起 来， 构造由树结构A和B组成 的双向树结构， 树结构A和B中的树节点A1～A13和树节点B1～B13 分别表示人脸外轮廓、 左眉毛、 右眉毛、 鼻梁、 鼻子下边界、 左眼睛上边界、 左眼睛下边界、 右 眼睛上边界、 右眼睛下边界、 上嘴唇 上边界、 上嘴唇 下边界、 下嘴唇 上边界和下嘴唇 下边界； 消息传递分为层内消息传递和层间消息传递， 层内消息按照双 向树结构进行传递； 对权　利　要　求　书 1/3 页 2 CN 115205940 A 2于第一个沙漏网络与第二个沙漏网络之 间的消息传递层， 当按照树结构A进行传递时， 对每 个树节点进行一次由卷积层、 批归一化层、 激活层、 层间消息传递层和层内消息传递层组成 的循环操作； 首先， 第一次循环操作从树节点A1开始， 第一个沙漏网络输出的图节点特征经 过卷积层， 得到特征F， 特征F经过批归一化层和 激活层后， 得到特征R1； 特征R1经过三个分 支操作， 一是， 将特征R1放入特征矩阵result_A中， 并对特征矩阵result_A进行更新， 特征 矩阵result_A初始为空； 二是， 特征R1经过层间消息传递层后， 得到层间消息传递特征 MsgA1， 并将层间消息传递特征M sgA1放入层间特征矩阵中， 并对层间特征矩阵进 行更新； 三 是， 特征R1经过层内消息传递层后， 得到层内消息传递特征Inner1_out； 由于树节点A1会影 响树节点A2、 A3、 A7、 A9和A13， 因此将层内消息传递特征Inner1_out分别放置在邻接树节点特 征矩阵中树节点A2、 A3、 A7、 A9和A13对应的位置， 分别记为邻接树节点特征Msg_a2、 Msg_a3、 Msg_a7、 Msg_a9和Msg_a13， 邻接树节点特征矩阵初始为空； 接着， 进行第二次循环操作对树 节点A13进行操作， 第一个沙漏网络输出的图节点 特征经过卷积层， 得到维度为特征F， 特征F 与数节点A13的邻接树节点特征Msg_a13相 加后再经过批归一化层和激活层， 得到特征R2； 特 征R2经过三个分支操作， 一是， 将特征R2放入特征矩阵result_A中对特征矩阵result_A进 行更新； 二是， 特征R2经过层间消 息传递层后， 得到层间消息传递特征MsgA13， 将层间消 息 传递特征M sgA13放入层间特征矩阵中， 对层间特征矩阵进行更新； 三是， 特征R2经过层内消 息传递层中， 得到层内消息传递特征Inner13_out； 由于树节点A13会影响树节点A12， 因此将 层内消息传递 特征Innerl3_out作为树节点A12的邻接树节点特征并放置在邻接 树节点特征 矩阵中树节点A12对应的位置， 对邻接 树节点特征矩阵进行更新； 同理， 对其余树节点进行循 环操作， 得到特征矩阵result_A和层间特征矩阵； 在对其余树节 点进行循环操作时， 将特征 F与该树节点的邻接树节点特征相加后再经过批归一化层和激活层； 对树结构B的各个树节 点进行相同的循环操作， 得到特 征矩阵result_B和更新后的层间特 征矩阵； 最后， 将特征矩阵result_A和result_B按第0维进行连接得到13个特征， 这13个特征分 别经过卷积、 批归一化和激活操作得到13个节点特征， 再将13个节 点特征按第0维连接得到 节点特征， 此节点特征再经过一次卷积、 批归一化和激活操作， 得到该消息传递层的输出特 征； 对于层间消息传递， 下一个消息传递层每次循环操作中， 沙漏网络输出的图节点特征 经过卷积后， 再与上一个消息传递层得到的层间特征矩阵中树节点对应的层间消息传递特 征相加后， 再 经过批归一 化层和激活层， 实现层间消息传递； 2‑3、 增强节点特 征经过关键点 生成模块的图卷积推理， 预测得到关键点 坐标矩阵； 首先， 构建一个服从均匀分布的可训练的参数矩阵， 将增强节点特征分别与参数矩阵 的第0维和第1维相乘， 得到关键点坐标矩阵h0和h1； 其次， 为关键点邻 接矩阵的所有非零位 置设置权重， 分别得到 关键点自身权重矩阵和邻接 关键点权重矩阵； 最后， 将关键点自身权 重矩阵与关键 点坐标矩阵h0相乘， 邻接关键 点权重矩阵与关键点坐 标矩阵h1相乘， 再将相乘 后的结果相加， 相加后的矩阵再经过批归一化层和激活层， 得到 关键点坐标矩阵， 即人脸关 键点的坐标； 步骤3、 利用数据集对人脸关键点检测模型进行训练， 将训练后的人脸关键点检测模型 用于人脸关键点检测。 2.根据权利要求1所述的基于特征增强的人脸关键点检测方法， 其特征在于， 所述特征权　利　要　求　书 2/3 页 3 CN 115205940 A 3