(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221028640 5.0 (22)申请日 2022.03.23 (71)申请人 华南理工大 学 地址 511458 广东省广州市南沙区环市大 道南路25号 华工大广州产研院 (72)发明人 董守斌　杨杰　胡金龙　李文刚　 (74)专利代理 机构 广州市华学知识产权代理有 限公司 4 4245 专利代理师 冯炳辉 (51)Int.Cl. G06V 40/20(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/762(2022.01)G06V 10/82(2022.01) (54)发明名称 一种基于毫米波雷达点云的步态 识别方法 (57)摘要 本发明公开了一种基于毫米波雷达点云的 步态识别方法， 包括： 1)对雷达输出的原始点云 进行聚类、 追踪获取目标点； 2)坐标转换； 3)使用 随机采样的方法固定每一帧的目标点云数量； 4) 使用PointNet与双向LSTM获取步态的时间特征 向量， 使用T ‑Net结合PointNet获取步态的空间 特征向量； 5)对全局特征进行距离计算， 确认身 份类别。 本发 明采用毫米波雷达采集人行走过程 中的步态信息， 降低了环境光照、 水汽的影 响； 采 用3D点云学习人行走过程中的运动特征， 点既有 3D空间坐标又有信噪比、 速度信息， 保证步态特 征的丰富性； 通过随机采样固定每一帧的点云数 量， 与RGB图像相比， 降低了计算开销； 通过计算 人在行走过程中的时序特征与空间特征， 进一步 提高步态 识别精度。 权利要求书1页 说明书4页 附图2页 CN 114677758 A 2022.06.28 CN 114677758 A 1.一种基于毫米波雷达点云的步态 识别方法， 其特 征在于， 包括以下步骤： 1)对毫米波雷达在目标行走过程中输出的原始点云分两步进行处理； 第一步， 以椭圆 形建模目标， 使用DBS CAN算法进 行聚类， 去除背 景噪点以及 多径反射的镜像点， 得到目标的 初步检测结果； 第二步， 使用扩展卡尔曼滤波器， 将当前帧目标的初步检测结果与前一帧目 标的修正结果进 行关联， 输出当前帧目标的修正结果P， 其中P是包含一组点的列表， 即目标 点云； 2)根据毫米波雷达在真实空间中的位置， 对目标点云P在以毫米波雷达为原点的球坐 标系下的三 维坐标进 行转换， 获得以毫米波 雷达在真实空间水平面上的投影为原点的直角 坐标系下的三维坐标； 3)使用随机采样的方法处理连续M帧的目标点云Pi|i∈{1,2, …,M}， 所述i为帧数的索引序 号， 固定每一帧的目标点云Pi|i∈{1,2,…,M}都包含N个点； 4)连续M帧的目标点云Pi|i∈{1,2, …,M}并行输入PointNet神经网络中， 得到M个特征向量 Feati|i∈{1,2, …,M}； 前面过程中点的三维坐标单独经过PointNet神经网络的T ‑Net网络进行 变换， 获得M个中间 张量Tensori|i∈{1,2,…,M}； 5)Feati|i∈{1,2, …,M}经双向LSTM 网络与平均值池化AvgPool后得到步态的时间特征向量 Vect； 同时， 把Tensori|i∈{1,2, …,M}在帧数维度合并为张量TensorM， 张量TensorM输入一个不 包含T‑Net网络的PointNet神经网络中， 输出空间特征向量Vecs； 时间特征向量Vect与空间 特征向量Vecs通过向量 合并函数Co ncat合并为全局特 征向量Vecg； 6)计算与全局特征向量Vecg距离最短的Cj所对应的身份类别索引jopt作为连续M帧目标 点云Pi|i∈{1,2, …,M}所属的身份类别， 其中， 所述Cj为已有身份类别集{C1,C2, …,CK}内身份 类别j的全局特 征向量， 所述K为所述身份 类别的总数。 2.根据权利要求1所述的一种基于毫米波雷达点云的步态识别方法， 其特征在于： 在步 骤4)中， 连续M帧的目标点云Pi|i∈{1,2, …,M}是并行输入PointNet神经网络中的， 即M个 PointNet神经网络同时对M帧进行计算， 且这M个Po intNet神经网络之间的参数共享。 3.根据权利要求1所述的一种基于毫米波雷达点云的步态识别方法， 其特征在于： 在步 骤5)中， M个中间张量Tensori|i∈{1,2, …,M}输入不包含T ‑Net网络的PointNet神经网络， 该不 包含T‑Net网络的PointNet神经网络与步骤4)中所述PointNet神经网络之间参数不共享； 步骤4)中所述P ointNet神经 网络计算结果为M个特征向量Feati|i∈{1,2,…,M}， 以及M个中间张 量Tensori|i∈{1,2, …,M}， 而步骤5)中所述不包含T ‑Net网络的PointNet神经网络的计算结果 为空间特 征向量Vecs。权　利　要　求　书 1/1 页 2 CN 114677758 A 2一种基于毫米波 雷达点云的步态识别方 法 技术领域 [0001]本发明涉及毫米波雷达点云应用的技术领域， 尤其是指一种基于毫米波雷达点云 的步态识别方法。 背景技术 [0002]随着各类传感器的发展， 提取人体的各种生物特征以进行身份识别的相关技术百 花齐放， 例如以光学、 超声波为代表的指纹识别技术和以结构光为代表的人脸识别技术得 到了广泛的应用。 相比于指纹识别易受伪造、 汗渍影响， 人脸识别 在疫情大环 境下易被口罩 阻挡， 步态特征， 由于是人在行走过程中由步幅、 步长、 步宽以及人体各个 关节、 肌肉周期性 的运动产生的一种隐性生物特征， 在静止状态下不会显现， 具备唯一性、 难伪造、 可远距无 感知采集的优点。 这使 得步态特征在医疗健康、 智能家居、 安防监控等领域有广阔的应用场 景。 目前， 步态数据的获取有两大方案， 一类是通过动作捕捉技术(Motion  Capture   System， 简称 MOCAP)重建场景下的3D人体模 型， 进而获得步态数据， 此类方案不仅需要在测 试环境中安装摄像机， 往往还要求测试者在 身上穿戴特制的紧身衣、 传感器等设备。 其优点 在于步态信息丰富且精确， 重建的3D人体模型包含人的轮廓、 骨架、 关节运动轨迹等信息， 但成本较高， 采集条件较苛刻， 因此多用于电影特效制作、 科学研究等领域。 另一类则是利 用单一类别的传感器来获取人在行走过程中某个部位的运动数据， 包括但不限于足部压力 传感器、 可穿戴式惯性传感器、 光学相机。 该方案的成本较低， 易于部署安装， 但相对的步态 信息较单一。 例如在步态识别领域， 以银河水滴 公司为代表的工业界通过安装光学相机， 抓 拍人在行走经过特定路线时的照片序列， 提取人体轮廓图来获取步态特征。 该方案虽然降 低了部署MOCAP的成本， 但光学相机始终会受到光照、 水汽等外界环境因素干扰， 增加了从 RGB图像提取轮廓图的难度。 此外， 轮廓图与人物的衣着打扮、 以及相机安装角度相关， 因此 同一个人， 穿不同的衣服、 戴不同的饰品、 背包， 在不同角度的相机下， 生 成的轮廓图都会产 生变化， 对步态识别算法是很大的挑战； 另一方面， 在数据量上， RGB图像中的有效数据仅仅 是目标的轮廓图， 这需要实时运行轮廓图提取 的预处理算法， 额外的硬件算力完成对图片 冗余数据的剔除以提取步态特 征。 发明内容 [0003]本发明的目的在于克服现有技术的缺点与不足， 提出了一种基于毫米波雷达点云 的步态识别方法， 解决现有步态识别方法之中， MOCAP 部署要求复杂， 无法做到用户无感知， 采集条件严 苛且成本高昂； 而采用光学相机容易受到环境光照、 水汽等条件影响， 同时图片 需要更高的硬件算力实时预处理生成轮廓图， 但提取轮廓图学习步态特征容易被目标衣 着、 装备干扰的这些技 术问题。 [0004]为实现上述目的， 本发明所提供的技术方案为： 一种基于毫米波雷达点云的步态 识别方法， 包括以下步骤： [0005]1)对毫米波雷达在目标行走过程中输出的原始点云分两步进行处理； 第一步， 以说　明　书 1/4 页 3 CN 114677758 A 3