(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210936828.2 (22)申请日 2022.08.05 (71)申请人 华南理工大 学 地址 510640 广东省广州市天河区五山路 381号 (72)发明人 郑润森　陈安　 (74)专利代理 机构 广州市华学知识产权代理有 限公司 4 4245 专利代理师 郑秋松 (51)Int.Cl. G06T 7/246(2017.01) G06T 7/80(2017.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) H04N 5/232(2006.01) (54)发明名称 双轴云台目标跟踪系统及其方法 (57)摘要 本发明公开了一种双轴云台目标跟踪系统 及其方法。 该系统包括相机、 双轴云台、 YOLOX目 标检测神经网络、 状态转移轨迹预测模块、 跟踪 控制模块； 相机设于双轴云台上， 相机与YOL OX目 标检测神经网络连接； 双轴云台与跟踪控制模块 连接； YOLOX目标检测神经网络用于从多帧图像 中识别出所要跟踪的目标； 状态 转移轨迹预测模 块用于从不同图像中获取目标的不同位姿， 并根 据不同图像中目标的不同位姿之间的状态转移 关系， 对目标的轨迹进行预测； 跟踪控制模块用 于根据对目标的轨迹预测结果， 计算双轴云台所 需要转动的偏转角度， 然后向双轴云台发出与 偏 转角度相对应的信号。 本发明提高了在跟踪目标 时的精度以及跟踪的响应 速度。 权利要求书3页 说明书7页 附图3页 CN 115457076 A 2022.12.09 CN 115457076 A 1.一种双轴云台目标跟踪系统， 其特征在于， 包括相机、 双轴云台、 YOLOX目标检测神经 网络、 状态转移轨 迹预测模块、 跟踪控制模块； 所述相机设于双轴云台上， 相机与YOLOX目标检测神经网络连接， 相机用于拍摄多帧图 像； 所述双轴云台与跟踪控制模块连接， 双轴云台用于根据跟踪控制模块发出的信号进行 转动； 所述YOLOX目标检测神经网络用于从多帧图像中识别出所要跟踪 的目标， 获取目标的 特征点； 所述状态转移轨迹预测模块用于从不同图像中获取目标的不同位姿， 并根据不同图像 中目标的不同位姿之间的状态转移关系， 对目标的轨 迹进行预测； 所述跟踪控制模块用于根据对目标的轨迹预测结果， 计算双轴云台所需要转动的偏转 角度， 然后向双轴云台发出与偏转角度相对应的信号。 2.根据权利要求1所述双轴云台目标跟踪系统， 其特征在于， 双轴云台目标跟踪系统还 包括掉帧处理模块； 掉帧处理模块用于剔除没有识别到存在目标的图像。 3.根据权利要求1所述双轴云台目标跟踪系统， 其特征在于， 双轴云台目标跟踪系统还 包括相机标定模块； 所述相机标定模块用确定相机坐标系。 4.一种双轴云台目标跟踪方法， 包括权利要求1 ‑3任一项所述双轴云台目标跟踪系统 的， 其特征在于， 包括 步骤如下： 使用相机拍摄所要跟踪的目标的图像； 使用YOLOX目标检测 神经网络对所拍摄的图像进行处 理， 从中识别出 所要跟踪的目标； 根据识别出存在目标的图像， 计算不同图像中目标的位姿的状态转移关系， 然后根据 目标位姿的状态转移关系对目标的轨 迹进行预测； 根据对目标轨迹的预测结果计算相机双轴云台需要转动的偏转角度， 双轴云台根据 该 偏转角度带动相机转动相应的角度， 从而实现对目标的跟踪。 5.根据权利要求4所述双轴云台目标跟踪方法， 其特征在于， 相机在开始拍摄所要跟踪 的目标前， 先采用张氏标定法对相机进行 标定， 获得相机的内参。 6.根据权利要求5所述双轴云台目标跟踪方法， 其特征在于， 获得相机 内参的步骤具体 包括： 将一个黑白棋盘格作为标定板， 用双轴云台转动相机拍摄多帧相机呈现不同角度相对 黑白棋盘 格时的图像； 对所拍摄黑白棋盘格的图像中的特征点进行检测， 结合世界坐标系计算得到标定板角 点的物理坐标系； 根据标定板角点的物理坐标系， 求解相机的内参坐标矩阵、 畸变系数， 然后采用L ‑M算 法分别对内参 坐标矩阵、 畸变系数进行优化得到相机坐标系。 7.根据权利要求4所述双轴云台目标跟踪方法， 其特征在于， 双轴云台目标跟踪方法的 步骤还包括： 在对目标进行识别获取特征点后， 先进行掉帧处理剔除不存在目标的图像， 再根据存权　利　要　求　书 1/3 页 2 CN 115457076 A 2在目标的图像进行轨 迹预测。 8.根据权利要求7 所述双轴云台目标跟踪方法， 其特 征在于， 进行掉帧处 理的过程 为： 为存在目标的第一帧图像创建目标序列， 设定目标序列的最大图像帧容 量； 在目标序列容量未满时， 当后续的图像存在目标时， 则将存在目标的后续的图像按顺 序添加至目标序列， 当后续的图像不存在目标， 则将不存在目标图像帧丢弃； 在目标序列已满后， 当下一帧的图像中存在目标时， 按顺序将目标序列首端的一帧存 在目标的图像丢弃， 再将下一帧存在目标的图像添加至目标序列末端， 从而更新目标序列。 9.根据权利要求4所述双轴云台目标跟踪方法， 其特征在于， 对目标进行轨迹预测的过 程为： 根据Pnp算法计算目标当前一帧图像的位姿， 并将其位姿分解为旋转矩阵Rt、 平移向量 Tt； 设定当前一帧图像的对应的上一帧图像中目标的位姿的旋转矩阵为Rt‑1、 平移向量为 Tt‑1， 设定上一帧图像中目标的位姿的齐次变换矩阵与当前一帧图像中目标的位姿之间， 两 个齐次变换矩阵间的状态转移 矩阵为At， At的计算如下式所示： 设当前一帧图像中目标的位姿的齐次矩阵为H， 所要预测的下一帧图像中目标的位姿 的齐次矩阵为H ′、 旋转矩阵为R ′、 平移向量为T′， 齐次矩阵为H ′的计算如下式所示： H′＝H·At 设定齐次矩阵H ′在下一帧图像的坐标系中对应目标的中心点Pi； 设定点Pi坐标为(Xi,Yi,1)T、 点Pi在相机坐标系的Z轴上的分量为Zc、 相机的内参坐标矩 阵为K、 相机的外参 坐标矩阵为E； 根据齐次矩阵为H ′对平移向量T′作如下式所示反投影， 得到点Pi坐标(Xi,Yi,1)T： 设在相机坐标系中所要跟踪的目标的下一点Pc的坐标为(Xc,Yc,Zc)T， Xc、 Yc、 Zc分别为点 Pc在X轴、 Y轴、 Z轴上的坐标， 点Pc与点Pi相对应， 点Pc和点Pi的坐标转换如下式所示： 其中， f表示相机焦距。 10.根据权利要求9所述双轴云台目标跟踪方法， 其特征在于， 获取偏转角度控制相机 转动跟踪目标的过程 为： 将目标点Pc的坐标转换到像素坐标系中； 设在像素坐标系中目标点Pc对应的像素点Pp 的坐标为(u,v,1)T， 设定图像对应的单个像素点的宽和高分别为dx和dy； 点Pc和点Pp的坐标 转换如下式所示：权　利　要　求　书 2/3 页 3 CN 115457076 A 3