(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210889105.1 (22)申请日 2022.07.27 (71)申请人 北京理工大 学 地址 100081 北京市海淀区中关村南大街5 号 申请人 北京理工大 学重庆创新中心 (72)发明人 王伟达　吴凌云　李颖　杨超　 岳兴　项昌乐　 (74)专利代理 机构 成都方圆聿联专利代理事务 所(普通合伙) 51241 专利代理师 张敏 (51)Int.Cl. G06T 7/80(2017.01) G06T 7/70(2017.01) G06T 5/00(2006.01)G06V 10/30(2022.01) G06V 10/44(2022.01) G06V 10/56(2022.01) (54)发明名称 分体式飞行车辆多模块间实时视觉识别定 位方法及系统 (57)摘要 本发明公开了分体式飞行车辆多模块间实 时视觉识别定位方法及系统， 对图像数据， 进行 相机内外参的标定， 得到相机的内外参和尺度变 换矩阵； 对图像数据， 进行图像预处理， 得到阈值 化灰度图像； 然后进行轮廓提取、 四边形筛选、 透 视变换和内部编码识别处理， 得到带有标记及角 点坐标的正面视图； 然后进行边缘细化处理， 得 到高定位准确度轮廓； 基于实时检测定位的结 果， 利用像素坐标系到图像坐标系到相机坐标系 再到世界坐标系之间的转换矩阵， 得到相机镜头 中心点相对预先布置与静止模 块底部ArUco码所 在区域中心点相对位置以及对接运动模块相对 静止模块的航向偏差角， 即实现了飞行车辆多模 块间精准实时视 觉识别定位。 权利要求书3页 说明书7页 附图3页 CN 115239822 A 2022.10.25 CN 115239822 A 1.分体式飞行 车辆多模块间实时视 觉识别定位方法， 其特 征在于， 所述方法包括： 对图像数据， 进行相机进内外参的标定处 理， 得到世界坐标到像素坐标的映射关系； 基于世界坐标到像素坐标的映射关系， 采集相机 图像并进行图像预处理， 得到阈值化 灰度图像； 对所述阈值化灰度图像， 进行轮廓提取、 四边形筛选、 透视变换和内部编码识别处理， 得到带有标记及角点 坐标的正 面视图； 对带有标记及角点坐标的正面视 图， 进行边缘细化处理， 得到含有高定位准确度轮廓 的图像； 基于含有高定位准确度轮廓的图像， 利用世界坐标到像素坐标的映射关系， 进行位姿 计算， 得到相机镜头中心点相 对预先布置与静止模块底部ArUco码所在区域中心点的相对 位置和对接运动模块相对静止模块的航向偏差角， 即实现了飞行车辆多模块间精准 实时视 觉识别定位。 2.根据权利要求1所述的分体式飞行车辆多模块间实时视觉识别定位方法， 其特征在 于， 利用分体式飞行 车辆上布置仰视车 载摄像模组采集图像数据。 3.根据权利要求1所述的分体式飞行车辆多模块间实时视觉识别定位方法， 其特征在 于， 对相机内外参的标定处 理， 具体包括： 对图像数据的坐标系 进行刚体变换， 得到世界坐标系的点到摄像机坐标系下点的映射 关系； 对世界坐标系的点到摄像机坐标系下点的映射关系的坐标系应用小孔成像， 得到摄像 模组坐标系和图像坐标系之间的映射关系； 对摄像模组坐标系和图像坐标系之间的映射关系的坐标系进行单位转换并引入安装 偏差和镜头畸变， 得到世界坐标系与像素坐标系之间的转换结果， 即世界坐标到像素坐标 的映射关系； 4.根据权利要求1所述的分体式飞行车辆多模块间实时视觉识别定位方法， 其特征在 于， 所述对图像进行 预处理， 具体包括： 对所述图像数据进行 灰度化， 得到灰度图像； Gray(x,y)＝0.2 99R(x,y)+0.578G(x,y)+0.1 14B(x,y)； 其中， R(x,y)、 G(x,y)、 B(x,y)分别为RGB图像三个分量的值； 对所述灰度图像进行阈值 化， 得到阈值 化灰度图像； 权　利　要　求　书 1/3 页 2 CN 115239822 A 2T(x,y)＝ WAs×s(x,y)‑p。 5.根据权利要求1所述的分体式飞行车辆多模块间实时视觉识别定位方法， 其特征在 于， 所述对带有标记及角点 坐标的正 面视图， 进行边 缘细化处 理， 具体包括： 利用ArUco检测算法， 对所述 正面视图进行轮廓检测与ID识别， 得到初始化轮廓结果； 利用成本函数， 对初始化轮廓结果上所有的点进行计算， 得到使成本函数最小化的高 定位准确度轮廓； 其中， R(p)和E(p,xi)是在图像位置p的实际值和预期值， 给定由xi代表的线； 预测值通 过一个给定的边 缘模型得到， 使用给定点p到初始直线的距离d(p,xi)。 6.根据权利要求1所述的分体式飞行车辆多模块间实时视觉识别定位方法， 其特征在 于， 基于含有高定位准确度轮廓的图像， 利用世界坐标到像素坐标的映射关系， 进 行位姿计 算， 具体包括： 对分体式飞行 车辆泊车模块相对于静止模块相对位置进行计算； 基于含有高定位准确度轮廓的图像的四边形轮廓， 从而计算出各个ArUco标记的中心 坐标； 将世界坐标到像素坐标的映射关系引入下式， 即可计算得到分体式飞行车辆地面待泊 车模块相对于静止模块的相对位置； vector_center＝vector_origi nal‑vector_camera； 其中， vector_original代表某一Aruco标记中心点在世界坐标系下的位置向量； vector_c amera代表某一Aruco标记中心点与像素坐标系下的位置向量； vector_center代 表摄像模组坐标系原点相对于世界坐标系原点的位置向量； 对分体式飞行 车辆泊车模块相对于静止模块 航向偏差角进行计算； 当检测算法由所输入已处理图像中检测到两个及以上数量的ArUco标记时， 即向航向 角计算模块输入配对的各ArUco标记的中心点坐标、 ID值， 该模块通过分别计算任意两两 ArUco标记在世界坐标系以及像素坐标系下直线方程， 通过世界坐标到像素坐标的映射关 系， 即可计算得到车辆航向角 其中， α表示表示世界坐标系下直线与x轴正方向夹角； β表示像素坐标系下直线与x轴 正方向夹角， 直线方程 通过两两ArUco标记中心点 坐标得到。 7.分体式飞行 车辆多模块间实时视 觉识别定位系统， 其特 征在于， 所述系统包括： 标定模块， 用于对图像数据， 进行相机进内外参的标定处理， 得到世界坐标到像素坐标 的映射关系； 第一处理模块， 用于基于世界坐标到像素坐标的映射关系， 采集相机 图像并进行图像权　利　要　求　书 2/3 页 3 CN 115239822 A 3