(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210860525.7 (22)申请日 2022.07.21 (71)申请人 中国人民解 放军国防科技大 学 地址 410003 湖南省长 沙市开福区德雅路 109号 (72)发明人 康来　申天睿　魏迎梅　万珊珊　 蒋杰　谢毓湘　 (74)专利代理 机构 北京风雅颂专利代理有限公 司 11403 专利代理师 曾志鹏 (51)Int.Cl. G06V 20/17(2022.01) G06V 10/75(2022.01) G06V 10/82(2022.01) G06V 10/774(2022.01)G06V 10/42(2022.01) G06V 10/44(2022.01) (54)发明名称 一种跨视图地理定位方法、 装置、 电子设备 及存储介质 (57)摘要 本申请提供一种跨视图地理定位方法、 装 置、 电子设备及存储介质。 所述方法包括： 获取无 人机图像和至少一张卫星图像； 所述无人机图像 包括有目标对象； 根据所述无人机图像， 通过神 经网络模型， 提取得到第一特征； 根据所述卫星 图像， 通过神经网络模型， 提取得到第二特征； 每 一所述卫星图像对应一个所述第二特征； 计算所 述第一特征与每一所述第二特征间的距离； 响应 于确定所述第一特征与 目标第二特征间距离最 短， 确定所述目标第二特征对应的卫星影像为目 标卫星影像， 所述无人机图像与所述目标卫星图 像匹配， 所述目标卫星 图像包括有目标对象； 根 据所述目标卫星图像中目标对象的位置信息， 对 所述无人机图像中目标对象进行地理定位。 权利要求书2页 说明书10页 附图4页 CN 115205715 A 2022.10.18 CN 115205715 A 1.一种跨视图地理定位方法， 其特 征在于， 包括： 获取无人机图像和至少一张卫星图像； 所述无 人机图像包括有目标对象； 根据所述无人机图像， 通过神经网络模型， 提取得到第一特征； 根据所述卫星图像， 通 过神经网络模型， 提取 得到第二特 征； 每一所述 卫星图像对应一个所述第二特 征； 计算所述第一特 征与每一所述第二特 征间的距离； 响应于确定所述第 一特征与目标第 二特征间距离最短， 确定所述目标第 二特征对应的 卫星影像为 目标卫星影像， 所述无人机图像与所述 目标卫星图像匹配， 所述 目标卫星图像 包括有目标对象； 根据所述目标卫星图像中目标对象的位置信 息， 对所述无人机图像中目标对象进行地 理定位。 2.根据权利要求1所述的跨视图地理定位方法， 其特征在于， 所述特征包括全局特征和 局部特征； 根据所述无人机图像， 通过神经网络模型， 提取得到第一特征； 根据所述卫星图像， 通 过神经网络模型， 提取 得到第二特 征， 包括： 根据所述无人机 图像和所述卫星图像， 利用训练后的神经网络模型， 分别提取得到所 述无人机图像的第一特征图和所述卫星图像的第二特征图； 每一所述卫星图像对应一个所 述第二特 征图； 对所述第一特征图和所述第 二特征图进行全局 平均池化， 得到所述第 一目标的第 一全 局特征和所述第二目标的第二全局特 征； 根据特征图分割、 对齐与重排列策略， 对所述第 一特征图和所述第二特征图进行分割、 对齐与重排列， 得到所述第一目标的第一局部特 征和所述第二目标的第二局部特 征。 3.根据权利要求2所述的跨视 图地理定位方法， 其特征在于， 所述根据特征图分割、 对 齐与重排列策略， 对 所述第一特征图和所述第二特征图进行分割、 对齐与重排列， 得到所述 第一目标的第一局部特 征和所述第二目标的第二局部特 征， 包括： 对所述第一特 征图和所述第二特 征图中每 个元素， 计算得到热力值； 将所述第一特征图和所述第二特征图中的每个元素按照所述热力值分别进行排序后 划分， 得到包含第一预定数值个元素的第一特征区域和包含第二预定数值个元素的第二特 征区域； 对所述包含第一预定数值个元素的第一特征区域和所述包含第二预定数值个元素的 第二特征区域分别进 行平均池化， 得到第一预定数值个第一局部特征和 第二预定数值个第 二局部特 征。 4.根据权利要求1所述的跨视图地理定位方法， 其特征在于， 所述计算所述第 一特征与 每一所述第二特 征间的距离， 包括： 通过余弦距离， 计算所述第一特 征与每一所述第二特 征间的距离 。 5.根据权利要求1所述的所述的跨视图地理定位方法， 其特征在于， 所述神经网络模型 的训练过程， 包括： 获取训练用图像集； 根据所述训练用图像集， 确定对应的分类结果 集； 根据所述训练用图像集和所述分类结果 集， 构建训练集；权　利　要　求　书 1/2 页 2 CN 115205715 A 2根据所述训练用图像集， 通过 所述神经网络模型， 提取 得到训练用特 征向量集； 根据所述训练用特 征向量集， 通过图像分类层进行分类得到训练结果 集； 根据所述分类结果集， 通过损 失函数对所述训练结果集进行验证， 响应于确定所述损 失函数值收敛， 确定所述神经网络模型完成训练。 6.根据权利要求5所述的所述的跨视图地理定位方法， 其特征在于， 所述获取训练用图 像集， 包括： 获取训练用卫星图像和训练用无 人机图像； 对所述卫星图像根据多采样策略， 进行图像增广处 理， 得到预定数值张所述 卫星图像。 7.根据权利要求5所述的所述的跨视图地理定位方法， 其特征在于， 所述根据 所述分类 结果集， 通过损失函数对所述训练结果集进 行验证， 响应于确定所述损失函数值收敛， 确定 所述神经网络模型完成训练， 包括： 根据所述训练用特征向量集和所述分类结果集， 利用三元组函数， 计算得到三元组损 失值； 根据所述训练结果集和所述分类结果集， 利用交叉熵损 失函数， 计算得到交叉熵损 失 值； 将所述交叉熵损 失值和所述三元组损 失值相加， 得到总损 失值， 响应于确定所述总损 失值收敛， 确定所述神经网络模型完成训练。 8.一种跨视图地理定位装置， 其特 征在于， 包括： 获取模块， 被配置为获取无人机 图像和至少一张卫星图像； 所述无人机 图像包括有目 标对象； 特征提取模块， 被配置为根据所述无人机图像， 通过神经网络模型， 提取得到第一特 征； 根据所述 卫星图像， 通过神经网络模型， 提取 得到第二特 征； 计算模块， 被 配置为计算所述第一特 征与每一所述第二特 征间的距离； 目标匹配模块， 被配置为响应于确定所述第一特征与目标第二特征间距离最短， 确定 所述目标第二特征对应的卫星影像为目标卫星影像， 所述无人机图像与所述目标卫星图像 匹配， 所述目标卫星图像包括有目标对象； 地理定位模块， 被配置为根据所述目标卫星图像中目标对象的位置信息， 对所述无人 机图像中目标对象进行地理定位。 9.一种电子设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计算 机程序， 其特征在于， 所述处理器执行所述程序时实现如权利要求1至7任意一项所述的方 法。 10.一种非暂态计算机可读， 所述非暂态计算机可读存储介质存储计算机指令， 其特征 在于， 所述计算机指令用于使计算机执 行权利要求1至7任一所述方法。权　利　要　求　书 2/2 页 3 CN 115205715 A 3