(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210263899.0 (22)申请日 2022.03.15 (71)申请人 北京理工大 学 地址 100081 北京市海淀区中关村南大街5 号 申请人 北京理工大 学重庆创新中心 (72)发明人 王雨桐　向真　樊伟　徐彬　 刘春桃　 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 潘红 (51)Int.Cl. G06V 20/00(2022.01) G06V 10/28(2022.01) G06V 10/46(2022.01)G06V 10/74(2022.01) G06V 10/762(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/02(2006.01) (54)发明名称 一种回环检测方法、 装置和电子设备 (57)摘要 本发明提供了一种回环检测方法、 装置和电 子设备， 其中， 对获取到的当前的周围环境图像 进行处理， 得到当前的周围环境图像的关键帧、 关键帧位置信息、 以及当前的周围环 境图像中特 征点的位置信息后， 确定出当前的周围环境图像 的关键帧的回环帧； 最后， 根据关键帧位置信息 和当前的周围环境图像中特征点， 对当前的周围 环境图像的关键帧与回环帧之间的相对位姿进 行计算， 可以通过训练好的深度学习模 型对所述 灰度图像进行处理， 得到当前的周围环境图像的 灰度图像中各点数据为特征点的置信度和各点 数据的描述子， 并利用得到的各所述点数据的描 述子确定出所述当前的周围环境图像的关键帧 的回环帧， 从而避免视角切换前后视角差带来的 回环检测失败问题。 权利要求书4页 说明书11页 附图2页 CN 114639006 A 2022.06.17 CN 114639006 A 1.一种回环检测方法， 其特 征在于， 包括： 获取当前的周围环境图像， 对所述当前的周围环境图像进行处理， 得到所述当前的周 围环境图像的关键 帧、 关键帧位置信息、 以及所述当前 的周围环境图像中特征点的位置信 息； 对所述当前的周围环境图像进行预处理， 得到所述当前的周围环境图像的灰度图像， 并通过训练好的深度学习模型对所述灰度图像进 行处理， 得到所述灰度图像中各点数据为 特征点的置信度和各 所述点数据的描述子； 基于所述灰度图像中各点数据为特征点的置信度、 各点数据的描述子、 所述当前的周 围环境图像中特 征点的位置信息， 确定出 所述当前的周围环境图像的关键帧的回环帧； 根据关键帧位置信 息和所述当前的周围环境图像中特征点， 对所述当前的周围环境图 像的关键帧与所述回环帧之间的相对位姿 进行计算。 2.根据权利要求1所述的方法， 其特征在于， 所述基于所述灰度图像中各点数据为特征 点的置信度、 各点数据的描述子、 所述当前的周围环境图像中的特征点的位置信息， 确定出 所述当前的周围环境图像的关键帧的回环帧， 包括： 获取所述当前的周围环境图像的分辨 率信息和所述灰度图像的分辨 率信息； 利用线型方法， 对所述当前的周围环境图像的分辨率信 息和所述灰度图像的分辨率信 息进行处理， 以将所述当前的周围环境图像中特征点的位置信息转换为所述灰度图像中特 征点的位置信息； 将所述灰度图像中特征点的位置信息对应位置的点数据的描述子确定为第一特征点 的描述子； 其中， 所述第一特 征点的位置信息是确定的； 将各点数据中除位置信息确定的特征点之外的剩余点数据中置信度大于置信度阈值 的点数据确定为第二特征点， 并将各点数据中除位置信息确定的特征点外的剩余点数据中 置信度大于置信度阈值的点数据的描述子确定为所述第二特征点的描述子； 其中， 所述第 二特征点的位置信息是 未确定的； 对所述第一特征点的描述子和所述第 二特征点的描述子进行二值化处理， 得到二值化 的描述子； 从训练好的词袋模型中确定出表征所述二值化的描述子的单词， 并统计得到所述词袋 模型中各单词表征所述二值化的描述子时的出现次数， 并根据所述词袋模 型中各单词表征 所述二值化的描述子时的出现次数， 得到表达所述当前的周围环境图像的特征向量[m1， m2，……， mi]， 其中， mi表示所述词袋模型中第i个单词表征所述二值化的描述子时的出现 次数； 获取至少两个历史周围环境图像的特征向量， 分别计算所述当前的周围环境图像的特 征向量与至少两个历史周围环境图像的特征向量中各历史周围环境图像的特征向量的相 似度； 将至少两个历史周围环境图像的特征向量中与所述当前的周围环境图像的特征向量 相似度最大 的历史周围环境图像的特征向量对应的关键 帧确定为所述当前的周围环境图 像的关键帧的备选回环帧； 当所述备选回环帧与所述当前的周围环境图像的匹配特征点的数量大于特征点数量 阈值时， 将所述备选回环帧确定为所述当前 的周围环境图像的关键帧的回环帧， 从而完成权　利　要　求　书 1/4 页 2 CN 114639006 A 2当前的周围环境图像的回环检测。 3.根据权利要求2所述的方法， 其特征在于， 所述对所述第 一特征点的描述子和所述第 二特征点的描述子进行二 值化处理， 得到二 值化的描述子， 包括： 通过以下公式对所述第一特征点的描述子和所述第二特征点的描述子进行二值化处 理， 得到二 值化的描述子： 其中， cj表示所述第一特征点的描 述子和所述第二特征点的描 述子中任一描述子第j维 二值化后的数值； vj表示所述第一特征点的描述子和所述第二特征点的描述子中任一描述 子第j维二 值化前的数值。 4.根据权利要求2所述的方法， 其特征在于， 所述分别计算所述当前的周围环境图像的 特征向量与至少两个历史周围环境图像的特征向量中各历史周围环境图像的特征向量的 相似度， 包括： 通过以下公式对所述当前的周围环境图像的特征向量与至少两个历史周围环境图像 的特征向量中各历史周围环境图像的特 征向量的相似度进行计算： 其中， s(a,b)表示所述当前的周围环境图像的特征向量与至少两个历史周围环境图像 的特征向量中各历史周围环境图像的特征向量的相似度； a表示所述当前 的周围环境图像 的特征向量； b表示至少 两个历史周围环境图像的特征向量中各历史周围环境图像的特征 向量； W表示特 征向量的维度； ‖ a ‑b ‖1表示a与b的差值的L1范 数。 5.根据权利要求2所述的方法， 其特征在于， 在所述当所述备选回环帧与所述当前的周 围环境图像的匹配特征点的数量大于特征点数量阈值时， 将所述备选回环帧确定为所述当 前的周围环境图像的关键帧的回环帧， 从而完成当前的周围环境图像的回环检测步骤之 前， 所述基于所述灰度图像中各点数据为特征点的置信度、 各点数据的描述子、 所述当前的 周围环境图像中的特征点的位置信息， 确定出所述当前的周围环境图像的关键帧的回环 帧， 还包括： 获取所述备选回环帧的特 征点描述子； 将所述备选回环帧的特征点描述子、 以及所述第 一特征点的描述子和所述第 二特征点 的描述子输入到训练好的基于图像神经网络算法的计算模型中， 通过所述基于图像神经网 络算法的计算模型， 对所述回环帧的特征点描述子、 以及所述第一特征点的描述子和所述 第二特征点的描述子进行 处理， 确定所述备选回环帧与所述当前的周围环境图像的匹配特 征点的数量。 6.根据权利要求2所述的方法， 其特征在于， 所述根据关键帧位置信 息和和所述当前的 周围环境图像中特征点， 对所述当前的周围环境图像的关键帧与所述回环帧之 间的相对位 姿进行计算， 包括： 利用PnP算法对所述关键帧位置信 息和所述当前的周围环境图像 中特征点的位置信 息 进行处理， 计算得到所述当前的周围环境图像的关键帧与所述回环帧之间的相对位姿。权　利　要　求　书 2/4 页 3 CN 114639006 A 3