(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210317444.2 (22)申请日 2022.03.29 (71)申请人 徐州大工电子科技有限公司 地址 221700 江苏省徐州市丰 县经济开发 区大学生创业园 (72)发明人 刘运胜　孟陆　 (74)专利代理 机构 江苏长德知识产权代理有限 公司 32478 专利代理师 王金华 (51)Int.Cl. G06T 19/00(2011.01) G06T 7/11(2017.01) G06T 7/62(2017.01) G06V 10/762(2022.01) G06K 9/62(2022.01) (54)发明名称 一种具有自适应透光性的门窗AR方法及系 统 (57)摘要 本发明涉及人工智能技术领域， 具体涉及一 种具有自适应透光性的门窗AR方法及系统。 该方 法通过相机姿态信息获得初始AR效果。 通过最优 分割方案的筛选， 确保最优分割图像的重叠区域 都在玻璃区域内。 结合最优分割图像、 窗户姿态 信息和玻璃材质进行分析获得第一透光性图像。 对第一透光性图像进行叠加拼接， 并对重叠区域 分析后获得第三透光性图像。 结合玻璃区域内的 第三透光性图像获得最终AR效果。 本发 明通过分 析相机与图像的姿态信息获得包含准确玻璃信 息的最终AR效果。 权利要求书3页 说明书7页 附图1页 CN 114627272 A 2022.06.14 CN 114627272 A 1.一种具有自适应透光 性的门窗AR方法， 其特 征在于， 所述方法包括： 采集场景图像； 分割所述场景图像， 获得门窗安装区域图像； 所述门窗安装区域图像包 括门窗轮廓； 获取以所述门窗轮廓为参考的相机姿态信息； 获取目标门窗的三 维模型， 根据 所述相机姿态信息建立初始 AR效果； 通过多种分割方案将所述门窗安装区域图像分割为多个初始分割图像； 所述初始分割 图像尺寸为预设 网络输入尺寸； 根据所述初始AR效果 获得所述门窗安装区域图像内的玻璃 区域； 获得每个所述玻璃 区域的参考热图； 所述参考热图中像素点的热力值与对应的所述 玻璃区域中像素点与中心点的距离成反比例关系； 根据所述初始分割图像中像素点信息获 得所述门窗安装区域图像的像素点在所述分割方案中的重叠区域； 所述重叠区域与所述参 考热图的乘积为分割效果图像； 以最大的所述分割效果图像的总体像素值与所述初始分割 图像分布离散度的和对应的所述分割方案作为最优分割方案， 并获得对应的最优分割图 像； 获取以相机为参考的所述门窗安装区域的门窗姿态信息； 将所述最优分割图像、 门窗 姿态信息和所述目标门窗的玻璃材质输入预先训练好的透光性推理网络中， 输出第一透光 性图像； 将所述第一透光性图像叠加拼接， 获得第二透光性图像； 将所述最优分割图像对应 的所述重叠区域在所述第二透光性图像中对应的区域的像素值求均值， 获得第三透光性图 像； 将所述玻璃区域的所述第三透光 性图像和所述初始 AR效果获得最终AR效果。 2.根据权利要求1所述的一种具有自适应透光性的门窗AR方法， 其特征在于， 所述分割 所述场景图像， 获得门窗安装区域图像包括： 将所述场景图像送入预 先训练好的语义分割网络中， 输出 所述门窗安装区域图像。 3.根据权利要求1所述的一种具有自适应透光性的门窗AR方法， 其特征在于， 所述获取 以所述门窗轮廓为 参考的相机姿态信息包括： 将所述门窗轮廓的四个夹角、 所述门窗轮廓的尺寸和真实 门窗轮廓的长宽比送入预先 训练好的全连接网络中， 获得以所述门窗轮廓为 参考的所述相机姿态信息 。 4.根据权利要求1所述的一种具有自适应透光性的门窗AR方法， 其特征在于， 所述获得 每个所述玻璃区域的参 考热图包括： 以所述玻璃区域中心点做所述玻璃区域边缘点的连线， 获得第 一连线长度和第 一连线 角度； 以所述玻璃 区域中心点做所述玻璃 区域内部像素点的连线， 获得第二连线长度和第 二连线角度； 以最接近的所述第一连线角度和所述第二连线角度对应的像素点为匹配像素 点对； 根据热力系数获取公式获得每个所述内部像素点的热力系数； 所述热力系数获取公式 包括： 其中， rl为所述热力系数， DNn为所述匹配像素点对中所述内部像素点的所述第二连线 距离， DBm为所述匹配 像素点对中所述玻璃区域 边缘点的所述第一连线距离； 获得所述玻璃区域面积与 所有玻璃区域面积和的面积比值； 以所述热力系数与所述面 积比值的乘积作为所述内部像素点的热力值， 根据所述热力值获得 所述参考热图。权　利　要　求　书 1/3 页 2 CN 114627272 A 25.根据权利要求1所述的一种具有自适应透光性的门窗AR方法， 其特征在于， 所述根据 所述初始分割图像中像素点信息获得所述门窗安装区域图像的像素点在所述分割方案中 的重叠区域包括： 统计所述门窗安装区域图像的像素点属于不同所述初始分割图像的数量， 将每个像素 点对应的所述数量减一后作为该像素点的像素值， 获得 所述重叠区域。 6.根据权利要求1所述的一种具有自适应透光性的门窗AR方法， 其特征在于， 所述以最 大的所述分割效果图像的总体像素值与所述初始分割图像分布离散度的和对应的所述分 割方案作为 最优分割方案包括： 根据所述分割效果图像中像素值的和构建分割效果评判函数； 所述分割效果评判函数 与所述分割效果图像中像素值的和成正比例关系； 将所述初始分割图像中心点位置进行聚类， 获得多个聚类簇； 以所述聚类簇的离散度 作为分割位置 评判函数； 所述离 散度与所述分割位置 评判函数成正比例关系； 以所述分割效果评判函数和所述分割位置评判函数的和作为分割方案目标函数； 根据 多个所述分割方案不断迭代更新所述分割方案目标函数， 以最大的所述分割方案目标函数 对应的所述分割方案作为 最优分割方案 。 7.根据权利要求6所述的一种具有自适应透光性的门窗AR方法， 其特征在于， 所述根据 所述分割效果图像中像素值的和构建 分割效果评判函数包括： 其中， F为所述分割效果评判函数， (K， H)为所述分割效果图的尺寸， Gi为所述分割效果 图中第i个像素点的像素值， MS为所述初始分割图像的数量， (CK， CH)为所述初始分割图像 的尺寸。 8.根据权利要求6所述的一种具有自适应透光性的门窗AR方法， 其特征在于， 所述分割 位置评判函数包括： 其中， F2为所述分割位置评判函数， BG为所述聚类簇数量， DBk为第k个所述聚类簇内聚 类中心点到其他聚类点的距离， max(DBk)为第k个所述聚类簇内中心点到其他聚类点 的最 大距离， 为第k个所述聚类簇内聚类中心点到其 他聚类点的平均距离， α 为调整系数。 9.根据权利要求1或2所述的一种具有自适应透光性的门窗AR方法， 其特征在于， 所述 获取以所述门窗轮廓为 参考的相机姿态信息包括： 以所述门窗轮廓的中心点为原点， 结合所述门窗轮廓的法向量构建第一空间坐标系； 以相机与所述门窗轮廓的中心点的向量在所述第一空间坐标系中的姿态信息作为所述相 机姿态信息； 所述获取以相机为 参考的所述门窗安装区域的门窗姿态信息包括： 以相机为原点构建第 二空间坐标系； 以所述门窗安装区域每个像素点与相机的向量在 所述第二空间坐标系中的姿态信息作为所述门窗姿态信息 。 10.一种具有自适应透光性的门窗AR系统， 包括存储器、 处理器以及存储在所述存储器权　利　要　求　书 2/3 页 3 CN 114627272 A 3