(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210996505.2 (22)申请日 2022.08.19 (71)申请人 江苏中博通信有限公司 地址 210003 江苏省南京市 鼓楼区虎 踞北 路80号 (72)发明人 顾刚　宋婧　朱晓丹　敖丽平　 潘久勇　张征程　张允正　孙漫漫　 (74)专利代理 机构 南京众启致玖专利代理事务 所(特殊普通 合伙) 32626 专利代理师 李美丽 (51)Int.Cl. G06V 20/52(2022.01) G06V 20/40(2022.01) G06V 10/44(2022.01) G06V 10/26(2022.01)G06T 17/00(2006.01) G06T 7/10(2017.01) G06T 5/00(2006.01) G06T 5/50(2006.01) G06T 3/40(2006.01) G06Q 10/08(2012.01) G06N 3/02(2006.01) G06N 3/08(2006.01) H04L 67/02(2022.01) H04L 67/12(2022.01) H04N 7/18(2006.01) H04W 4/38(2018.01) (54)发明名称 一种全透明实景云仓储管理方法及其管理 系统 (57)摘要 本发明公开了一种全透明实景云仓储管理 方法及其管理系统， 该管理方法包括如下步骤： S1、 对仓储的货架上的储位进行视频监控， 获取 仓储的储位 以及置于储位上货物的多方位监控 视频数据； S2、 提取储位以及储位上货物的图像 特征； S3、 对仓储的货架上的储位进行储位传感 监测， 利用储位传感器获取储位以及置于储位上 货物的储位物理信息数据， 并提取物理特征； S4、 利用图像特征和物理特征进行3D建模拼接， 并投 影形成实景鸟瞰图； 本发明利用大量的视频监控 和物理传感检测获取的2D图像以及物理特征， 采 用基于神经网络下的升维视觉建模叠加时间轴， 构建实景鸟瞰图， 达到移步换景的4D视觉， 并叠 加互联网云服务， 实现真正意义上的全透明实景 云仓储管理。 权利要求书2页 说明书6页 附图2页 CN 115331173 A 2022.11.11 CN 115331173 A 1.一种全透明实景云仓储管理方法， 其特 征在于， 包括如下步骤： S1、 对仓储的货架上的储位进行视频监控， 获取仓储的储位以及置于储位上货物的多 方位监控视频 数据； S2、 多方位 监控视频 数据进行视频关键帧提取， 归集形成关键帧图像库； S3、 提取关键帧图像库内图像中储位以及储位上货物的图像特 征； S4、 基于图像特 征对关键帧图像库中图像进行切割， 形成拍摄图像单 元； S5、 对仓储的货架上的储位进行储位传感监测， 利用储位传感器获取储位以及置于储 位上货物的储位物理信息数据， 并提取物理特 征； S6、 利用图像特征和物理特征进行3D建模， 并依次全景方向投影形成模拟图像， 对模拟 图像进行切割， 形成模拟图像单 元； S7、 基于AI技术对拍摄图像单元和模拟图像单元进行匹配、 几何变换、 色彩校正、 图像 增强以及图像融合与拼接， 形成全景图像， 并提取储位货物串码信息数据； S8、 利用全景图像以及储位货物串码信息数据， 构建货权管控授权以及全景透明检验 的云管理平台， 利用云管理平台进行仓储的全景透明管理。 2.根据权利要求1所述的一种全透明实景云仓储管理方法， 其特征在于， 所述S1 ‑S5中 通过5G网络进行 数据传输 。 3.根据权利要求2所述的一种全透 明实景云仓储管理方法， 其特征在于， 所述S1中通过 多角度布置储位 监控摄像头。 4.根据权利要求2所述的一种全透 明实景云仓储管理方法， 其特征在于， 所述S3 中储位 物理信息数据包括重量 监测数据、 温度监测数据、 红外 探测数据以及RFID读取 数据。 5.根据权利要求2所述的一种全透 明实景云仓储管理方法， 其特征在于， 所述S6 中模拟 图像单元成型包括如下步骤： S601、 预处理图像特 征和物理特 征， 形成2D图像素 材单元； S602、 基于神经网络进行升维视 觉建模拼接， 转 化为3D图像素 材单元； S603、 将3D图像单 元依次全景投影形成模拟图像， 并进行切割模拟图像单 元； S7中全景图像拼接包括如下步骤： S701、 图像匹配， 基于AI 技术进行模拟图像单 元和拍摄图像单 元， 构建融合 拼接序列； S702、 几何变换， 对融合拼接序列的模拟图像单元和拍摄图像单元进行平移、 转置、 镜 像、 旋转、 缩放操作； 纠正图像几何偏差； S703、 色彩校正， 利用反向传播的神经网络算法对图像色调、 明暗进行调整， 通过算法 训练矫正模型的各项误差值； S704、 图像增强， 利用频率域法增强图像的有用消息， 改善图像视觉效果； 包括针对储 位货物的周边环境， 增强图像局部特 征， 提高边界差异， 改善图像质量； S705、 图像融合与 拼接， 利用AI技术基于加权平均的融合方法对图像进行融合与 拼接， 形成全景图像。 6.根据权利要求2所述的一种全透 明实景云仓储管理方法， 其特征在于， 所述S5 中利用 区块链技 术进行数据信息的共享和存 储。 7.一种应用上述权利要求1 ‑6任一所述全透明实景云仓储管理方法的管理系统； 其特 征在于， 包括储位 监控单元， 用于储位视频监控；权　利　要　求　书 1/2 页 2 CN 115331173 A 2储位监测传感单 元， 用于储位的物理信息监测； 网络传输与供电单 元， 用于储位 监控系统以及储位 监测传感系统的供电和数据传输； 特征提取单元， 用于提取图像特 征和物理特 征； 实景拼接单 元， 用于实景鸟瞰图的拼接成型以及货物串码信息数据提取； 以及云服务器， 用于构建云管理平台进行云仓管理和数据存储； 储位监控单元和储位 监测传感单元通过网络传输与供电单元与云服务器连接； 特征提取单元和实景拼接单元与 云服务器连接； 云服 务器通过网络传输与供电单 元与云仓管理终端连接 。 8.根据权利要求7所述的全透明实景云仓管理系统， 其特征在于， 所述云管理平台的技 术架构采用Spring  Cloud作为微服务架构的基础框架， 利用Spring  Cloud Netflix  Eureka作为微服务的注册中心， 以Rest  API的方式作为服务的调用方式， 配合Spring   Cloud Config实现分布式的配置、 集成Sp ring Cloud Sleuth、 Spring  Cloud Zuul、 Spring  Cloud Bus以及Netflix  HyStrix组件为微服务提供链路追踪与监控、 路由网关控制、 消息 总线管理及熔断机制。 9.根据权利要求8所述的全透明实景云仓管理系统， 其特征在于， 所述云管理平台的应 用架构采用主流的互联网三层分布 架构， 通过WEB展示层、 业 务层、 数据层三层架构设计； WEB展示层单独对外提供服务， 用户访问WEB展示层后， 展示层根据MVC模式， 分配处理 单元， 通过应用服务器上的中间件进 行业务层访问调用， 业务层负责处理业务交互操作， 并 将结果通过数据层映射关系、 缓存处理等写入/读取数据库， 业务层能够调用后台加密机以 及时间戳； 所述云管理平台的视图层使用HTML5、 CSS3、 VUE以及WebSocket技术展现； 访问控制层 使用Spring  MVC框架作为Web应用的访问层框架， 业务处理层使用Spring  IOC容器框架， 来 管理对象 的创建、 销毁以及回调实例； 业务层 使用基于API技术 实现多个不同系统之间的服 务通信， 同时还支持使用CXF技术实现基于SOAP协议的Web  Service供外部系统提供服务； 数据访问层包括数据库的访问以及文件访问， 数据库访问采用MyBatis作为数据持久层框 架， 同时提供XML标签来编写动态SQL； 文件操作采用HDFS提供的JAVA  API， 并对其进行了统 一的封装， 数据库层采用MySQL数据库作为关系型数据库； 文件访问采用对象存储OSS技术 的文件存储系统。权　利　要　求　书 2/2 页 3 CN 115331173 A 3