(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210794359.5 (22)申请日 2022.07.07 (71)申请人 北京交通大 学 地址 100044 北京市海淀区西直门外上园 村3号 (72)发明人 李浥东　张慧　毛啸　刘子凝　 金一　 (74)专利代理 机构 北京市商 泰律师事务所 11255 专利代理师 黄晓军 (51)Int.Cl. G06F 30/20(2020.01) G06F 30/10(2020.01) G06F 30/27(2020.01) G06K 9/62(2022.01)G06T 19/00(2011.01) (54)发明名称 一种基于平行智能的场景感知建模与验证 方法 (57)摘要 本发明提供了一种基于平行智能的场景感 知建模与验证方法。 该方法包括： 采集真实交通 场景下的实际数据， 构建实际数据集， 根据实际 数据进行实际场景要素仿真建模； 基于平行智能 构建与实际场景相似的人工场景； 基于所述人工 场景构建虚拟数据集； 结合虚拟数据集和实际数 据集， 研究基于多任务融合的视觉感知计算实 验， 用视觉感知算法验证虚拟数据集的有效性和 可靠性。 本发 明采用虚拟现实技术来模拟和表示 复杂挑战的实际场景， 探究从人工场景获取多中 标注信息的方法， 获取大规模多样性的虚拟场景 数据， 能够提供一套基于平行智能的人工场景仿 真和虚拟数据生成方法， 减 轻了视觉感知研究过 程中耗时耗力的人工收集和标注工作负担 。 权利要求书1页 说明书7页 附图2页 CN 115186473 A 2022.10.14 CN 115186473 A 1.一种基于平行智能的场景感知建模与验证方法， 其特 征在于， 包括： 采集真实交通场景下的实 际数据， 构建实 际数据集， 根据实 际数据进行实 际场景要素 仿真建模； 基于平行智能构建与实际场景相似的人工场景； 基于所述人工场景构建虚拟数据集； 结合所述虚拟数据集和所述实 际数据集， 研究基于多任务融合的视觉感知计算实验， 用视觉感知算法验证虚拟数据集的有效性和可靠性。 2.根据权利要求1所述的方法， 其特征在于， 所述采集真实交通场景下的实 际数据， 构 建实际数据集， 根据实际数据进行实际场景要素仿真 建模， 包括： 采集真实交通场景下的实际数据， 该实际数据包括各元素的尺寸、 位置和颜色数据， 所 述各元素包括车辆马路、 街边建筑、 商铺、 栏杆、 行人、 绿化和交通标志， 基于所述实际数据 用草图大师手动建模或利用静态和 动态的3D模型进 行实际场景要 素仿真建模， 形成场景要 素模型库， 对场景要素的建模按颗粒度分为几何模型仿真和实例级仿真两种。 3.根据权利要求2所述的方法， 其特征在于， 所述基于平行智能构建与实际场景相似的 人工场景， 包括： 基于平行智能将交通场景相关元素添加到路网并设置属性来模拟和描述实际场景， 按 照真实场景中的布局在仿真软件中把建筑物、 车辆和行人模型摆放在对应位置， 使用仿真 软件自带的工具在路网上规划好车辆运动轨迹， 为运动车辆设置好动力学模型和速度参 数， 在仿真软件中构建出虚拟仿真环境， 在虚拟仿真环境中利用虚拟现实技术构建人工场 景， 使人工场景与实际场景 具有相似的特性。 4.根据权利要求3所述的方法， 其特征在于， 所述的基于所述人工场景构建虚拟数据集 包括： 为人工场景设置各种环境条件和虚拟摄像机属性， 所述环境条件包括季节、 天气和光 照， 所述虚拟 摄像机属性包括位置、 视角和焦距， 从人工场景中 自动视觉感知研究需要的标 注信息， 该标注信息包括目标位置和 类型、 语义分割、 运动轨迹， 利用标注信息生成多样性 虚拟数据集， 该虚拟数据集包括虚拟图像和视频 数据集。 5.根据权利要求4所述的方法， 其特征在于， 所述的结合所述虚拟数据集和所述实际数 据集， 研究基于多任务融合的视觉感知计算实验， 用视觉感知算法验证虚拟数据集的有效 性和可靠性， 包括： 结合虚拟数据集和实际数据集， 利用人工场景进行基于多任务融合的视觉感知计算机 模拟实验， 针对虚拟数据集和实际数据集之间的分布偏移问题， 采用基于潜在空间的领域 迁移学习方法来构建共享潜在特征空间， 并使不同领域的数据集在此空间上满足分布一 致， 从而引导模型获取和利用虚拟和真实领域之间的潜在信息， 实现模型从虚拟场景到真 实场景的无偏迁移； 在模型测试阶段， 先在人工场景数据集上做实验评估， 通过选取不同环境下的虚拟数 据集， 来衡量所提出 的视觉感知模型在不同场景下 的性能， 考察视觉感知模型在不同环境 下的表现； 再把基于人工场景数据集优化的模型应用在实际场景中， 并根据实际场景数据 集上存在的性能缺陷来反馈优化视觉模型， 实现复杂场景下 的智能视觉感知与 理解， 验证 虚拟数据集的有效性和可靠性。权　利　要　求　书 1/1 页 2 CN 115186473 A 2一种基于平行智能的场景 感知建模与验证方 法 技术领域 [0001]本发明涉及计算机视觉任务技术领域， 尤其涉及 一种基于平行智能的场景感知建 模与验证方法。 背景技术 [0002]数据集在计算机视觉任务算法的训练和测试中发挥着重要作用， 然而在现实中人 工收集和标注图像耗时耗力， 尤其在大型复杂交通系统中， 对大量准确标注图像有迫切需 求。 另外， 由于受标注人员的专业度影响， 人工标注的结果在一定程度上不够可靠， 一个人 两次标注同一张照片可能也会不相同， 因此无法得到准确的真实值， 从而严重影响到计算 机视觉算法或模型的性能。 [0003]目前， 现有技术中的常用于计算机视觉任务的从现实世界采集标注的数据集有 KITTI、 PASCAL  VOC、 MS COCO和ImageNet等， 每个数据集有各自使用的场景， 各有优劣。 KITTI数据集是世界上最大的自动驾驶场景计算机视觉数据集， 包括超过10万辆带标签的 汽车， 但是KITTI缺少一些常见的物体类型(例如没有公共汽车)， 并且数据分布不够均衡 (例如卡车的数量很少)。 PASCAL  VOC数据集常被作为视觉对象分类、 识别和检测的基准。 PASCAL VOC包含20类别， 但每个类别的图像数量很少， 平均不到一千个。 MS  COCO数据集中 有91类对象的328  000张图片， 但是注释这个数据集的任务很繁重。 例如， 仅确定MS  COCO图 像中存在哪些对象类别需要20 000多个小时。 [0004]ImageNet数据集是世界上最大的图像识别数据库， 包括1000多个类别， 但是没有 语义分割标注信息 。 [0005]有学者通过扩展ACP(Artificial  systems,computational  experiments, parallel  execution， 人工系统、 计算实验和并行执行理论方法)提出了平行视觉的理论框 架， 并阐述了虚拟数据的意义。 ACP方法为平行智能奠定了基础， 为解决复杂系统中的问题 提供了新的见解。 在图1所示的平行视觉框架下， 可以明显看出虚拟世界在生成具有不同环 境条件和纹理变化的各种标记数据集的巨大优势， 这些数据集通常被认为是目标检测的重 要图像特 征。 [0006]利用虚拟世界进行科学研究的尝试已经很多。 有学者研究了利用 “虚拟人生 ”和 “魔兽世界 ”两个虚拟游戏世界作为社会、 行为和经济科学以及计算机科学研究站 点的可行 性。 还有学者创建了一个虚拟生活实验室， 研究人员可以在这个虚拟空间里进行受控驾驶 和旅行研究。 在计算机视觉领域， 早期利用虚拟数据集训练的工作包括基于HOG(Histogram   of Oriented  Gradient,定向梯度直方图)和线 性SVM(Support Vector Machine,支持向量 机)的行人检测器， 以及利用从视频游戏中生成的虚拟数据集来进行基于部分的行人检测 器。 除了训练模型外， 虚拟世界数据还用于探索深度卷积神经网络的深层特征对于缺少低 级线索和 域适应问题的不变性。 随后人们开始尝试生成虚拟数据集的方法， 在语义分割任 务上， 有学者提出了一种通过现代视频游戏构建虚拟数据集的方法， 并使用外部图形硬件 获得相应的注释， 而无需访问游戏的源代码。 如今， GAN(Generative  Adversarial  说　明　书 1/7 页 3 CN 115186473 A 3