(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210778647.1 (22)申请日 2022.07.04 (71)申请人 小米汽车 科技有限公司 地址 100176 北京市大兴区北京经济技 术 开发区科创十街15号院5号楼6层618 室 (72)发明人 陈吕劼　 (74)专利代理 机构 北京英创嘉友知识产权代理 事务所(普通 合伙) 11447 专利代理师 卢夏子 (51)Int.Cl. G06V 20/56(2022.01) G06V 10/44(2022.01) G06V 10/77(2022.01) G06V 10/774(2022.01) (54)发明名称 图像处理方法、 装置、 车辆、 存 储介质及芯片 (57)摘要 本公开涉及一种图像处理方法、 装置、 车辆、 存储介质及芯片， 该图像处理方法通过多任务感 知模型提取该当前行驶环境图像对应的第一目 标特征数据， 该多任务感知模型包括多个任务解 码模块， 不同的任务解码模块用于完成不同的感 知任务； 将该第一目标特征数据和历史行驶环境 图像对应的第二目标特征数据输入每个该任务 解码模块， 以获取每个该任务解码模块输出的任 务处理结果； 这样， 通过多个相互独立的任务解 码模块分别获取每个任务处理结果， 能够有效提 升多任务处理速度， 且由于不同的任务之间可以 并行处理， 因此不仅能够有效提升任务处理效 率， 也能够减少不同任务处理结果之间的相互影 响， 从而能够达到有效提升任务处理结果的准确 性的效果。 权利要求书3页 说明书13页 附图4页 CN 115035494 A 2022.09.09 CN 115035494 A 1.一种图像处 理方法， 其特 征在于， 应用于车辆， 包括： 获取所述车辆的当前 行驶环境图像； 将所述当前行驶环境图像输入预设的多任务感知模型， 所述多任务感知模型包括特征 提取模块和多个任务解码模块， 不同的任务解码模块用于完成不同的感知任务， 通过所述 特征提取模块 提取所述当前 行驶环境图像对应的第一目标 特征数据； 获取历史行驶环境图像对应的第二目标 特征数据； 将所述第一目标特征数据和所述第 二目标特征数据输入每个所述任务解码模块， 以获 取每个所述任务 解码模块输出的任务处 理结果。 2.根据权利要求1所述的图像处理方法， 其特征在于， 所述特征提取模块包括图像切块 子模块， 编码器和数据存储子模块， 所述图像切 块子模块的输出端与所述编码器的输入端 耦合， 所述编码器的输出端与所述数据存储子模块的输入端耦合， 所述数据存储子模块的 输出端分别与所述多个任务 解码模块中的每 个耦合， 所述图像切块子模块， 用于将所述当前行驶环境图像划分为多个图像区域， 并获取每 个图像区域对应的特 征向量； 所述编码器， 包括自注意力层， 用于通过所述自注意力层对所述多个图像区域对应的 多个所述特征向量进 行特征提取， 以得到所述当前行驶环境图像对应的所述第一目标特征 数据， 并将所述第一目标 特征数据输入所述数据存 储子模块； 所述数据存储子模块， 用于对所述编码器输出的所述当前行驶环境图像对应的所述第 一目标特征数据进行存 储。 3.根据权利要求2所述的图像处理方法， 其特征在于， 所述通过所述特征提取模块提取 所述当前 行驶环境图像对应的第一目标 特征数据， 包括： 响应于接收到所述当前行驶环境图像， 通过所述图像切块子模块将所述当前行驶环境 图像划分为多个图像区域， 并获取每 个图像区域对应的特 征向量； 通过所述自注意力层对所述多个图像区域对应的多个所述特征向量进行特征提取， 以 得到所述当前行驶环 境图像对应的所述第一目标特征数据， 并将所述第一目标特征数据输 入所述数据存 储子模块； 通过所述数据存 储子模块对所述编码器输出的所述第一目标 特征数据进行存 储。 4.根据权利要求2所述的图像处理方法， 其特征在于， 所述获取历史行驶环境图像对应 的第二目标 特征数据， 包括： 获取历史行驶环境图像对应的标识信息； 根据所述标识信息从所述数据存储子模块中读取所述历史行驶环境图像对应的所述 第二目标 特征数据。 5.根据权利要求1所述的图像处理方法， 其特征在于， 所述任务解码模块包括一个或者 多个解码 器， 所述将所述第一目标特征数据和所述第二目标特征数据输入每个所述任务解 码模块， 以获取每 个所述任务 解码模块输出的任务处 理结果， 包括： 通过所述一个或者多个解码器对接收到的所述第一目标特征数据和所述第二目标特 征数据进行任务处 理， 以得到所述任务处 理结果。 6.根据权利要求1所述的图像处理方法， 其特征在于， 所述多个任务解码模块包括位置 检测类任务解码模块， 图像分割类任务解码模块和类别检测类任务解码模块中的至少一权　利　要　求　书 1/3 页 2 CN 115035494 A 2个， 所述位置检测类任务解码模块， 用于根据 所述第一目标特征数据和所述第 二目标特征 数据确定当前的车辆行驶环境中， 第一指定物体的位置信息； 所述类别检测类任务解码模块， 用于根据 所述第一目标特征数据和所述第 二目标特征 数据确定当前的车辆行驶环境中， 第二指定物体的类别 信息； 所述图像分割类任务解码模块， 用于根据 所述第一目标特征数据和所述第 二目标特征 数据确定车辆行驶环境中的车道线位置和/或可 行驶区域。 7.根据权利要求6所述的图像处 理方法， 其特 征在于， 所述位置检测类任务解码模块， 包括红绿灯位置检测任务解码模块、 车辆位置检测任 务解码模块、 行人位置检测任务解码模块、 障碍物位置检测任务解码模块、 灯杆位置检测任 务解码模块、 交通标识位置检测任务 解码模块中的一个或者多个； 所述类别检测类任务解码模块， 包括天气类别检测任务解码模块或行驶路面类别检测 任务解码模块。 8.根据权利要求1 ‑7中任一项所述的图像处理方法， 其特征在于， 所述多任务感知模型 通过以下 方式训练得到： 获取多组行驶环境图像样本， 每组所述行驶环境图像样本 中包括多帧行驶环境样本图 像， 以及当前感知任务的标注数据， 不同的行驶环境图像样本包括不同感知任务的标注数 据； 以所述多组行驶环境图像样本为训练数据， 对预设初始模型进行训练， 以得到所述多 任务感知模型； 其中， 所述预设初始模 型包括初始特征提取模块和多个初始任务解码模块， 所述初始特征提取模块包括图像切 块初始子模块， 初始编码器和数据存储子模块， 所述初 始任务解码模块包括 一个或者多个初始解码器。 9.一种图像处 理装置， 其特 征在于， 应用于车辆， 包括： 第一获取模块， 被 配置为获取 所述车辆的当前 行驶环境图像； 第二获取模块， 被配置为将所述当前行驶环境图像输入预设的多任务感知模型， 所述 多任务感知模型包括特征提取模块和多个任务解码模块， 不同的任务解码模块用于完成不 同的感知 任务， 通过所述特征提取模块提取所述当前行驶环境图像对应的第一目标特征数 据； 第三获取模块， 被 配置为获取历史行驶环境图像对应的第二目标 特征数据； 确定模块， 被配置为将所述第 一目标特征数据和所述第 二目标特征数据输入每个所述 任务解码模块， 以获取每 个所述任务 解码模块输出的任务处 理结果。 10.一种车辆， 其特 征在于， 包括： 处理器； 用于存储处理器可执行指令的存 储器； 其中， 所述处 理器被配置为： 获取多帧行驶环境图像； 分别将每帧所述行驶环境图像输入预设的多任务感知模型， 所述多任务感知模型包括 特征提取模块和多个任务 解码模块， 不同的任务 解码模块用于 完成不同的感知任务； 通过所述特征提取模块依次提取每帧所述行驶环境图像对应的目标特征数据， 以得到权　利　要　求　书 2/3 页 3 CN 115035494 A 3