(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210859832.3 (22)申请日 2022.07.21 (71)申请人 北京经纬恒润科技股份有限公司 地址 100015 北京市朝阳区酒仙桥路14 号1 幢4层 (72)发明人 范滨淇　 (74)专利代理 机构 北京科领智诚知识产权代理 事务所(普通 合伙) 11782 专利代理师 陈士骞 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/26(2022.01) G06V 10/44(2022.01) G06V 10/82(2022.01) G06V 10/766(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种激光 点云检测分割方法及系统 (57)摘要 本发明公开了一种激光点云检测分割方法 及系统。 该激光点云检测分割方法包括采用卷积 神经网络作为特征提取器， 通过所述特征提取器 对检测图像进行语义特征提取和边缘特征提取， 得到语义特征与边缘特征； 在所述卷积神经网络 之后， 将并行的两个网络分支作为物体检测分支 和语义分割分支， 通过物体检测分支和语义分割 分支对所述语义特征和所述边缘特征进行处理， 其中， 所述物体检测分支处理物体检测任务， 所 述语义分割分支处理语义分割任务； 采用损失函 数对所述物体检测任务和所述语义分割任务进 行平衡处理以优化迭代。 本发明使用卷积神经网 络进行基础特征的提取， 使用两个 分支分别处理 不同的任务， 以损失函数对不同任务进行平衡以 使其快速优化迭代。 权利要求书3页 说明书8页 附图3页 CN 115272755 A 2022.11.01 CN 115272755 A 1.一种激光 点云检测分割方法， 其特 征在于， 包括： 采用卷积神经网络作为特征提取器， 通过所述特征提取器对检测图像进行语义特征提 取和边缘特征提取， 得到语义特 征与边缘特征； 在所述卷积神经网络之后， 将并行的两个网络分支作为物体检测分支和语义分割分 支， 通过所述物体检测分支和所述语义分割分支对所述语义特征和所述边缘特征进行处 理， 其中， 所述物体 检测分支处 理物体检测任务， 所述语义分割分支处 理语义分割任务； 采用损失函数对所述物体 检测任务和所述语义分割任务进行平衡处 理以优化迭代。 2.根据权利要求1所述的方法， 其特征在于， 所述采用卷积神经网络作为特征提取器， 通过所述特征提取器对检测图像进行语义特征提取和边缘特征提取， 得到语义特征与边缘 特征的步骤， 包括： 采用可分离卷积构建卷积神经网络； 通过所述卷积神经网络对投影后的二维图像进行非线性变换提取得到语义特征， 并使 用跳跃连接的方法对所述 二维图像进行边 缘特征提取， 得到所述 二维图像的特 征图， 其中， 所述语义特征包括被检测物体与其背景的相关信息或上下文信息， 所述边缘特 征包括被检测物体的边缘轮廓， 所述跳跃连接的方法包括将通过上采样得到预设尺寸的特 征图与对应尺寸的浅层特 征图逐像素相加进行 特征融合。 3.根据权利要求1所述的方法， 其特征在于， 所述语义分割分支处理语义分割任务， 包 括： 通过上采样将所述卷积神经网络得到的特征图恢 复到原图像大小， 以所述卷积神经网 络的最后一层网络的通道数作为被 检测物体的类别数； 采用Softmax函数对恢复到原图像大小 的特征图进行处理， 得到所述特征图的每一像 素属于每 个类别的概 率， 根据所述 概率确定每一个 像素所属的类别。 4.根据权利要求3所述的方法， 其特 征在于， 所述Softmax函数表达式(1)为： 其中zi为第i个通道的像素值， C为类别数； 将每一次语义分割分支的输出值与对应的预先给出的真实标注数值进行对比， 迭代更 新语义分割分支的网络参数， 语义分割分支的网络参数 的迭代更新依据损失函数， 该语义 分割分支的损失函数Lpoint如下式(2)所示： Lpoint＝‑α(1‑pi)γlog(pi)       (2) 其中pi为分割分支最终的输出， α 为平衡因子， γ是调制因子 。 5.根据权利要求1所述的方法， 其特征在于， 所述物体检测分支包括第一子分支、 第二 子分支及第三子分支， 所述第一子分支用于对被检测物体进行分类， 所述第二子分支用于 对计算深度信息的目标框进行预测， 所述第三子分支用于对被检测物体的朝向进行估计， 所述物体 检测分支处 理物体检测任务， 包括： 所述第一子分支通过Softmax函数判断被 检测物体的类别； 所述第二子分支采用回归的方式， 对所述二维图像的特征图添加高斯核获得二维响应 分布得到热力图， 将二维响应分布中的最高点作为物体中心点， 并且根据物体中心点和预权　利　要　求　书 1/3 页 2 CN 115272755 A 2测中心点到物体包围框的距离来得到目标框； 第三子分支通过计算所述二维图像的特征图的深度信 息， 对比所述目标框 中的深度信 息来估计得到被 检测物体的朝向。 6.根据权利要求5所述的方法， 其特征在于， 所述物体检测分支处理物体检测任务， 还 包括： 所述物体检测分支采用损 失函数表征所述物体检测分支的输出值与对应的预先给出 的真实标注数值之间的差距。 7.根据权利要求6所述的方法， 其特 征在于， 所述物体 检测分支采用的损失函数包括： 所述损失函数Lreg(x,r,g)、 Lcls(x,p)如下式(3)、 式(4)所示： 其中M∈{x0,y0,,z0,w,h,l, θ }代表一个被检测物体需要回归的7个数值， 分别为所述目 标框的中心坐标(x0,y0,,z0)、 长宽高(w,h,l)与偏向角 θ； 代表所述二维图像的特 征图中第i个 像素是否对应着一个 检测到的物体的真实框； 与 分别代表回归数值所对 应的第二子分支的输出值与预先给出的真实标注数值； 与 分别代表正负样本的概率输 出。 8.根据权利要求1所述的方法， 其特征在于， 所述采用损失函数对所述物体检测任务和 所述语义分割任务进行平衡处 理以优化迭代的步骤， 包括： 通过线性加权的方式将物体 检测分支的损失与语义分割分支的损失整合； 在不同任务的损 失前使用不同的权重系数， 其中， 该权重系数由不同任务梯度平方的 时间累计的倒数组成。 9.根据权利要求1所述的方法， 其特征在于， 所述语义分割 任务的特征辅助所述物体检 测分支， 所述采用损失函数对物体检测任务和语义分割任务进行平衡处理以优化迭代的步 骤， 还包括： 采用损失函数 先训练语义分割分支再训练物体 检测分支， 其中， 对物体 检测任务和语义分割任务进行平衡处 理的损失函数L oss如下式(5)所示： 其中σ 代表所述语义分割分支 的损失函数的调节因子， ω代表所述物体检测分支中回 归损失的调节因子， 代表所述物体 检测分支中分类损失的调节因子 。 10.一种激光点云检测分割系统， 其特征在于， 包括特征提取模块、 任务处理模块以及 速率平衡模块， 其中 所述特征提取模块， 被配置为采用卷积神经网络作为特征提取器， 通过所述特征提取 器对检测图像进行语义特 征提取和边 缘特征提取， 得到语义特 征与边缘特征； 所述任务处理模块， 被配置为在所述卷积神经网络之后， 将并行的两个网络分支作为 物体检测分支和语义分割分支， 通过所述物体检测分支和所述语义分割分支对所述语义特 征和所述边缘特征进 行处理， 其中， 所述物体检测分支处理物体检测任务， 所述语义分割分 支处理语义分割任务；权　利　要　求　书 2/3 页 3 CN 115272755 A 3