(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210786208.5 (22)申请日 2022.07.04 (71)申请人 电子科技大 学 地址 611731 四川省成 都市高新区 （西区） 西源大道 2006号 (72)发明人 候少麒　殷光强　王治国　王志铭　 毛俊怡　 (74)专利代理 机构 成都天嘉专利事务所(普通 合伙) 5121 1 专利代理师 冉鹏程 (51)Int.Cl. G06V 40/10(2022.01) G06V 10/82(2022.01) G06V 10/44(2022.01) G06N 3/08(2006.01)G06N 3/04(2006.01) (54)发明名称 一种自选择感受野块、 图像处 理方法及应用 (57)摘要 本发明公开了一种自选择感受野块、 图像处 理方法及应用， 其中， 自选择感受野块包括图像 输入模块、 挤压模块、 金字塔卷积组、 加权融合模 块、 激励模块和图像输出模块。 图像处理方法主 要是基于自选择感受野块实现图像的处理， 应用 主要是将自选择感受野块应用于神经网络模型 中。 本发明借助多个不同尺度空洞卷积的优势设 计了金字塔卷积组， 用以获取图像中由局部到全 局的不同级别的语义信息， 并通过自适应加权融 合的方式让模型根据任务自主选择所需要的感 受野大小， 能够对目标场景充分理解及显著控制 计算量和参数量， 有效解决了 现有模型不能有效 兼顾局部性和全局性、 难以对场景信息充分理 解、 以及计算 量和参数量大的技 术问题。 权利要求书2页 说明书9页 附图3页 CN 115273141 A 2022.11.01 CN 115273141 A 1.一种自选择感受野块， 其特征在于： 包括图像输入模块、 挤压模块、 金字塔卷积组、 加 权融合模块、 激励模块和图像输出模块， 金字塔卷积组包括多个并行的卷积支路， 其中， 图像输入 模块用于 输入待处 理特征图； 挤压模块用于将压缩待处 理特征图的通道数； 金字塔卷积组分别通过卷积支路对压缩后的待处理特征图进行处理， 每一卷积支路先 编码图像的空间信息， 得到维度与输入相同的中间特征图， 再在局部感受野中将空间和通 道信息融合在一 起， 并得到增强特 征图； 加权融合模块用于分别结合权重因子对各卷积支路输出的增强特征图进行自适应加 权融合， 并得到具有高细粒度表征能力的融合特 征图； 激励模块用于将融合特 征图的通道数还原， 并得到还原特 征图； 图像输出模块用于将还原特征图与待处理特征图进行逐元素相加， 得到兼顾高级语义 信息和原 始细节信息的最终输出 特征图。 2.根据权利要求1所述的一种自选择感受野块， 其特征在于： 所述金字塔卷积组包括 四 个并行的卷积支路， 每个卷积支路均使用内核大小为3 ×3的空洞卷积层， 且各个卷积支路 的空洞率rate均不同； 其中， 每个卷积支路先使用内核为3、 Gr oups＝C的空洞卷积层编码图 像的空间信息， C表示待处理特征图的通道数， 编 码完成后得到维度与输入相同的中间特征 图， 再将内核为 1、 Groups＝1的卷积层应用于中间特征图， 在局部感受野中将空间和通道信 息融合在一 起得到增强特 征图。 3.根据权利要求1或2所述的一种自选择感受野块， 其特征在于： 所述挤压模块基于卷 积层Conv1 ×1将待处理特征图的通道数压缩为原来的1/r， r为缩放因子； 所述激励模块基 于Conv1×1‑ReLU的复合卷积层实现融合特 征图通道数的还原。 4.一种图像处 理方法， 其特 征在于， 包括如下步骤： 步骤A： 输入维度为H ×W×C的待处理特征图， 并采用挤压操作压缩待处理特征图的通 道数； 步骤B： 将压缩后的待处理特征图输入至包含多个并行的卷积支路的金字塔卷积组中 进行处理， 每一卷积支路先编码图像的空间信息， 得到维度与输入相同的中间特征图， 再在 局部感受野中将空间和通道信息融合在一 起， 并得到增强特 征图； 步骤C： 分别结合权重因子对多个卷积支路输出的增强特征图进行自适应加权 融合， 得 到具有高细粒度表征能力的融合特 征图； 步骤D： 对融合特征图进行激励操作， 将融合特征图被压缩的通道数还原， 得到还原特 征图； 步骤E： 引入Shortcut操作， 使还原特征图与待处理特征图进行逐元素相加， 得到兼顾 高级语义信息和原 始细节信息的最终输出 特征图。 5.根据权利要求4所述的一种图像处理方法， 其特征在于： 步骤A中， 基于卷积层Conv1 ×1将待处理特征图的通道数压缩为原来的1/r， r为缩放因子； 其中， 设定输入特征图为F， 压缩后的待处 理特征图为F1， 则： F1＝Fsq(F),F1∈RH×W×C/r 式中， Fsq(·)函数的本质为卷积层Co nv1×1。 6.根据权利要求5所述的一种图像处理方法， 其特征在于： 步骤B中， 金字塔卷积组包括权　利　要　求　书 1/2 页 2 CN 115273141 A 2四个并行 的卷积支路， 每个卷积支路均使用内核大小为3 ×3的空洞卷积层， 且各个卷积支 路的空洞率rate均不同； 其中， 每个卷积支路先使用内核为3、 Gr oups＝C的空洞卷积层编码 图像的空间信息， C表示待处理特征图的通道数， 编码完成后得到维度与输入相同的中间特 征图， 再将内核为 1、 Groups＝1的卷积层应用于中间特征图， 在局部感受野中将空间和通道 信息融合在一起得到增强特征图； 设定四个卷积支路的r ate分别为1、 2、 3和4， 则输出的增 强特征图分别为F3×3、 F5×5、 F7×7和F9×9。 7.根据权利要求6所述的一种图像处理方法， 其特征在于： 步骤C 中， 设定融合特征图为 F2， 则： F2＝w3×3·F3×3+w5×5·F5×5+w7×7·F7×7+w9×9·F9×9,RH×W×C/r 式中， F3×3、 F5×5、 F7×7和F9×9分别表示rate＝1、 2、 3和4的四个不同的卷积支路输出的增 强特征图； w3×3、 w5×5、 w7×7和w9×9分别对应四个卷积支路的权 重因子； +表示逐 元素相加。 8.根据权利要求7所述的一种图像处理方法， 其特征在于： 步骤D中， 基于Conv1 ×1‑ ReLU的复合卷积层将融合特 征图的通道数C /r还原为C； 其中， 设定还原特 征图为F3， 则： F3＝Fex(F2),F3∈RH×W×C 式中， Fex(·)函数的本质为Co nv1×1‑ReLU复合卷积层。 9.根据权利要求8所述的一种图像处理方法， 其特征在于： 步骤E 中， 设定最终输出特征 图为F'， 则： F′＝F+F3,F′∈RH×W×C 式中， +表示逐 元素相加。 10.一种自选择感受野块的应用， 其特征在于： 将权利要求1 ‑3中任一项所述的自选择 感受野块应用于包括但不限于VGGNet系列、 ResNet系列、 MobileNet系列的神经网络模型 中。权　利　要　求　书 2/2 页 3 CN 115273141 A 3