(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210857047.4 (22)申请日 2022.07.20 (71)申请人 镕铭微电子 （济南） 有限公司 地址 250100 山东省济南市自由贸易试验 区济南片区唐冶西路868号山东设计 创意产业园北区7号楼 2-302室-131号 (72)发明人 邱丰　徐林　 (74)专利代理 机构 工业和信息化部电子专利中 心 11010 专利代理师 华枫 (51)Int.Cl. G06V 10/44(2022.01) G06V 10/82(2022.01) G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 一种深度学习预处理的实现方法及深度学 习网络 (57)摘要 本发明提出了一种深度学习预处理的实现 方法及深度学习网络， 深度学习预处理的实现方 法包括： 基于深度学习的预处理操作， 对深度学 习网络中的第一个卷积层的原参数进行调整， 使 经调整参数后的第一个卷积层的输出与进行预 处理操作再经原参数的第一个卷积层的输出结 果相同； 将调整后的参数作为第一卷积层的运行 参数。 本发 明通过改变深度学习第一个卷积层参 数的方式来实现模型推理预处理的功能， 从而达 到简化模型推理， 提高推理效率的目的。 修改模 型的过程不需要重新训练， 不需要修改模型结 构， 不需要增加计算量， 其精度和原始模 型一致， 且解决了现有预处理技术中的延时和带宽性能 影响问题。 权利要求书1页 说明书6页 附图2页 CN 115294354 A 2022.11.04 CN 115294354 A 1.一种深度学习预处 理的实现方法， 其特 征在于， 包括： 基于深度学习的预处理操作， 对深度学习 网络中的第一个卷积层的原参数进行调整， 使经调整参数后的第一个所述卷积层的输出与进行预处理操作再经原参数的第一个卷积 层的输出 结果相同； 将调整后的参数作为第一卷积层的运行参数。 2.根据权利要求1所述的深度 学习预处理的实现方法， 其特征在于， 对第 一个卷积层的 进行调整的原参数包括权 重和偏移量。 3.根据权利要求1所述的深度 学习预处理的实现方法， 其特征在于， 所述预处理操作包 括： 颜色频道转换和/或归一 化处理。 4.根据权利要求1所述的深度 学习预处理的实现方法， 其特征在于， 当预处理操作包括 颜色频道转换时， 对原参数的调整包括对 颜色对应的权 重频道进行交换。 5.根据权利要求1所述的深度 学习预处理的实现方法， 其特征在于， 当预处理操作包括 归一化处理时， 对原参数的调整包括： 对第一个卷积层的权 重进行修改。 6.根据权利要求1所述的深度 学习预处理的实现方法， 其特征在于， 当第 一个卷积层或 第一个卷积层之前存在填充操作时， 根据平均值对填充参数进行调整。 7.一种深度学习网络， 其特征在于， 所述深度 学习网络采用如权利要求1 ‑6中任一项所 述的深度学习预处 理的实现方法实现深度学习网络中的预处 理操作。 8.根据权利要求7所述的深度 学习网络， 其特征在于， 所述深度 学习网络为声音处理深 度学习网络、 图像处 理深度学习网络或视频处 理深度学习网络 。权　利　要　求　书 1/1 页 2 CN 115294354 A 2一种深度学习 预处理的实现方 法及深度学习 网络 技术领域 [0001]本发明涉及机器学习技术领域， 尤其涉及 一种深度学习预处理的实现方法及深度 学习网络 。 背景技术 [0002]随着深度学习在声音、 图像、 视频领域的不断发展， 越来越多的应用场景不断的被 发现。 [0003]对于此类的应用， 采用深度学习进行智能分析和优化正在成为业界标准。 与此同 时， 大量的基于 GPU， 或者其他定制化硬件加速器也不断涌现， 为此类应用提供低功 耗、 高性 能的硬件加速 。 [0004]现代的深度学习往往基于深层卷积神经网络， 为了训练准确的模型， 业界通常采 用的模型训练架构包括了Tensorflow， PyTorch等。 而根据架构的不同， 有些图像模型其支 持的输入为RGB格式， 而另外一些则是BGR格式。 为了 保证训练过程的收敛， 在训练之前则需 要对输入图像进行预 处理， 通常是进 行某种归一化。 正是由于模型训练过程中这些预 处理， 在模型推理过程中， 也必须使用同样的预处 理才能保证模型的精确度。 [0005]对于传统的基于GPU+CPU的推理架构中， 输入的图像首先加载到主机端的内存中， 然后进行预处理， 包括归一化， 以及RGB色彩频道的交换。 然后加载到GPU的显存中， 适用GPU 对预处理后的数据， 依据模型 的参数进行推理， 并产生结果， 然后传送到主机端的内存中。 其中， 数据预处 理在主机端的CPU中进行， 对主机的负载有着一定的影响。 [0006]而对于高吞吐量、 低延时、 低功耗的应用场景下， 采用定制化的硬件加速器， 由于 芯片大小和功 耗的限制， 其硬件加速器的CPU通常性能不佳， 往往不能达到大规模 数据预处 理的要求。 而通过使用主机端的CPU进 行预处理， 则需要多次在加速器和主机直接进 行数据 交换， 增加了延时， 其 性能受到D DR性能瓶颈的限制。 发明内容 [0007]本发明要解决的技术问题是如何解决深度学习预处理中的时延和带宽影响问题， 本发明提出一种深度学习预处 理的实现方法及深度学习网络 。 [0008]根据本发明实施例的深度学习预处 理的实现方法， 包括： [0009]基于深度学习的预处理操作， 对深度学习网络中的第一个卷积层的原参数进行调 整， 使经调整参数后的第一个所述卷积层的输出与进 行预处理操作再经原 参数的第一个卷 积层的输出 结果相同； [0010]将调整后的参数作为第一卷积层的运行参数。 [0011]根据本发明实施例的深度学习预处理的实现方法， 通过改变深度学习第一个卷积 层参数的方式来实现模型推理预处理的功能， 从而达到简化模型推理， 提高推理效率的目 的。 修改模型的过程不需要重新训练， 不需要修改模型结构， 不需要增加计算量， 其精度和 原始模型一 致， 且解决了现有预处 理技术中的延时和带宽性能影响问题。说　明　书 1/6 页 3 CN 115294354 A 3