(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210769928.0 (22)申请日 2022.07.01 (71)申请人 格兰菲智能科技有限公司 地址 200135 上海市浦东 新区中国 （上海） 自由贸易试验区金 科路2557号201室 (72)发明人 陶中玉　张淮声　卞仁玉　 (74)专利代理 机构 华进联合专利商标代理有限 公司 44224 专利代理师 李志健 (51)Int.Cl. G06V 10/44(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 卷积运算方法、 装置、 矩阵展开装置和图形 处理器 (57)摘要 本申请涉及一种卷积运算方法、 装置、 矩阵 展开装置和图形处理器。 所述方法包括： 针对原 始特征图中的任一子特征图， 从预设的内存布局 中加载用于构成所述任一子特征图的至少一个 目标特征瓦片； 所述内存布局为将 至少一个特征 瓦片按照预设的数据排列方式写入至内存得到 的； 所述至少一个特征瓦片为对 所述原始特征图 进行瓦片化得到的； 按照卷积层的卷积参数， 对 所述至少一个目标特征瓦片所组成的特征图进 行展开， 得到目标展开矩阵； 将所述目标展开矩 阵与所述卷积核对应的展开矩 阵进行矩 阵乘运 算， 获得所述原始特征图的卷积运算结果。 采用 本方法能够提高卷积运 算效率。 权利要求书4页 说明书13页 附图11页 CN 115035317 A 2022.09.09 CN 115035317 A 1.一种卷积运 算方法， 其特 征在于， 所述方法包括： 针对原始特征图中的任一子特征图， 从预设的内存布局中加载用于构 成所述任一子特 征图的至少一个目标特征瓦片； 所述内存布局为将至少一个特征瓦片按照预设的数据排列 方式写入至内存得到的； 所述至少一个特 征瓦片为对所述原 始特征图进行瓦片化得到的； 按照卷积层的卷积参数， 对所述至少一个目标特征瓦片所组成的特征图进行展开， 得 到目标展开矩阵； 将所述目标展开矩阵与所述卷积核对应的展开矩阵进行矩阵乘运算， 获得所述原始特 征图的卷积运 算结果。 2.根据权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 对所述原 始特征图进行瓦片化， 得到所述至少一个特 征瓦片； 按照所述数据排列 方式， 将各所述特征瓦片按序写入至所述内存， 获得所述内存布局； 其中， 所述数据排列方式的排列维度至少包括批处理维度、 通道维度和所述特征瓦片在所 述原始特征图中的位置维度。 3.根据权利要求2所述的方法， 其特征在于， 所述按照所述数据排列方式， 将各所述特 征瓦片按序写入至所述内存， 获得 所述内存布局， 包括： 将在所述原始特征图中处于相同目标位置的至少一个特征瓦片， 沿着与所述通道维度 对应的方向依次写入至所述内存， 得到与所述目标位置对应的特 征瓦片区块。 4.根据权利要求2所述的方法， 其特征在于， 所述对所述原始特征图进行瓦片化， 得到 所述至少一个特 征瓦片， 包括： 获取对所述原 始特征图进行瓦片化所采用的瓦片样板； 确定所述瓦片样板在至少一个方向上的大小； 对所述原始特征图进行矩阵补零， 以使补零后的特征图在所述方向上的大小与所述瓦 片样板在所述方向上的大小之间满足倍数关系； 按照所述瓦片样板， 对所述补零后的特 征图进行瓦片化， 得到所述至少一个特 征瓦片。 5.根据权利要求1所述的方法， 其特征在于， 每个所述特征瓦片在所述内存布局中具有 对应的瓦片索引坐标， 所述针对所述原始特征图中的任一子特征图， 从预设的内存布局中 加载用于构成所述任一子特 征图的至少一个目标 特征瓦片， 包括： 获取所述任一子特征图对应的展开矩阵位置坐标； 所述展开矩阵位置坐标用于表征所 述目标展开矩阵在所述原 始特征图对应的展开矩阵中的位置信息； 将所述展开矩阵位置坐标映射为目标瓦片索引坐标； 所述目标瓦片索引坐标为构 成所 述任一子特 征图的至少一个目标 特征瓦片在所述内存布局中对应的瓦片索引坐标； 在所述内存布局中加载与 所述目标瓦片索引坐标对应的特征瓦片， 获得所述目标特征 瓦片。 6.根据权利要求1所述的方法， 其特征在于， 所述按照卷积层的卷积参数， 对所述至少 一个目标 特征瓦片所组成的特 征图进行展开， 得到目标展开矩阵， 包括： 按照卷积层的卷积参数， 对所述至少一个目标特征瓦片所组成的特征图进行展开， 得 到展开后的矩阵； 对所述展开后的矩阵进行转置操作， 得到所述目标展开矩阵。 7.根据权利要求1所述的方法， 其特 征在于， 所述方法还 包括：权　利　要　求　书 1/4 页 2 CN 115035317 A 2获取当前 卷积运算所属的卷积层； 对所述卷积层的卷积模式进行解析， 确定所述卷积层的卷积参数。 8.一种卷积运 算装置， 其特 征在于， 所述装置包括： 读取模块， 用于读取用于进行 卷积运算的原始特征图； 加载模块， 用于针对原始特征图中的任一子特征图， 从预设的内存布局中加载用于构 成所述任一子特征图的至少一个目标特征瓦片； 所述内存布局为将至少一个特征瓦片按照 预设的内存布局方式写入至内存得到的； 所述至少一个特征瓦片为对所述原始特征图进 行 瓦片化得到的； 所述内存布局方式至少包括批处理维度、 通道维度和所述特征瓦片在所述 原始特征图中的位置维度； 展开模块， 用于按照卷积层的卷积参数， 对所述至少一个目标特征瓦片所组成的特征 图进行展开， 得到目标展开矩阵； 运算模块， 用于将所述目标展开矩阵与所述卷积核对应的展开矩阵进行矩阵乘运算， 获得针对所述原 始特征图的卷积运 算结果。 9.根据权利要求8所述的装置， 其特征在于， 所述装置还用于对所述原始特征图进行瓦 片化， 得到所述至少一个特征瓦片； 按照所述数据排列方式， 将各所述特征瓦片按序写入至 所述内存， 获得所述内存布局； 其中， 所述数据排列方式的排列维度至少包括批处理维度、 通道维度和所述特 征瓦片在所述原 始特征图中的位置维度。 10.根据权利要求9所述的装置， 其特征在于， 所述装置还用于将在所述原始特征图中 处于相同目标位置的至少一个特征瓦片， 沿着与所述通道维度对应的方向依次写入至所述 内存， 得到与所述目标位置对应的特 征瓦片区块。 11.根据权利要求9所述的装置， 其特征在于， 所述装置还用于获取对所述原始特征图 进行瓦片化所采用的瓦片样板； 确定所述瓦片样板在至少一个方向上 的大小； 对所述原始 特征图进 行矩阵补零， 以使补零后的特征图在所述方向上的大小与所述瓦片样板在所述方 向上的大小之 间满足倍数关系； 按照所述瓦片样板， 对所述补零后的特征图进 行瓦片化， 得 到所述至少一个特 征瓦片。 12.根据权利要求8所述的装置， 其特征在于， 每个所述特征瓦片在所述内存布局中具 有对应的瓦片索引坐标， 所述加载模块， 具体用于获取所述任一子特征图对应的展开矩阵 位置坐标； 所述展开矩阵位置坐标用于表征所述目标展开矩阵在所述原始特征图对应的展 开矩阵中的位置信息； 将所述展开矩阵位置坐标映射为 目标瓦片索引坐标； 所述 目标瓦片 索引坐标为构成所述任一子特征图的至少一个目标特征瓦片在所述内存布局中对应的瓦 片索引坐标； 在所述内存布局中加载与所述 目标瓦片索引坐标对应的特征瓦片， 获得所述 目标特征瓦片。 13.根据权利要求8所述的装置， 其特征在于， 所述展开模块， 具体用于按照卷积层的卷 积参数， 对所述至少一个目标特征瓦片所组成的特征图进行展开， 得到展开后的矩阵； 对所 述展开后的矩阵进行转置操作， 得到所述目标展开矩阵。 14.根据权利要求8所述的装置， 其特征在于， 所述装置还用于获取当前卷积运算所属 的卷积层； 对所述卷积层的卷积模式进行解析， 确定所述卷积层的卷积参数。 15.一种矩阵展开装置， 其特征在于， 包括： 瓦片收集模块、 模式解析模块、 矩阵处理模 块和矩阵缓存 模块， 其中：权　利　要　求　书 2/4 页 3 CN 115035317 A 3