(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210814969.7 (22)申请日 2022.07.12 (71)申请人 爱尔达电气有限公司 地址 317523 浙江省台州市温岭市泽国镇 五里泾村(泵业智造小镇工业区内) (72)发明人 高淑瑜　陈健　胡宇挺　章荣正　 (74)专利代理 机构 北京恒泰铭睿知识产权代理 有限公司 1 1642 专利代理师 胡琳丽 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/25(2022.01) G06V 10/44(2022.01) G06V 10/82(2022.01) G06N 3/08(2006.01)G06N 3/04(2006.01) (54)发明名称 半导体封装测试系统及其测试方法 (57)摘要 本申请涉及半导体封装的领域， 其具体地公 开了一种半导体封装测试系统及其测试方法， 其 通过超声波扫描仪采集塑封微电路的超声波图 像， 进一步使用卷积神经网络模 型分别提取出所 述超声波图像的浅层隐含特征信息以及更聚焦 于所述芯片分层、 引线键合和芯片 粘接区域的高 维隐含特征分布信息， 并且在特征的融合时将这 两者的特征图进行在尺度上的对其 以及修正处 理， 这样， 通过对全局特征图的每个位置的特征 值进行概率性信息解释来进行柯西重概率化， 以 增强对信息损失的鲁棒性， 提升所述全局特征图 的特征表达能力。 进而， 也就能够对于塑封微电 路的封装效果进行 更准确地评估。 权利要求书3页 说明书11页 附图5页 CN 114972327 A 2022.08.30 CN 114972327 A 1.一种半导体封装测试系统， 其特征在于， 包括： 训练模块， 包括： 训练图像获取单元， 用于获取 由超声波扫描仪采集的塑封微电路的超声波图像； 第一卷积编码单元， 用于将所 述超声波图像通过使用第一卷积核的第一卷积神经网络以得到超声波 特征图； 感兴趣区域 提取单元， 用于基于 芯片分层、 引线键合区和芯片粘接区域在所述超声波图像中的位置， 确 定所述超声波 特征图中对应于所述芯片分层、 所述引线键合区和所述芯片粘接区域的多个 感兴趣区域； 感兴趣区域编码单元， 用于将所述多个感兴趣区域分别通过使用第二卷积核 的第二卷积神经网络以得到多个感兴趣区域特征图， 其中， 所述第二卷积核小于所述第一 卷积核； 第二卷积编码单元， 用于将所述超声波特征图通过使用非重叠卷积核的第三卷积 神经网络以得到与所述多个感兴趣区域特征图具有相同尺寸的全局特征图； 补偿单元， 用 于对所述全局特征图中各个位置的特征值进 行概率性信息解释以得到补偿后全局特征图， 其中， 所述概率性信息解释 基于以所述全局特征图中各个位置的特征值为幂的自然指数函 数值除以以所述全局特征图中各个位置的特征值为幂的自然指数函数值的加权和来进 行；  特征图融合单元， 用于融合所述补偿后全局特征图和所述多个感兴趣区域特征图以得到分 类特征图； 损失计算单元， 用于将所述分类特征图通过分类器以得到 分类损失函数值； 训练 单元， 用于基于所述分类损失函数值对所述第一卷积神经网络、 所述第二卷积神经网络和 所述第三卷积神经网络进行训练； 以及推 断模块， 包括： 待检测对象数据获取单元， 用于获 取由超声波扫描仪采集的塑封微电路的超声波图像； 第一神经网络单元， 用于将所述超声 波图像通过经所述训练模块训练完成的所述使用第一卷积核的第一卷积神经网络以得到 超声波特征图； 感兴趣区域确定单元， 用于基于芯片分层、 引线键合区和芯片粘接区域在所 述超声波图像中的位置， 确定所述超声波特征图中对应于所述芯片分层、 所述引线键合区 和所述芯片粘接区域的多个感兴趣区域； 感兴趣区域深层编码单元， 用于将所述多个感兴 趣区域分别通过经所述训练模块训练完成的使用第二卷积核的第二卷积神经网络以得到 多个感兴趣区域特征图， 其中， 所述第二卷积核小于所述第一卷积核； 第二神经网络单元， 用于将所述超声波特征图通过使用经所述训练模块训练完成的所述非重叠卷积核的第三 卷积神经网络以得到与所述多个感兴趣区域特征图具有相同尺寸的全局特征图； 特征信息 融合单元， 用于融合所述补偿后全局特征图和所述多个 感兴趣区域特征图 以得到分类特征 图； 以及封装测试结果生成单元， 用于将所述分类特征图通过分类器以得到 分类结果， 所述 分类结果用于表示塑封微电路的封装效果是否满足预设要求。 2.根据权利要求1所述的半导体封装测试系统， 其中， 所述第 一卷积神经网络包括多层 卷积层， 其中， 所述多层卷积层中各层卷积层在层的正向传递中用于对输入数据进行卷积 处理、 池化处理和非线性激活处理以由所述多层卷积层中最后一个卷积层输出所述超声波 特征图。 3.根据权利要求2所述的半导体封装测试系统， 其中， 所述多层卷积层中卷积层的层数 为4‑6层。 4.根据权利要求3所述的半导体封装测试系统， 其中， 所述感兴趣区域编码单元， 进一 步用于使用所述第二卷积神经网络的各层在层的正向传递中分别对输入数据进行： 基于所 述第二卷积核对所述输入数据进 行卷积处理以得到卷积特征图； 对所述卷积特征图进 行池 化处理以得到池化特征图； 以及对所述池化特征图进行非线性激活以得到激活特征图； 其 中， 所述第二卷积神经网络的最后一层的输出为所述感兴趣区域特 征图。权　利　要　求　书 1/3 页 2 CN 114972327 A 25.根据权利要求4所述的半导体封装测试系统， 其中， 所述第二卷积编码单元， 进一步 用于使用所述第三卷积神经网络的各层在层的正向传递中分别对输入数据进 行： 基于第三 卷积核对所述输入数据进行卷积处理以得到卷积特征图， 其中， 所述第三卷积核在所述输 入数据上移动的步长大于所述第三卷积核的宽度 尺寸； 对所述卷积特征图进 行池化处理以 得到池化特征图； 以及 对所述池化特征图进 行非线性激活以得到激活特征图； 其中， 所述第 三卷积神经网络的最后一层的输出为所述全局特 征图。 6.根据权利要求5所述的半导体封装测试系统， 其中， 所述补偿单元， 包括： 局部信 息表 示子单元， 用于计算以所述全局特征图中各个位置的特征值为幂的自然指数函数值作为所 述全局特征图中各个位置的局部信息表示特征值； 全局信息表示子单元， 用于计算以所述 全局特征图中各个位置的特征值为幂 的自然指数函数值的加权和作为所述全局特征图的 全局信息表示特征值； 概率性解释子单元， 用于计算所述全局特征图中各个位置的局部信 息表示特征值分别除以所述全局特征图的全局信息表示特征值的商与一的加和 值的对数 函数值作为所述全局特征图中各个位置的概率性信息解释值以得到所述补偿后全局特征 图。 7.根据权利要求6所述的半导体封装测试系统， 其中， 所述损失计算单元， 包括： 所述分 类器以如下公式对所述分类特征图进行处理以生成分类结果， 其中， 所述公式为： ， 其中 表示将所述分类特 征图投影为向量， 至 为各层全连接层的权重矩阵， 至 表示各层全连接层的 偏置矩阵； 以及计算所述分类结果与真实值之间的交叉熵值作为所述分类损失函数值。 8. 一种半导体封装测试系统的测试方法， 其特征在于， 包括： 训练阶段， 包括： 获取由 超声波扫描仪采集的塑封微电路的超声波图像； 将所述超声波图像通过使用第一卷积核的 第一卷积神经网络以得到超声波特征图； 基于芯片分层、 引线键合区和芯片粘接区域在所 述超声波图像中的位置， 确定所述超声波特征图中对应于所述芯片分层、 所述引线键合区 和所述芯片粘接区域的多个 感兴趣区域； 将所述多个感兴趣区域分别通过使用第二卷积核 的第二卷积神经网络以得到多个感兴趣区域特征图， 其中， 所述第二卷积核小于所述第一 卷积核； 将所述超声波特征图通过使用非重叠卷积核的第三卷积神经网络以得到与所述多 个感兴趣区域特征图具有相同尺寸的全局特征图； 对所述全局特征图中各个位置的特征值 进行概率性信息解释以得到补偿后全局特征图， 其中， 所述概率性信息解释基于以所述全 局特征图中各个位置的特征值为幂 的自然指数函数值除以以所述全局特征图中各个位置 的特征值为幂 的自然指数函数值的加权和来进行；  融合所述补偿后全局特征图和所述多 个感兴趣区域特征图以得到 分类特征图； 将所述分类特征图通过分类器以得到 分类损失函 数值； 基于所述分类损失函数值对所述第一卷积神经网络、 所述第二卷积神经网络和所述 第三卷积神经网络进 行训练； 以及推断阶段， 包括： 获取由超声波扫描仪采集的塑封微电路 的超声波图像； 将所述超声波图像通过经所述训练模块训练完成的所述使用第一卷积核的 第一卷积神经网络以得到超声波特征图； 基于芯片分层、 引线键合区和芯片粘接区域在所 述超声波图像中的位置， 确定所述超声波特征图中对应于所述芯片分层、 所述引线键合区 和所述芯片粘接区域的多个 感兴趣区域； 将所述多个感兴趣区域分别通过经所述训练模块 训练完成的使用第二卷积核的第二卷积神经网络以得到多个感兴趣区域特征图， 其中， 所权　利　要　求　书 2/3 页 3 CN 114972327 A 3