(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210792745.0 (22)申请日 2022.07.05 (71)申请人 浙江省肿瘤医院 地址 310022 浙江省杭州市拱 墅区半山 东 路1号 (72)发明人 李林法　谢玮宜　庞伟强　易贺庆　 何林阳　龙斌　叶挺　宋金龄　 王运　靳水　施伟军　任晋忠　 吴红霞　 (74)专利代理 机构 北京天盾知识产权代理有限 公司 11421 专利代理师 丁敬博 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/764(2022.01)G06V 10/82(2022.01) G06V 10/24(2022.01) G06V 10/25(2022.01) G06V 10/30(2022.01) G06V 10/44(2022.01) G06V 10/46(2022.01) G06V 10/56(2022.01) (54)发明名称 一种多尺度智能影 像数据分析方法和系统 (57)摘要 本发明涉及一种多尺度智能影像数据分析 方法和系统， 所述方法包括： 获取第一模态的多 层影像数据和第二模态的多层影像数据； 确定第 一模态的多层影像数据的第一显著图像； 基于第 一显著图像从第二模态的多层次影像数据中选 择第二显著数据； 关联第一显著图像和第二显著 图像以构成一个或多个显著图像组； 将显著图像 组输入神经网络模型以进行目标分类。 本发明从 源头上为采用卷积神经网络的注意力和多尺度 机制识别细微特征提供支撑； 在很大程度上提高 了模型对于不同大小的目标， 尤其是目标尺度跨 越大的对象， 不同形状的目标的识别准确率。 权利要求书1页 说明书7页 附图1页 CN 115205240 A 2022.10.18 CN 115205240 A 1.一种多尺度智能影 像数据分析 方法， 其特 征在于， 包括： 步骤S1： 获取第一模态的多层影 像数据和第二模态的多层影 像数据； 步骤S2:确定第一模态 的多层影像数据的第一显著图像； 所述第一显著图像为一个或 多个， 每个第一显著图像对于对象的一个或多个目标来说是显著的； 步骤S3:基于第一显著图像从第二模态的多层次影像数据中选择第二显著数据； 关联 第一显著图像和第二显著图像以构成一个或多个显著图像组； 步骤S4： 将显著图像组输入神经网络模型以进行目标分类。 2.根据权利要求1所述的多尺度智能影像数据分析方法， 其特征在于， 所述第 一显著图 像为一个或者多个。 3.根据权利要求2所述的多尺度智能影像数据分析方法， 其特征在于， 所述神经网络模 型为基于U ‑net的双输入通道模型。 4.根据权利要求2所述的多尺度智能影像数据分析方法， 其特征在于， 所述神经网络模 型为双通道神经网络模型， 其中每 个通道用于处 理一个模态的显著图像。 5.根据权利要求4所述的多尺度智能影像数据分析方法， 其特征在于， 所述步骤S2具体 包括如下步骤： 步骤S21:对多层影 像数据作预处 理； 步骤S22： 对第一模态 的多层图像数据中的每个多层图像数据分别作边缘检测以形成 和目标关联的多层图像数据； 步骤S23： 针对每个多层图像数据， 依次判断图像数据相对于其中包含的每个目标的显 著度； 所述显著度是在基于目标边缘的多尺度分析 的基础上得到的， 能够反映目标边缘位 置处颜色和形状特点及其变化情况的指标性特 征； 步骤S24： 将相对于同一个目标来说显著度最高的图像数据作为和所述目标对应的第 一显著图像。 6.一种多尺度智能影 像数据分析系统， 其特 征在于， 所述系统包 含： 获取模块： 获取第一模态的多层影 像数据和第二模态的多层影 像数据； 第一显著图像确定模块:确定第一模态的多层影像数据的第一显著图像； 所述第一显 著图像为 一个或多个， 每 个第一显著图像对于对象的一个或多个目标来说是显著的； 第一显著图像确定模块:基于第 一显著图像从第 二模态的多层次影像数据中选择第 二 显著数据； 关联第一显著图像和第二显著图像以构成一个或多个显著图像组； 分类模块： 将显著图像组输入神经网络模型以进行目标分类。 7.根据权利要求6所述的多尺度智能影像数据分析系统， 其特征在于， 所述神经网络模 型为双通道神经网络模型， 其中每 个通道用于处 理一个模态的显著图像。 8.一种处理器， 其特征在于， 所述处理器用于运行程序， 其中， 所述程序运行时执行权 利要求1‑5中任一项所述的多尺度智能影 像数据分析 方法。 9.一种计算机可读存储介质， 其特征在于， 包括程序， 当其在计算机上运行时， 使得计 算机执行如权利要求1 ‑5中任一项所述的多尺度智能影 像数据分析 方法。 10.一种执行设备， 其特征在于， 包括处理器， 所述处理器和存储器耦合， 所述存储器存 储有程序指令， 当所述存储器存储的程序指令被所述处理器执行时实现如权利要求1 ‑5中 任一项所述的多尺度智能影 像数据分析 方法。权　利　要　求　书 1/1 页 2 CN 115205240 A 2一种多尺度智能影像数据分析方 法和系统 【技术领域】 [0001]本发明属于影像数据分析领域， 尤其涉及 一种多尺度智能影像数据分析方法和系 统。 【背景技术】 [0002]人工智能(Artificial  Intelligence),英文缩写为AI， 也称机器智能。 “人工智 能”一词最初是在1956年Dartmouth学会上提出的。 它是计算机科学、 控制论、 信息论、 神经 生理学、 心理学、 语言学等多种学科 互相渗透而发展起来的一门综合性学科。 从计算机应用 系统的角度出发， 人工智能是研究如何制 造智能机器或智能系统， 来模拟人类智能活动的 能力， 以延伸人们智能的科学,被认 为是第四次工业革命。 人工智能已经应用在 疾病辅助诊 断等许多方面， 尤其是 人工智能与医学影 像的结合， 被认为是最有可能先发展起 来的领域。 [0003]在对人体组织进行扫描时， 对于同一个对象来说， 可能目标并不出现在某一个切 片中， 甚至是一些切片不能反映对象的代表性特征， 即使选择最大的目标切片， 但是也不能 很好的代表目标的特征， 毕竟大不是目标的唯一或者是显著的特征， 显然这样不利于后续 的人工智能分类； 虽然很多人工智能分类方法可以用三维数据做后续分类的， 但是对多模 态图像借助于深层次神经网络模型的分析并不能充分的利用3D这么大量复杂的数据， 计算 效率很低 或者说模型本身的训练都显得不可完成， 所以在多模态影像数据分析过程中， 如 果有效的利用不同模态的2D数据， 充分完成对不同尺度， 不同表象特征目标的发现和分析 是待解决的问题； [0004]此外， 对于各类型目标来说， 边缘的划界不清晰是其分类的重要依据， 仅仅是给边 缘分析来进行目标分析很容易丢失这部 分特征； 如何充分利用边缘上的颜色和几何特性来 为2D数据充分利用提供有效保障， 也是待解决的技 术问题； [0005]本发明针对病灶的尺寸差异 大、 形状异质化、 代谢异质化高的特点， 通过基于和目 标关联的多尺度图像分析， 发现和目标关联 的多模态显著图像， 以此提高对不同尺度目标 检测的敏感性， 从源头上为采用卷积神经网络的注意力和多尺度机制识别 细微特征提供数 据源上的支撑； 在很大程度上提高了模型对于不同大小的目标， 尤其是目标尺度跨越大 的 对象， 不同形状的目标的识别准确率。 【发明内容】 [0006]为了解决现有技术中的上述问题， 本发明提出了一种多尺度智能影像数据分析方 法和系统， 所述方法包 含： [0007]步骤S1： 获取第一模态的多层影 像数据和第二模态的多层影 像数据； [0008]步骤S2:确定第一模态的多层影像数据的第一显著图像； 所述第一显著图像为一 个或多个， 每 个第一显著图像对于对象的一个或多个目标来说是显著的； [0009]步骤S3:基于第一显著图像从第二模态的多层 次影像数据 中选择第二显著数据； 关联第一显著图像和第二显著图像以构成一个或多个显著图像组；说　明　书 1/7 页 3 CN 115205240 A 3