(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210811744.6 (22)申请日 2022.07.11 (71)申请人 哈尔滨工业大 学 地址 150001 黑龙江省哈尔滨市南岗区西 大直街92号 (72)发明人 左旺孟　张亚博　姚明帅　魏于翔　 (74)专利代理 机构 哈尔滨华夏松花江知识产权 代理有限公司 23213 专利代理师 杨晓辉 (51)Int.Cl. G06V 10/42(2022.01) G06V 10/44(2022.01) G06N 20/00(2019.01) (54)发明名称 单样本自适应域 生成器迁移方法 (57)摘要 单样本自适应域生 成器迁移方法， 涉及就三 级视觉中的图像生成和迁移学习领域。 解决了使 用现有的算法迁移后的目标生成器无法准确获 取引导图风格及迁移后的图片多样性低的问题。 本发明方法通过全局水平域迁移损失函数使迁 移后的目标域生成器合成的图片拥有引导图的 全局特征； 设计了局部水平域迁移损失函数来解 决现有技术无法准确获取引导图局部代表性特 征的问题； 利用逆映射器把合 成图片映射到隐空 间， 并提出自适应属性保持损失函数来自适应的 挑选和保持域共享的属性， 从而使迁移后的图片 保持了之前图片的部分属性， 提高了合成图片的 多样性， 并通过给定一张目标域引导图即可实现 对自适应域生成器的迁移。 主要用于实现对自适 应域生成器的迁移。 权利要求书3页 说明书7页 附图2页 CN 115272687 A 2022.11.01 CN 115272687 A 1.单样本自适应域 生成器迁移方法， 其特 征在于， 该 方法包括： S1、 利用多张源域图片及多维高斯分布中随机采样得到的多个512维的向量对预训练 的生成器进行训练， 获得源域生成器GB； 再利用源域生成器GB的权重初始化目标域生成器， 得到初始化后的目标域生成器GA， 同时， 选取一张风格不同于源域图片作为初始化后的目 标域生成器GB的目标域引导图； S2、 从多维高斯分布中随机采样M个512维 的向量， 输入至源域生成器GB合成M张源域合 成图片， 将M张源域合成图片和目标域引导图输入至第一CLIP图片编码 器中进行特征提取， 获得源域中心特征向量νsrc、 目标域引导图全局特征向量νtar和目标域引导图局部特征向量 序列Ftar； S3、 从多维高斯分布 中随机采样一个512维的向量， 并同时输入到源域生成器GA和初始 化后的目标域生成器GB中， 使得源域生成器GA合成一张迁移前图片、 初始化后的目标域生成 器GB合成一张迁移后图片； S4、 把合成后的迁移前图片和迁移后图片输入至第二CLIP图片编码器中， 提取出迁移 前图片的全局特征向量νA、 迁移后图片的全局特征向量νB和迁移后图片的局部特征向量序 列FB后， 并结合源域中心特征向量νsrc、 目标域引导图全局特征向量νtar和目标域引导图局 部特征向量序列Ftar， 确定全局水平域迁移损失函数Lglobal的损失值和局部水平 域迁移损失 函数Llocal的损失值； 同时， 把合成后的迁移前图片和迁移后图片输入至逆 映射器中， 提取迁移前图片的属 性向量ωA和迁移后图片的属性向量ωB； 并根据迁移前图片的属性向量ωA、 迁移后图片的 属性向量ωB确定自适应属性保持损失函数Lscc的损失值； S5、 将全局水平域迁移损失函数Lglobal的损失值、 局部水平域迁移损失函数Llocal的损失 值和自适应属性保持损失函数Lscc的损失值 求和， 获得总损失值； S6、 判断当前总损失值是否小于预设阈值， 结果为是， 将其当前总损失值作为初始化后 的目标域生成器GB的最优总损失值， 从而获得迁移后的目标域生成器， 实现对自适应域生 成器的迁移； 结果为否， 根据当前总损失值对初始化后的目标域生成器GB的参数进行优化 更新， 实现对初始化后的目标域 生成器GB的训练， 然后重新执 行步骤S3 。 2.根据权利要求1所述的单样本自适应域生成器迁移方法， 其特征在于， 步骤S2中， 获 得源域中心特征向量νsrc、 目标域引导图全局特征向量νtar和目标域引导图局部特征向量序 列Ftar列的实现方式为： 将M张源域合成图片输入至第一CLIP图片编码器中进行全局特征提取， 获得每张源域 合成图片的全局特征向量， 并计算M张源域合 成图片的全局特征向量的平均值， 并将该平均 值作为源域中心特 征向量νsrc； 同时， 将目标域引导图输入至第一CLIP图片编码器 中进行全局特征提取及局部特征提 取， 获得目标域引导图全局特 征向量νtar和目标域引导图局部特 征向量序列Ftar。 3.根据权利要求1所述的单样本自适应域生成器迁移方法， 其特征在于， 步骤S4中， 确 定全局水平域迁移损失函数Lglobal的损失值的实现方式为： 将迁移前图片的全局特征向量νA、 迁移后图片的全局特征向量νB、 源域中心特征向量 νsrc和目标域引导图全局特征向量νtar， 代入到全局水平域迁移损失函数Lglobal中， 从而获得 全局水平域迁移损失函数Lglobal的损失值。权　利　要　求　书 1/3 页 2 CN 115272687 A 24.根据权利要求1所述的单样本自适应域生成器迁移方法， 其特征在于， 全局水平域迁 移损失函数Lglobal的表达式为： 其中， Δ νsamp＝νB‑νA    公式2； Δ νdom＝νtar‑νsrc    公式3； Δνsamp为移后图片的全局特征向量νB与迁移前图片的全局特征向量νA的差值， Δνdom为 目标域引导图全局特 征向量νtar与源域中心特 征向量νsrc的差值。 5.根据权利要求1所述的单样本自适应域生成器迁移方法， 其特征在于， 步骤S4中， 确 定局部水平域迁移损失函数Llocal的损失值的实现方式为： 将目标域引导图全局特征向量νtar和目标域引导图局部特征向量序列Ftar， 代入到局部 水平域迁移损失函数Lglobal中， 从而获得局部水平域迁移损失函数的损失值。 6.根据权利要求1所述的单样本自适应域生成器迁移方法， 其特征在于， 局部水平域迁 移损失函数Llocal的表达式为： 其中， 为迁移后图片的局部特征向量序列FB中的第i个向量， 为目标域引导图局 部特征向量序列Ftar中第j个向量， Ci,j为 与 间的余弦距 离矩阵， n为迁移后图片的局部 特征向量序列FB中向量的个数， m为目标域引导图局部特征向量序列Ftar中向量的个数， i和 j均为整数， 且i ＝1， 2……n， j＝1， 2 ……m， n和m均为整数。 7.根据权利要求1所述的单样本自适应域生成器迁移方法， 其特征在于， 步骤S6中、 获 得迁移后的目标域 生成器的实现方式为： S61、 在初始化后的目标域生成器GB进行训练过程中， 将训练过程中获得的P个迁移后图 片的属性向量ωA进行求和、 取平均后， 获得迁移后图片的平均属性向量， 还将训练过程中 获得的P个迁移前 图片的属性向量ωB进行求和、 取平均后， 获得迁移前图片的平均属性向 量； S62、 将迁移后图片的平均属性向量与迁移前图片的平均属性向量作差， 获得平均属性 差值向量Δ ω； 平均属性差值向量Δ ω为多维向量， 且维数为 N， N为大于3的整数； S63、 确定条件向量mask(Δω， α )中所有元素所在位置的值， 从而获得条件向量mask (Δω， α )， 并将 条件向量mask(Δω， α )、 最后一次训练得到迁移前图片的属性向量ωA和最 后一次训练得到迁移后图片的属性向量ωA代入自适应属性保持损失函数Lscc中， 获得自适 应属性保持损失函数Lscc的损失值， 并将该损失值作为初始化后的目标域生成器GB的最优 总损失值， 从而获得迁移后的目标域 生成器； 其中， 预设向量mask(Δω， α )的维数与平均属性差值向量Δω的维数相同， α 为被选取权　利　要　求　书 2/3 页 3 CN 115272687 A 3