(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210890498.8 (22)申请日 2022.07.27 (71)申请人 深圳前海微众 银行股份有限公司 地址 518000 广东省深圳市前海深港合作 区前湾一路1号A栋201室 （入驻深圳市 前海商务秘书 有限公司） (72)发明人 何元钦　康焱　骆家焕　 (74)专利代理 机构 深圳市世纪恒程知识产权代 理事务所 4 4287 专利代理师 刘瑞花 (51)Int.Cl. G06F 30/27(2020.01) G06F 21/60(2013.01) G06F 21/62(2013.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 模型构建优化方法、 设备、 存储介质及程序 产品 (57)摘要 本发明公开了一种模型构建优化方法、 设 备、 存储介质及程序产品， 方法包括： 将第一样本 数据输入至第一编码器编码得到第一编码特征； 获取第二参与方设备将第二样本数据输入至第 二编码器编码得到的第二编码特征； 将第一编码 特征和第二编码特征融合后输入至解码器得到 重构样本数据； 基于重构样本数据与第一样本数 据之间的误差更新第一编码器以及计算中间结 果， 将中间结果发送给第二参与方设备更新第二 编码器， 根据更新后的第一编码器和第二编码器 进行纵向联邦学习得到目标模型。 本发明实现了 利用无标签数据进行模型预训练， 以使得无标签 数据能够用于参与纵向联邦学习， 进而能够帮助 提高纵向联邦学习得到的模型的预测准确度。 权利要求书2页 说明书16页 附图4页 CN 115114862 A 2022.09.27 CN 115114862 A 1.一种模型构建优化方法， 其特征在于， 所述方法应用于参与纵向联邦学习的第一参 与方设备， 所述第一参与方设备部署第一编码器和解码器， 参与纵向联邦学习的第二参与 方设备部署第二编码器， 所述方法包括以下步骤： 将第一样本数据输入至所述第一编码器进行编码得到第一编码特 征； 获取第二编码特征， 其中， 所述第二编码特征由所述第二参与方设备将第二样本数据 输入至所述第二编码器进行编码得到的； 将所述第一编码特征和所述第二编码特征进行融合后输入至所述解码器进行解码得 到重构样本数据； 基于所述重构样本数据与所述第一样本数据之间的误差更新所述第一编码器以及计 算得到用于更新所述第二编 码器的中间结果， 将所述中间结果发送给所述第二参与方设备 以供所述第二 参与方设备 更新所述第二编码器； 在对所述第 一编码器和所述第 二编码器进行至少一轮迭代更新后， 基于更新后的所述 第一编码器和所述第二编码器与所述第二 参与方设备进行纵向联邦学习得到目标模型。 2.如权利要求1所述的模型构建优化方法， 其特征在于， 所述将第 一样本数据输入至所 述第一编码器进行编码得到第一编码特 征的步骤 包括： 对第一样本数据中的部分数据进行变换， 将经过变换后的第 一样本数据输入至所述第 一编码器进行编码得到第一编码特 征。 3.如权利要求2所述的模型构建优化方法， 其特征在于， 所述重构样本数据为针对所述 第一样本数据中被变换的部 分数据的重构数据， 所述基于所述重构样本数据与所述第一样 本数据之间的误差更新所述第一编码器以及计算得到用于更新所述第二编码器的中间结 果的步骤 包括： 计算表征所述重构样本数据与所述第一样本数据中被变换的部分数据之间误差的自 损失函数； 计算所述自损失函数相对于所述第 一编码器中参数的第 一梯度值， 以及计算所述自损 失函数相对于所述第二编码特 征的第二梯度值； 根据所述第一梯度值更新所述第一编码器中的参数以更新所述第一编码器； 将所述第二梯度值作为用于更新所述第二编码器的中间结果。 4.如权利要求2所述的模型构建优化方法， 其特征在于， 所述对第 一样本数据中的部分 数据进行变换的步骤 包括： 当所述第一样本数据包括多个属性值 时， 将所述第 一样本数据中的部分属性值变换为 预设值或添加随机噪声； 当所述第一样本数据为图像数据时， 将所述图像数据中的部分像素点的像素值变换为 预设像素值； 当所述第一样本数据为文本数据时， 将所述文本数据中的部分词语 变换为预设词语。 5.如权利要求1所述的模型构建优化方法， 其特征在于， 所述第 一参与方设备中还部署 投影模型， 所述将所述第一编 码特征和所述第二编 码特征进 行融合后输入至所述解码器进 行解码得到 重构样本数据的步骤 包括： 将所述第一编码特征和所述第 二编码特征输入至所述投影模型进行特征交叉处理， 将 经特征交叉处 理后得到的融合特 征输入至所述 解码器进行解码得到 重构样本数据。权　利　要　求　书 1/2 页 2 CN 115114862 A 26.如权利要求1至5中任一项所述的模型构建优化方法， 其特征在于， 所述第一参与方 设备还部署预测器， 所述基于更新后的所述第一编 码器和所述第二编 码器与所述第二参与 方设备进行纵向联邦学习得到目标模型的步骤 包括： 基于带标签的第三样本数据联合所述第二参与方设备中与所述第三样本数据对齐的 第四样本数据， 对所述预测器和更新后的所述第一编码器、 所述第二编码器进行纵向联邦 学习， 以得到包括训练后的所述第一编码器、 所述第二编码器和所述预测器的目标模型。 7.一种模型构建优化方法， 其特征在于， 所述方法应用于参与纵向联邦学习的第二参 与方设备， 参与纵向联邦学习的第一参与方设备部署第一编码器和解码器， 所述第二参与 方设备部署第二编码器， 所述方法包括以下步骤： 将第二样本数据输入至所述第二编码器进行编码得到第二编码特 征； 将所述第二编码特征发送给所述第 一参与方设备， 以供所述第 一参与方设备将第 一编 码特征和所述第二编码特征进 行融合后输入至所述解码 器进行解码得到重构样本数据， 并 基于所述重构样本数据与所述第一样本数据之间的误差更新所述第一编码器以及计算得 到用于更新所述第二编码器的中间结果， 其中， 所述第一编码特征 由所述第一参与方设备 将第一样本数据输入至所述第一编码器进行编码得到的； 获取所述中间结果， 根据所述中间结果更新所述第二编码器； 在对所述第 一编码器和所述第 二编码器进行至少一轮迭代更新后， 基于更新后的所述 第一编码器和所述第二编码器与所述第一 参与方设备进行纵向联邦学习得到目标模型。 8.一种模型构建优化设备， 其特征在于， 所述模型构建优化设备包括： 存储器、 处理器 及存储在所述存储器上并可在所述处理器上运行的模型构建优化程序， 所述模型构建优化 程序被所述处理器执行时实现如权利要求1 ‑6中任一项所述的模型构建优化方法的步骤， 或者如权利要求7 所述的模型构建优化方法的步骤。 9.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质上存储有模型构 建优化程序， 所述模型构建优化程序被处理器执行时实现如权利要求1 ‑6中任一项所述的 模型构建优化方法的步骤， 或者如权利要求7 所述的模型构建优化方法的步骤。 10.一种计算机程序产品， 包括计算机程序， 其特征在于， 所述计算机程序被处理器执 行时实现如权利要求 1‑6中任一项 所述的模型构建优化方法的步骤， 或者如权利要求7所述 的模型构建优化方法的步骤。权　利　要　求　书 2/2 页 3 CN 115114862 A 3