(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210895780.5 (22)申请日 2022.07.27 (71)申请人 京东科技信息技 术有限公司 地址 100176 北京市北京经济技 术开发区 科创十一 街18号院2号楼6层6 01 (72)发明人 沈力　王对　陈士祥　陶大程　 (74)专利代理 机构 中原信达知识产权代理有限 责任公司 1 1219 专利代理师 张效荣　王志远 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/94(2022.01) G06F 21/62(2013.01) (54)发明名称 一种图像多标签分类方法和装置 (57)摘要 本发明公开了一种图像多标签分类方法和 装置， 涉及联邦学习技术领域。 该方法的一具体 实施方式包括： 通过联邦学习的方式训练用于图 像多标签分类的嵌入模型， 其中， 在训练过程中， 由服务器使用带有标签关系的散度正则函数优 化类别嵌入矩阵， 类别嵌入矩阵为嵌入模型的一 种参数， 利用训练后的嵌入模型进行图像多 标签 分类。 该实施方式能够提高收敛速度， 提高算法 对多标签数据集的适应性， 保证模型最终精度， 并且避免隐私泄露， 提高联邦学习算法的安全 性， 同时还可减少通信代价。 权利要求书3页 说明书15页 附图3页 CN 115546530 A 2022.12.30 CN 115546530 A 1.一种图像多标签分类方法， 其特 征在于， 包括： 通过联邦学习的方式训练用于图像多标签分类的嵌入模型， 其中， 在训练过程中， 由服 务器使用带有标签关系的散度正则函数优化类别嵌入矩阵， 所述类别嵌入矩阵为所述嵌入 模型的一种参数； 利用训练后的嵌入 模型进行图像多标签分类。 2.根据权利要求1所述的方法， 其特征在于， 所述通过联邦学习的方式训练用于图像多 标签分类的嵌入模型， 其中， 在训练过程中， 由服务器使用带有 标签关系的散度正则函数优 化类别嵌入矩阵， 包括： 在每一轮迭代训练中， 所述服务器将本轮待训练的嵌入模型发送至各客户 端进行训 练， 每个客户端训练用的本地数据集只有正标签； 所述服务器根据 所述各客户端返回的训练结果， 更新所述嵌入模型的参数， 其中， 在每 轮迭代中， 使用带有标签关系的散度正则函数， 对所述各客户端所返回的训练结果中的类 别嵌入矩阵进行优化， 并将优化后的类别嵌入矩阵更新为所述嵌入模型的头部分类器参 数。 3.根据权利要求2所述的方法， 其特征在于， 所述使用带有标签关系的散度正则函数， 对所述各客户端所返回的训练结果中的类别嵌入矩阵进行优化， 包括： 将所述各客户端所返回的训练结果中的类别嵌入矩阵以及所述服务器对应多标签数 据集收集到的全局标签分布， 作为第一散度正则损失函数 的输入， 通过所述第一散度正则 损失函数输出所述优化后的类别嵌入矩阵， 其中， 所述第一散度正则损失函数中包括为每 个标签设置的权 重系数。 4.根据权利要求1所述的方法， 其特征在于， 所述通过联邦学习的方式训练用于图像多 标签分类的嵌入模型， 其中， 在训练过程中， 由服务器使用带有 标签关系的散度正则函数优 化类别嵌入矩阵， 包括： 所述服务器使用带有标签关系的散度正则函数， 预先学习得到一个固定类别嵌入矩 阵； 在每一轮迭代训练中， 使用所述固定类别嵌入矩阵作为所述嵌入模型的头部分类器参 数。 5.根据权利要求4所述的方法， 其特征在于， 所述服务器使用带有标签关系的散度正则 函数， 预先学习得到一个固定类别嵌入矩阵， 包括： 将所述各客户端在第一轮迭代训练中所返回的训练结果中的类别嵌入矩阵以及所述 服务器对应多标签数据集收集到的全局标签分布， 作为第二散度正则损失函数 的输入， 对 所述第二散度正则损失函数进行多次迭代训练， 直到最终得到所述固定类别嵌入矩阵。 6.根据权利要求3或5所述的方法， 其特征在于， 所述服务器通过如下方式收集所述全 局标签分布： 所述服务器将所述嵌入模型的初始化参数和约定的哈希函数发送至各客户端， 以由所 述各客户端对各自的本地数据集进行特征提取以及对提取得到的特征向量利用所述约定 的哈希函数映射 为哈希向量， 每一本地数据集只有正标签； 所述服务器从所述各客户端得到所述哈希向量， 收集所述哈希向量的标签集， 其中， 若 同一哈希向量对应不同的正标签， 则通过 标签合并得到该哈希向量的标签集；权　利　要　求　书 1/3 页 2 CN 115546530 A 2所述服务器由所有哈希向量的标签集构成的集 合， 得到所述全局标签分布。 7.根据权利要求1所述的方法， 其特征在于， 所述嵌入模型包括特征提取器和头部分类 器， 所述嵌入模型 的参数包括特征提取器参数和头部分类器参数， 所述头部分类器参数为 所述类别嵌入矩阵。 8.一种图像多标签分类装置， 其特 征在于， 包括： 模型训练模块， 用于通过联邦学习的方式训练用于图像多标签分类的嵌入模型， 其中， 在训练过程中， 由服务器使用带有标签关系的散度正则函数优化类别嵌入矩阵， 所述类别 嵌入矩阵为所述嵌入 模型的一种参数； 图像多标签分类模块， 用于利用训练后的嵌入 模型进行图像多标签分类。 9.根据权利要求8所述的装置， 其特 征在于， 所述模型训练模块还用于： 在每一轮迭代训练中， 所述服务器将本轮待训练的嵌入模型发送至各客户 端进行训 练， 每个客户端训练用的本地数据集只有正标签； 所述服务器根据 所述各客户端返回的训练结果， 更新所述嵌入模型的参数， 其中， 在每 轮迭代中， 使用带有标签关系的散度正则函数， 对所述各客户端所返回的训练结果中的类 别嵌入矩阵进行优化， 并将优化后的类别嵌入矩阵更新为所述嵌入模型的头部分类器参 数。 10.根据权利要求9所述的装置， 其特 征在于， 所述模型训练模块还用于： 将所述各客户端所返回的训练结果中的类别嵌入矩阵以及所述服务器对应多标签数 据集收集到的全局标签分布， 作为第一散度正则损失函数 的输入， 通过所述第一散度正则 损失函数输出所述优化后的类别嵌入矩阵， 其中， 所述第一散度正则损失函数中包括为每 个标签设置的权 重系数。 11.根据权利要求8所述的装置， 其特 征在于， 所述模型训练模块还用于： 所述服务器使用带有标签关系的散度正则函数， 预先学习得到一个固定类别嵌入矩 阵； 在每一轮迭代训练中， 使用所述固定类别嵌入矩阵作为所述嵌入模型的头部分类器参 数。 12.根据权利要求1 1所述的装置， 其特 征在于， 所述模型训练模块还用于： 将所述各客户端在第一轮迭代训练中所返回的训练结果中的类别嵌入矩阵以及所述 服务器对应多标签数据集收集到的全局标签分布， 作为第二散度正则损失函数 的输入， 对 所述第二散度正则损失函数进行多次迭代训练， 直到最终得到所述固定类别嵌入矩阵。 13.根据权利要求10或12所述的装置， 其特征在于， 所述服务器通过如下方式收集所述 全局标签分布： 所述服务器将所述嵌入模型的初始化参数和约定的哈希函数发送至各客户端， 以由所 述各客户端对各自的本地数据集进行特征提取以及对提取得到的特征向量利用所述约定 的哈希函数映射 为哈希向量， 每一本地数据集只有正标签； 所述服务器从所述各客户端得到所述哈希向量， 收集所述哈希向量的标签集， 其中， 若 同一哈希向量对应不同的正标签， 则通过 标签合并得到该哈希向量的标签集； 所述服务器由所有哈希向量的标签集构成的集 合， 得到所述全局标签分布。 14.根据权利要求8所述的装置， 其特征在于， 所述嵌入模型包括特征提取器和头部分权　利　要　求　书 2/3 页 3 CN 115546530 A 3