(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202211014416.X (22)申请日 2022.08.23 (65)同一申请的已公布的文献号 申请公布号 CN 115083003 A (43)申请公布日 2022.09.20 (73)专利权人 浙江大华 技术股份有限公司 地址 310051 浙江省杭州市滨江区滨安路 1187号 (72)发明人 邸德宁　朱树磊　王利松　郝敬松　 庄瑞格　殷俊　 (74)专利代理 机构 深圳市威世博知识产权代理 事务所(普通 合伙) 44280 专利代理师 何倚雯 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/762(2022.01)G06V 10/774(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (56)对比文件 CN 112101086 A,2020.12.18 CN 110458078 A,2019.1 1.15 CN 114359605 A,2022.04.15 CN 112766421 A,2021.0 5.07 WO 2020047854 A1,2020.0 3.12 Lei Yang et al. .“Learning to Cluster Faces via Co nfidence and Co nnectivity Estimati on”. 《arXiv》 .2020,第1-10页. 何川 等.“基于图神经网络的百万数据人脸 聚类”. 《微电子学与计算机》 .202 2,第24-35页. 审查员 丁园园 (54)发明名称 聚类网络训练和目标聚类方法、 装置、 终端 及存储介质 (57)摘要 本发明提供一种聚类网络训练和目标聚类 方法、 装置、 终端及存储介质， 聚类网络训练方法 包括获取训练样本集， 其中训练样 本集包括包含 目标对象的多个样本图像； 基于聚类网络对各样 本图像关联的第一K近邻图进行处理， 得到第一K 近邻图中的主节点和各近邻节点之间对应的连 接边的类型预测结果； 将连接边的类型预测结果 以及连接边所连接的主节点和/或近邻节点的聚 类难度系数代入损失函数， 得到损失值， 损失值 的绝对值与所代入的聚类难度系数正相关； 基于 损失值对聚类网络进行迭代训练。 本申请使聚类 网络更重视聚类难度系数更大的样本图像的预 测准确率， 进而使聚类网络对于噪声数据的兼容 能力得到提高， 进而提高聚类网络的聚类准确率 和召回率。 权利要求书4页 说明书13页 附图6页 CN 115083003 B 2022.11.22 CN 115083003 B 1.一种聚类网络训练方法， 其特 征在于， 所述训练方法包括： 获取训练样本集， 所述训练样本集包括包含目标对象的多个样本 图像， 每个所述样本 图像分别关联有第一K近邻图和聚类难度系 数， 在所述第一K近邻图中， 以所关联的所述样 本图像作为主节点， 并以相似度最大 的多个其他所述样本图像为近邻节点， 所述主节点与 所述近邻节点之间通过连接边进 行连接， 当所述主节点与所述近邻节点属于同一所述目标 对象时， 所述连接边为正边， 否则所述连接边为负边， 所述第一K近邻图的负边比越 大， 则对 应的所述聚类难度系数越大； 基于聚类网络对各所述样本图像关联的第一K近邻图进行处理， 得到所述第 一K近邻图 中的所述主节点和各所述近邻节点之 间对应的所述连接边的类型预测结果； 所述连接边的 类型预测结果用于表征所述连接边所连接的所述主节点和所述近邻节点属于同一目标对 象的概率值； 将所述连接边的所述类型预测结果、 所述连接边所连接的所述主节点和所述近邻节点 的所述聚类难度系 数代入损失函数， 得到损失值， 所述损失值的绝对值与所代入的所述聚 类难度系数正相关； 基于所述损失值对所述聚类网络进行迭代训练； 其中， 所述聚类网络包括图卷积网络和神经网络， 所述图卷积网络和所述神经网络连 接， 所述基于聚类网络对各所述样本图像关联的第 一K近邻图进行处理， 得到所述第 一K近 邻图中的所述主节点和各 所述近邻节点之间对应的所述连接边的类型 预测结果， 包括： 通过所述图卷积网络对所述样本图像的第 一K近邻图中各所述近邻节点的目标特征图 进行特征融合， 得到所述主节点的更新特征图； 通过所述神经网络基于所述主节点的更新 特征图和所述近邻节 点的更新特征图， 确定所述主节点和所述近邻节点之 间的所述连接边 的类型预测结果； 所述将所述连接边的所述类型预测结果、 所述连接边所连接的所述主节点和所述近邻 节点的所述聚类难度系数代入损失函数， 得到损失值， 还 包括： 基于超参数、 所述连接边所连接的所述主节点和所述近邻节点的所述聚类难度系数、 所述聚类网络 输出的所述 概率值， 确定所述损失值。 2.根据权利要求1所述的聚类网络训练方法， 其特 征在于， 所述将所述连接边的所述类型预测结果、 所述连接边所连接的所述主节点和所述近邻 节点的所述聚类难度系数代入损失函数， 包括： 从所述连接边所 连接的所述主节点和所述近邻节点的所述聚类难度系数选择最大值； 将所述最大值代入所述损失函数。 3.根据权利要求1所述的聚类网络训练方法， 其特征在于， 所述损失值的绝对值与 所代 入的所述聚类难度系数的幂函数正相关。 4.根据权利要求1所述的聚类网络训练方法， 其特 征在于， 所述聚类难度系数的确定方法包括： 基于所述第一K近邻图中所述近邻节点的总数量、 与所述主节点属于同一所述目标对 象的所述近邻节点的数量， 确定所述主节点的负边比， 所述负边比作为所述聚类难度系数。 5.一种目标聚类方法， 其特 征在于， 所述目标聚类方法包括：权　利　要　求　书 1/4 页 2 CN 115083003 B 2基于获取的包含目标的多张待聚类图像， 生成各所述待聚类图像的第 二K近邻图； 所述 第二K近邻图中， 以关联的所述待聚类图像作为主节点， 并以相似度最大的多个其他所述待 聚类图像为近邻节点， 所述主节点与所述近邻节点之间通过 连接边进行 连接； 采用聚类网络对所述第二K近邻图进行处理， 确定所述第 二K近邻图对应的所述主节点 与各所述近邻节点之间的所述连接边的第一检测结果； 所述聚类网络是通过上述权利要求 1~4中任一项所述的聚类网络训练方法训练得到； 基于各所述连接边的第一检测结果， 对所述多张待聚类图像进行聚类。 6.根据权利要求5所述的目标聚类方法， 其特征在于， 所述连接边的第 一检测结果包括 所述连接边的可信度； 所述基于各 所述连接边的第一检测结果， 对所述多张待聚类图像进行聚类， 包括： 基于各所述连接边的可信度， 对各所述主节点的第 二K近邻图进行删减处理， 得到各所 述主节点的第三K近邻图； 基于各所述主节点的第三K近邻图， 对所述多张待聚类图像进行聚类得到第一聚类结 果； 所述第一聚类结果包括各 所述主节点的聚类 类别。 7.根据权利要求6所述的目标聚类方法， 其特 征在于， 所述基于各所述连接边的可信度， 对各所述主节点的第二K近邻 图进行删减处理， 包 括： 响应于所述主节点与 所述近邻节点之间的所述连接边的可信度低于 阈值， 则删除所述 主节点与所述近邻节点之间的所述连接边； 响应于所述主节点与 所述近邻节点之间的所述连接边的可信度低于所述阈值， 则保留 所述主节点与所述近邻节点之间的所述连接边。 8.根据权利要求6所述的目标聚类方法， 其特征在于， 所述第 一聚类结果包括至少一个 孤立节点； 所述孤立节点的聚类 类别与其 他所述主节点的聚类 类别均不相同； 所述目标聚类方法还 包括： 基于所述孤立节点的第 二K近邻图分别与 所述第一聚类结果中除所述孤立节点的其他 所述主节点的第二K近邻图， 对 所述孤立节点的第二K近邻图进 行净化处理得到所述孤立节 点的第四K近邻图； 采用所述聚类网络对所述孤立节点的第 四K近邻图进行处理， 得到所述孤立节点与所 述第四K近邻图中各 所述近邻节点对应的所述连接边的可信度； 所述第四K近邻图中最高的所述可信度， 确定所述孤立节点是否与所述最高的可信度 对应的所述近邻节点归属于同一所述聚类 类别。 9.根据权利要求8所述的目标聚类方法， 其特 征在于， 所述基于所述孤立节点的第 二K近邻图分别与 所述第一聚类结果中除所述孤立节点的 其他所述主节点的第二K近邻图， 对所述孤立节 点的第二K近邻图进 行净化处理得到所述孤 立节点的第四K近邻图， 包括： 选取所述孤立节点的第二K近邻图中任一所述孤立节点的近邻节点作为选取节点； 判断在所述孤立节点的第二K近邻图中， 所述选取节点是否是所述孤立节点的近邻节 点， 且在所述选取节点的第二K近邻图中， 所述孤立节点是否是 所述选取节点的近邻节点； 如果所述孤立节点不是所述选取节点的近邻节点， 则将所述孤立节点的第二K近邻图权　利　要　求　书 2/4 页 3 CN 115083003 B 3