(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210594803.9 (22)申请日 2022.05.27 (71)申请人 中国科学院计算 技术研究所 地址 100080 北京市海淀区中关村科 学院 南路6号 (72)发明人 刘宏　焦梦磊　王向东　钱跃良　 (74)专利代理 机构 北京律诚同业知识产权代理 有限公司 1 1006 专利代理师 祁建国　陈思远 (51)Int.Cl. G06V 40/60(2022.01) G06V 10/40(2022.01) G06V 10/74(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于多模态融合的肿瘤分类方法及系 统 (57)摘要 本发明提出一种基于多模态融合的肿瘤分 类方法和系统， 包括： 根据来自同一位用户的多 模态影像构建多模态图， 多模态图中顶点为该多 模态影像中单帧影像， 多模态图中边为模态相异 的顶点间的匹配边； 使用肿瘤分类模 型对多模态 图中所有匹配边进行特征的提取和融合， 得到每 条边的置信度； 根据每条边的置信度， 选择并构 建出一个可信边集合， 将可信边集的置信度和该 用户的临床信息进行加权融合， 得到该多模态影 像建图的肿瘤识别结果。 由此能够结合用户不同 模态的影 像数据， 进行肿瘤高精度分类 。 权利要求书2页 说明书11页 附图1页 CN 115019405 A 2022.09.06 CN 115019405 A 1.一种基于多模态融合的肿瘤分类方法， 其特 征在于， 包括： 步骤1、 根据来自同一位用户的多模态影像构建多模态图， 多模态图中顶点为该多模态 影像中单帧影 像， 多模态图中边 为模态相异的顶点间的匹配边； 步骤2、 使用肿瘤 分类模型对多模态图中所有 匹配边进行特征的提取和融合， 得到每条 边的置信度； 步骤3、 根据每条边的置信度， 选择并构建出一个可信边集合， 将可信边集的置信度和 该用户的临床信息进行加权融合， 得到该多模态影 像建图的肿瘤识别结果。 2.如权利要求1所述的基于多模态融合的肿瘤 分类方法， 其特征在于， 该肿瘤分类模型 的训练过程包括： 利用未标注的肿瘤影像数据， 构造自监督学习任务， 得到一个初始编码器， 提取肿瘤影 像的通用特征； 该初始编码器以图像重建任务为前置任务， 以特征提取模型作为编码器来 提取输入影像的特征， 然后解码器根据该输入影像的特征恢复得到原图像， 以编码器能够 提取出样本的关键特征来使解码器能够更好的恢复影像为训练目标， 训练该编码器， 将训 练完成的编码器迁移到多模态融合模型； 确定待识别的肿瘤类别以及影像模态， 获取多组多模态影像作为训练数据， 每一组训 练数据均来源于同一位患者， 同时获取该训练数据对应的病理诊断数据， 并对原始数据中 肿瘤区域进行检测 和定位， 并存 储对应的肿瘤区域 位置信息； 根据该病理诊断数据对多模态图中的每一条边附上相应的类别信息， 作为边的标签； 多模态融合模型的输入是多模态图中的边， 多模态融合模型的每个分支对边上每个顶点所 对应的影像进行特征提取， 并在特征空间层面进行融合； 使用多模态融合模型 的全连接网 络对融合后的特征进行预测， 输出其预测概率， 并通过损失函数将模型 的预测概率和边所 对应的标签进 行损失的计算、 梯度的反向传播、 以训练该多模态融合模型， 并将训练完成后 的多模态融合模型作为该肿瘤分类模型。 3.如权利要求1所述的基于多模态融合的肿瘤 分类方法， 其特征在于， 该多模态图中只 有不同模态的顶点之间存在匹配边。 4.如权利要求1所述的基于多模态融合的肿瘤分类方法， 其特征在于， 该步骤3包括， 用 户的的临床信息， 包括该用户的年龄和病史， 根据该临床信息得到该用户患各肿瘤类别的 概率， 以和该 可信边集的置信度进行加权融合。 5.一种基于多模态融合的肿瘤分类系统， 其特 征在于， 包括： 图构建模块， 用于根据来自同一位用户的多模态影像构建多模态图， 多模态图中顶点 为该多模态影 像中单帧影 像， 多模态图中边 为模态相异的顶点间的匹配边； 特征提取融合模块， 用于使用肿瘤分类模型对多模态图中所有 匹配边进行特征的提取 和融合， 得到每条边的置信度； 加权融合模块， 用于根据每条边的置信度， 选择并构建出一个可信边集合， 将可信边集 的置信度和该用户的临床信息进行加权融合， 得到该多模态影 像建图的肿瘤识别结果。 6.如权利要求5所述的基于多模态融合的肿瘤 分类系统， 其特征在于， 该肿瘤分类模型 的训练过程包括： 利用未标注的肿瘤影像数据， 构造自监督学习任务， 得到一个初始编码器， 提取肿瘤影 像的通用特征； 该初始编码器以图像重建任务为前置任务， 以特征提取模型作为编码器来权　利　要　求　书 1/2 页 2 CN 115019405 A 2提取输入影像的特征， 然后解码器根据该输入影像的特征恢复得到原图像， 以编码器能够 提取出样本的关键特征来使解码器能够更好的恢复影像为训练目标， 训练该编码器， 将训 练完成的编码器迁移到多模态融合模型； 确定待识别的肿瘤类别以及影像模态， 获取多组多模态影像作为训练数据， 每一组训 练数据均来源于同一位患者， 同时获取该训练数据对应的病理诊断数据， 并对原始数据中 肿瘤区域进行检测 和定位， 并存 储对应的肿瘤区域 位置信息； 根据该病理诊断数据对多模态图中的每一条边附上相应的类别信息， 作为边的标签； 多模态融合模型的输入是多模态图中的边， 多模态融合模型的每个分支对边上每个顶点所 对应的影像进行特征提取， 并在特征空间层面进行融合； 使用多模态融合模型 的全连接网 络对融合后的特征进行预测， 输出其预测概率， 并通过损失函数将模型 的预测概率和边所 对应的标签进 行损失的计算、 梯度的反向传播、 以训练该多模态融合模型， 并将训练完成后 的多模态融合模型作为该肿瘤分类模型。 7.如权利要求5所述的基于多模态融合的肿瘤 分类系统， 其特征在于， 该多模态图中只 有不同模态的顶点之间存在匹配边。 8.如权利要求5所述的基于多模态融合的肿瘤 分类系统， 其特征在于， 该用户的的临床 信息， 包括该用户的年龄和病史， 根据该临床信息得到该用户患各肿瘤类别的概率， 以和该 可信边集的置信度进行加权融合。 9.一种存储介质， 用于存储执行如权利要求1到4所述任意一种基于多模态融合的肿瘤 分类方法的程序。 10.一种客户端， 用于 权利要求5 到8所述的任意 一种基于多模态融合的肿瘤分类系统。权　利　要　求　书 2/2 页 3 CN 115019405 A 3