近日，四川大学华西医院呼吸与危重症医学科李为民教授、王成弟研究员团队在The Innovation杂志（IF：33.2）发表了最新研究论文“A multimodal integration pipeline for accurate diagnosis, pathogen identification, and prognosis prediction of pulmonary infections”。创新性开发了多模态融合（Multimodal Integration，MMI）模型，利用临床文本、影像图像、检验指标等多维度信息，实现肺部感染性疾病及病原类型精准预测，及时对危重症进行预警干预（图1）。

图1 MMI模型在肺部感染性疾病诊疗的临床应用

不同病原体引起的肺部感染性疾病给人民生命健康带来了严重的疾病负担，胸部计算机断层扫描（Computed Tomography，CT）是诊断肺部感染的重要辅助工具，但其“异病同征、同病异征”的现象使精准诊断困难。人工智能（Artificial Intelligence，AI）技术的快速发展推动了医疗领域的创新，多模态融合为疾病精准诊断的实现提供了技术基础。

研究纳入四川大学华西医院及医联体24107例住院患者，收集其临床症状、诊疗记录等文本、实验室检测结果和胸部CT图像（图2）。研究者利用双向编码器转换器（Bidirectional Encoder Representations from Transformers，BERT）提取文本信息，通过骨干网络Swin-Transformer对图像信息进行特征提取。为进一步提高模型性能，研究者采用注意力Attention架构，将模型从临床、影像、检验数据中提取的单模态特征合并为多模态特征，使MMI模型能够整合多个信息源并有效地对疾病进行精确诊断。

图2 
多模态融合MMI模型总体架构

相对于仅使用临床特征或影像图像的单一模态模型，MMI模型在识别肺部感染性疾病患者的准确性更高（内部测试集 Area Under the Curve，AUC 0.935)，并能够区分单一感染和混合感染的患者（图3A）。在识别不同类型肺部感染性疾病（细菌性、病毒性、真菌性肺炎和肺结核）任务上，MMI模型平均性能依旧最佳（图3B-D）。

图3 多模态融合MMI模型识别不同类型肺部感染性疾病的性能

不同的数据融合策略会影响模型的诊断性能，研究者对早期融合（Early Fusion）、中期融合（Intermediate Fusion）和晚期融合（Late Fusion）三种融合架构进行探索（图4A）。与早期融合和后期融合架构相比，中间融合架构表现出更加优越的性能（诊断不同类型肺部感染性疾病AUC为0.923）（图4B）。中期融合寻求合并来自多个信息源的特征，生成统一的特征集，增强了信息在信息源间的传播，并交互式地优化了特征提取过程。

图4 基于三种数据
融合架构的MMI模型识别肺部感染性疾病的性能

进一步，研究者收集肺部感染性患者多模态数据，将该模型与两组具有不同年资的临床医生进行对比。结果显示，MMI模型在肺部感染性疾病诊断方面的性能可与具有丰富临床经验的医生相媲美。

MMI模型在常见肺部感染病原体的预测上也显示出良好的诊断潜力。覆盖呼吸道合胞病毒、冠状病毒、肺炎链球菌、结核分枝杆菌等常见呼吸道病毒和细菌病原体。这种对不同病原体亚型的准确区分，可辅助医护人员及时诊断并针对性使用抗菌药物。预警危重症也是MMI模型在肺部感染性患者诊疗中的重要应用。研究者评估了肺部感染性疾病患者危重预后的相关因素，并可视化了多维度特征在预警预后中的重要性。

综上所述，该研究创新性地开发多模态融合MMI模型，精准诊断肺部感染性疾病，快速锁定病原体，融合多维特征实现重症提前预警，有助于临床及时决策干预，改善肺部感染性患者的预后，为肺部感染性疾病精准诊疗提供新思路。

四川大学华西医院为第一作者和通讯作者单位，四川大学华西医院博士生邵俊、香港大学俞益洲教授、深睿医疗马杰超为本文共同第一作者；李为民教授、王成弟研究员为共同通讯作者。该研究得到国家自然科学基金委等经费支持。

原文链接

https://www.cell.com/the-innovation/fulltext/S2666-6758(24)00086-9

专家介绍

李为民

四川大学华西医院呼吸和共病研究院长，教育部长江特岗学者；呼吸和共病全国重点实验室（华西）主任；国家精准医学产业创新中心主任、教育部疾病分子网络前沿科学中心主任；四川大学华西医院呼吸与危重症医学科教授，博士生导师；担任中华医学会副会长、中国医师协会副会长；中华医学会呼吸病学分会副主任委员；四川省医学会呼吸专委会主任委员等；担任“十四五”规划临床医学专业第二轮器官-系统整合教材《呼吸系统与疾病》第一主编；Precision Clinical Medicine主编；Signal Transduction and Targeted Therapy副主编；《华西医学》主编；《中华结核与呼吸杂志》副主编；主持各级科研课题包括国家自然科学基金重点项目/面上项目、国家科技部重大专项等。在Cell、Nature Biomedical Engineering等高水平期刊发表研究论文。研究成果以第一完成人获国家科技进步奖二等奖、四川省科技进步奖一等奖，个人获全国创新争先奖、“天府青城计划”天府杰出科学家、吴阶平-保罗·杨森医学药学奖。

王成弟

四川大学华西医院呼吸与危重症医学科研究员、博士生导师。国家级青年人才。专业特长：呼吸系统常见病及疑难危重症疾病；研究方向：肺结节/肺癌、肺部感染性疾病的基础与临床；主持国家自然科学基金项目面上、专项等多项课题；荣获国家科技进步奖二等奖、四川省科技进步奖一等奖。

* 文章仅供医疗卫生相关从业者阅读参考

本文完

责编：Jerry