Academics | The Hong Kong University of Science and Technology

河北医科大学第四医院与香港科技大学（广州）医疗数据联合智能实验中心于2024.9正式启动了基于HE图像及HER2免疫组化图像建立多模态深度学习模型预测转移性乳腺癌预后的联合研究项目。该项目通过多模态数据的整合和深度学习技术的应用，提供了更加精确和高效的乳腺癌预后预测方法，具备显著的临床应用价值，同时推动了人工智能与医学的深入结合。

乳腺癌是全球女性最常见的恶性肿瘤之一，HER2是乳腺癌原发和转移的一个重要的预后和预测指标。最近，新型的抗体药物偶联物（Antibody-drug conjugates, ADCs）在晚期HER2低表达（HER2-low）乳腺癌患者中展现出了显著的治疗效果，从而扩展了之前仅针对HER2阳性患者的治疗方案。然而乳腺癌的HER2表达具有时空异质性，在用新型ADCs药物治疗转移性乳腺癌患者时，原发灶与转移灶的HER2表达不一致影响了其疗效及患者预后。对这类患者进行精确的预后预测对于个体化治疗至关重要。传统的预后预测依赖于临床病理特征，但这些方法在准确性和灵活性上存在局限。该合作实验室采用了多模态深度学习方法，结合HE图像和HER2免疫组化图像的信息，以提高预测转移性乳腺癌预后的准确性。多模态深度学习模型的核心优势在于能够整合不同类型的数据，自动学习并提取各模态中的关键特征，从而生成更具临床意义的预测。

该项目不仅解决了乳腺癌预后预测领域中的关键挑战，还通过多模态数据整合和深度学习技术，推动了智能医疗的发展。对双方而言，这次合作将带来诊断效率和科研影响力的双重提升，未来有望在更多领域取得突破，推动医学和人工智能技术的共同进步。