上海AI实验室开源全球首个医疗基础模型群,引领“医疗大模型时代”-轻识

大模型的快速发展突破了人工智能技术的边界，也为众多垂直领域带来新的发展机遇和挑战。在医疗领域，愈来愈多业内人士共同关注同一个课题——如何通过人工智能大模型为医生和研究人员提供新工具、新方法，以改善疾病诊断、治疗和预防。

6月29日，由上海人工智能实验室（上海AI实验室）牵头，并联合国内外顶级科研机构、高校及医院共同发布全球首个医疗多模态基础模型群“OpenMEDLab浦医”。

上海人工智能实验室智慧医疗研究中心主任张少霆表示，“‘OpenMEDLab浦医’的问世，为人工智能大模型在医疗领域的快速发展、高效落地提供了坚实的基础，将带动医疗领域的一系列创新，如模型即服务（MaaS）等模式。随着人工智能在医疗领域落地应用范围的扩大，大模型将更好地赋能医生、服务患者，助力‘健康中国2030’战略目标的实现。”

“OpenMEDLab浦医”将于近期逐步开源，覆盖医学图像、医学文本、生物信息、蛋白质工程等10余种医疗数据模态，促进基于医疗基础模型的跨领域、跨疾病、跨模态科研突破，同时助力解决医疗领域的长尾问题，推动医疗大模型的产业落地。

开源链接：

https://github.com/OpenMEDLab（点击阅读原文获取）

“OpenMEDLab浦医”基础模型群将于近期逐步开源，覆盖10余种医疗数据模态

联合顶尖机构，共建多模态医疗大模型

作为牵头单位，上海AI实验室联合了多个国内外组织共同参与开源“OpenMEDLab浦医”基础模型群，包括广州实验室、之江实验室等顶尖科研机构，上海交通大学、复旦大学、电子科技大学、华东理工大学、北京邮电大学、美国罗格斯大学、英属哥伦比亚大学、香港中文大学等高校，以及上海交通大学医学院附属瑞金医院、上海交通大学医学院附属新华医院、四川大学华西医院、郑州大学第一附属医院等医疗机构。
“OpenMEDLab浦医”融合了全球顶尖的AI研发能力、海量医学数据以及医学专家知识，首批发布的基础模型群中，包含基于医学图像、医学文本、生物信息、蛋白质工程等10余种数据模态训练而成的基础模型。在语言模型方面，“OpenMEDLab浦医”开源了由上海AI实验室与上海交通大学、华东理工大学合作开发的中文医疗语言大模型，基于海量医学知识和真实医患互动对话数据，可提供导诊、问诊、健康咨询、辅助决策等多场景多轮会话能力。联合团队对多个语言大模型的医疗能力进行了系统的对比评测，评测代码及数据已公布。在图像方面开源的一系列模型群，可针对放射影像、病理图像、内镜、超声等不同影像模态，实现高精度的检测、分割、分类等前沿研究和临床任务，高效赋能解决基于医学影像的临床任务，模型具有轻量级的特点，能满足创新研究的临床部署与便捷应用。在生物医药方面，“OpenMEDLab浦医”同样大有可为。例如由上海AI实验室和上海交通大学共同研发的蛋白质序列大模型，通过融合生物医学专业知识，可助力设计合成高稳定性高生物活性蛋白质，解决蛋白类新药研发过程中普遍存在的耗时长、耗费高等难题。为了方便开发者使用，“OpenMEDLab浦医”开源平台在提供基础模型下载的同时，还提供了下游任务应用范例、测试数据、对应标注和评价指标，帮助开发者全流程高效使用基模型开展研发工作。此外，为推动产学研协作，深化医学图像分析基础模型的可行性探索，上海AI实验室发起《〈Medical Image Analysis〉基础模型特刊》与NeurIPS 2023医学图像分析基础模型应用挑战赛，向全球人工智能及医疗领域的研究人员和机构发出“英雄帖”，通过 “一刊一赛”，进一步推动医疗基础模型的研究和应用。

突破小样本、弱标注瓶颈，解决医疗长尾问题

近年来，超大参数深度学习基模型在计算机视觉（CV）、自然语言处理（NLP）等领域获得突破性进展，能够基于大模型的超强泛化能力应用于许多下游任务的分析。然而医学数据在数据模态、成像模式、图像特征等方面种类繁多、差别较大，使得通用大模型难以在医学图像分析方面实现令人满意的性能。在高度关注数据私密性的医疗机构中，落地部署也存在较大困难，当前，针对特定任务进行单独模型训练依然是该领域主流的解决方案。然而，医疗下游长尾任务的数据样本少、标注难度高，这也限制了人工智能在更多医疗场景的应用。
如何将CV、NLP通用大模型“为我所用”，并发展出更适合医疗场景的基础模型，上海AI实验室首创了多层级、多场景、高精度、可落地的医疗基础模型群“OpenMEDLab浦医”。首先，基于CV、NLP大模型对医疗图像和文本通用特征的学习，上海AI实验室针对不同医疗数据模态开发了一系列基模型，例如CT、MRI、超声、内镜、病理、医学文本等，以充分学习和利用不同数据模态独有的特征和模式。基于上述多层级、多场景的基础模型群，“OpenMEDLab浦医”可以将先前医学数据训练中学习到的特征，高效应用于海量医疗下游问题中，从而实现针对不同任务的小数据、弱标注、高效率的训练。同时，模型群兼顾性能与落地的平衡，在医疗场景中的部署应用更具便捷性，从而让基础模型在更多医疗长尾问题中得以落地应用。例如，上海AI实验室联合四川大学华西医院和上海交通大学，分别应用预训练得到的视觉和语言大模型，采用小样本模型激活的算法，进行医疗图像中多种病灶的检测和疾病分类，得到了相较传统迁移学习精度更高的实验结果。这意味着，未来科研人员将能够更好地应对小数据甚至零数据样本的医疗生物场景。

在细分医学图像分析场景中需要应用不同层级和任务导向的基础模型

（图片来源：S. Zhang and D. Metaxas. On the Challenges and Perspectives of Foundation Models for Medical Image Analysis. arXiv preprint arXiv:2306.05705.）

成果落地，开启“医疗通用大模型时代”

医疗多模态基础模型群的问世，为大模型赋能医疗场景带来了更多可能。目前，“OpenMEDLab浦医”研发团队已与全国多家头部三甲医院及医药企业开展合作，全方位赋能医院诊疗及药物研发工作。

在上海交通大学医学院附属瑞金医院，“医学数字人”已应用于全身多部位、多器官、多模态影像的智能辅助诊疗，覆盖十余个临床方向，全方位赋能患者诊疗愈全流程；在四川大学华西医院，双方合作打造基于自动提示词微调的视觉语言大模型，显著提高了小样本下的医学图像的检测性能，为视觉语言大模型在医疗图像领域提供了应用范式；在郑州大学第一附属医院，双方正合作开发医疗语言大模型，将整合海量药学知识和专家经验，通过线上服务为患者提供更便捷、更全面的用药咨询。在生物制药领域，与多家知名药企合作，利用基础模型赋能蛋白质工程，助力药品研发。

END

在看