OpenBayes 教程上新丨医疗VLM新突破！HealthGPT对复杂MRI模态理解准确率达99.7%，单一模型可处理多类生成任务

现代医学诊断与研究高度依赖医学影像的解读与生成，从 X 光片的病灶识别到 MRI 向 CT 的图像转换，每一个环节都对 AI 系统的多模态处理能力提出了严苛要求。然而，当前医疗视觉语言模型（LVLMs）发展面临双重瓶颈：一方面，医疗数据的特殊性导致大规模高质量标注数据稀缺，公开可用的医学影像数据集规模通常仅为通用数据集的万分之一，难以支撑从零构建统一模型的需求；另一方面，理解与生成任务的内在矛盾难以调和——理解任务需要抽象语义概括，而生成任务要求细节精准保留，传统混合训练往往导致「顾此失彼」的性能衰减。

从技术演进来看，早期医疗 LVLMs 如 Med-Flamingo、LLaVA-Med 等主要聚焦于视觉理解任务，通过图像-文本对齐实现医学影像的语义解读，但缺乏「可视化」生成能力。而通用领域的统一 LVLMs 如 Unified-IO 2、Show-o 等，虽具备生成功能，却因医疗数据适配不足，在专业任务上表现欠佳。2024 年诺贝尔化学奖授予 AI 蛋白质结构预测领域的突破，从侧面印证了 AI 在生命科学领域的潜力，也让学术界意识到：构建兼具理解与生成能力的医疗 LVLMs，已成为突破当前医疗AI应用瓶颈的关键。

对此，浙江大学联合中国电子科技大学等团队提出 HealthGPT 模型，通过创新性的异构知识适配框架，成功构建了首个统一医疗多模态理解与生成的大规模视觉语言模型，为医疗 AI 的发展开辟了新路径，相关成果已入选 ICML 2025。

论文地址：

https://go.openbayes.com/xGgbp

目前，「HealthGPT：AI 医疗助手」教程已上线至 OpenBayes 公共教程中，点击下方链接即可一键部署。

* 教程地址：

https://go.openbayes.com/XTmfU

小贝总专属邀请链接（直接复制到浏览器打开）：

https://go.openbayes.com/9S6Dr

Demo 运行

01 Demo 运行阶段

1.登录 OpenBayes，在「公共教程」页面，选择键部署「HealthGPT：AI 医疗助手」教程。

2.页面跳转后，点击右上角「克隆」，将该教程克隆至自己的容器中。

3.选择「NVIDIA RTX A6000」以及「PyTorch」镜像，OpenBayes 平台提供了 4 种计费方式，大家可以按照需求选择「按量付费」或「包日/周/月」，点击「继续执行」。新用户使用下方邀请链接注册，可获得 4 小时 RTX 4090 + 5 小时 CPU 的免费时长！

小贝总专属邀请链接（直接复制到浏览器打开）：

https://go.openbayes.com/9S6Dr

4.等待分配资源，首次克隆需等待 2 分钟左右的时间。当状态变为「运行中」后，点击「API 地址」旁边的跳转箭头，即可跳转至 Demo 页面。由于模型较大，需等待约 3 分钟显示 WebUI 界面，否则将显示「Bad Gateway」。请注意，用户需在实名认证后才能使用 API 地址访问功能。

02 效果演示

上传一张图片，在「Question」处输入想问的问题，「Choose the model」选择模型，点击「Process」即可实时进行解答。

该项目提供两种模型：

* HealthGPT-M3：针对速度和减少内存使用进行了优化的较小版本。

* HealthGPT-L14：专为更高性能和更复杂的任务而设计的更大版本。

回复案例如下图所示：