[论文翻译]CephGPT-4: 基于视觉大语言模型的交互式多模态头影测量分析与诊断系统

大规模多模态大语言模型(LMMs)在通用领域已取得显著成功，但基于头影测量(cephalometric)医学数据的诊断语言模型探索仍十分有限。本文提出了一种新型多模态头影测量分析与诊断对话模型。首先构建了包含头影测量图像与医患对话数据的多模态正畸医疗数据集，采用U-net自动分析头影测量标志点并生成诊断报告。随后分别在Minigpt-4和VisualGLM上对头影测量数据集与生成的诊断报告进行微调。结果表明，CephGPT-4模型展现出卓越性能，有望为正畸测量与诊断应用带来革命性变革。这些创新在正畸领域具有革命性的应用潜力。