近期，以 GPT-4V 为代表的多模态大语言模型 (Multimodal Large Language Model, MLLM) 成为新兴研究热点，其利用强大的大语言模型作为核心处理多模态任务。MLLM 展现的传统多模态方法罕见的涌现能力（例如基于图像创作故事、无需 OCR 的数学推理），暗示了通往通用人工智能的潜在路径。为此，学术界与产业界竞相开发媲美甚至超越 GPT-4V 的 MLLM，以惊人速度推进研究边界。本文系统梳理并总结了 MLLM 的最新进展：首先阐述其基本框架，解析架构、训练策略与数据、评估等核心概念；随后探讨如何扩展 MLLM 以支持更细粒度模态、更多语言和场景的研究主题；继而分析多模态幻觉问题及多模态上下文学习 (M-ICL)、多模态思维链 (M-CoT)、大语言模型辅助视觉推理 (LAVR) 等延伸技术；最后讨论现存挑战并指出未来研究方向。鉴于 MLLM 时代刚刚开启，我们将持续更新本综述，希望激发更多研究。相关 GitHub 链接持续收录最新论文：https://github.com/BradyFU/Awesome-Multimodal-Large-Language-Models。

虽然大语言模型(LLM)已成功应用于各种任务，但仍面临幻觉问题。通过整合领域专用工具(如数据库实用程序)可以增强大语言模型，使其更便捷精确地获取专业知识。本文提出GeneGPT——一种教导大语言模型使用美国国家生物技术信息中心(NCBI)网络API回答基因组学问题的新方法。具体而言，我们通过上下文学习提示Codex解决GeneTuring测试，并采用能检测和执行API调用的增强解码算法。实验结果表明，GeneGPT在GeneTuring基准测试的八个任务中平均得分0.83，显著超越检索增强型大语言模型如新版必应(0.44)、生物医学大语言模型如BioMedLM(0.08)和BioGPT(0.04)，以及GPT-3(0.16)和ChatGPT(0.12)。进一步分析表明：(1) API演示具有跨任务泛化能力，其上下文学习效果优于文档说明；(2) GeneGPT能泛化至更长的API调用链，并回答本工作新数据集GeneHop中的多跳问题；(3) 不同任务中富集的错误类型各异，为未来改进提供了宝贵洞见。

本研究对GPT-4V在医学图像分析中的多模态能力进行了评估，重点关注放射学报告生成、医学视觉问答和医学视觉定位三项代表性任务。针对每项任务，我们设计了一套提示词(prompt)来激发GPT-4V生成优质输出的能力。通过定量分析、人工评估和案例研究三种评估方式，实现了深入全面的性能评测。评估结果表明，GPT-4V在理解医学图像方面表现优异，能够生成高质量的放射学报告，并能有效回答关于医学图像的问题。同时发现其在医学视觉定位任务上的性能有待显著提升。此外，我们观察到定量分析与人工评估结果之间存在差异，这表明传统评估指标在评估GPT-4V等大语言模型性能时存在局限性，开发新的自动定量分析指标十分必要。

我们推出Radiology-GPT，这是一款专为放射学设计的大语言模型。通过在大量放射学领域知识数据集上采用指令微调方法，Radiology-GPT展现出相较于StableLM、Dolly和LLaMA等通用语言模型的卓越性能。该模型在放射学诊断、研究和交流方面表现出显著的多功能性。这项工作为临床自然语言处理的未来发展提供了催化剂。Radiology-GPT的成功实施表明，针对特定医学专科定制生成式大语言模型并确保符合HIPAA等隐私标准具有巨大潜力。开发满足不同医院特定需求的个性化大规模语言模型，展现出一个充满前景的方向。这些模型将对话能力与领域专业知识相融合，必将推动医疗AI的未来发展。Radiology-GPT演示版可在https://huggingface.co/spaces/allen-eric/radiology-gpt访问。

Anthropic公司最近宣布，其研发的最新模型Claude 3在一系列基准测试中表现卓越，成为迄今为止测试过的最智能的模型。研究人员回忆起一个令人不寒而栗的瞬间：在进行评估时，Claude 3意识到了自身的被测试状态。您可能还记得，Anthropic是由一群前OpenAI的高级团队成员在2021年创立的，他们因不同意OpenAI与微软密切合作的决定而分道扬镳。该公司的Claude和Claude 2人工智能模型已经...