OpenAI 最新推出的大型视觉语言模型 (LVLM) GPT-4V(ision) 因其在医疗应用中的潜力而备受关注。尽管前景广阔，但近期研究和内部评估表明，该模型在专业医疗任务中表现欠佳。本文探讨了 GPT-4V 在医学领域的能力边界，特别是在处理内窥镜、CT 扫描和 MRI 等复杂影像数据时的表现。基于开源数据集，我们评估了其基础能力，发现了大量待改进领域。研究重点聚焦提示工程 (prompt engineering) 这一常被低估的 AI 响应优化策略。通过迭代测试，我们优化了模型的提示词，显著提升了其在医学影像解读中的准确性和相关性。经过系统评估，我们提炼出 10 项有效的提示工程技术，每项都能强化 GPT-4V 的医疗判断力。这些方法论的改进使 GPT-4V 能输出更可靠、精准且具临床价值的洞察，提升了其在关键医疗场景中的适用性。本研究成果为医疗领域 AI 应用者提供了关键指导，清晰阐述了如何充分释放 GPT-4V 的诊断潜力。

随着 OpenAI 的 GPT 系列等大语言模型 (LLM) 不断发展，我们见证了人工智能应用在日益广泛的领域中出现。在医学领域，这些大语言模型对改善医疗工作流程、诊断、患者护理和教育具有巨大潜力。然而，当前亟需可本地部署的开源模型来保护患者隐私。我们的工作提出了一个包含超过 16 万条目的创新数据集，专门用于微调大语言模型以实现有效的医疗应用。我们研究了这些数据集对公开可用的预训练大语言模型进行微调的影响，随后将纯预训练模型与微调模型在未来医生认证考试中的表现进行了对比分析。

在2024年8月29日的一条新闻中，人工智能研究公司OpenAI和Anthropic宣布了一项协议，他们同意将开发中的模型送交美国政府的AI安全研究所进行评估，以确保这些模型在公开使用前的安全性。这与英国AI安全研究所的做法类似，即允许开发者在模型发布前进行预测试。 根据协议，两家公司在模型公开发布前后，都会向AI安全研究所提供新模型，以便进行深入的安全研究、测试和评估。AI安全研究所主任Elizabeth Kelly表示，他们期待与OpenAI和Anthropic开展技术合作，共同推进人工智能安全的科学进...

OpenAI认为，广泛开发和使用人工智能可以提升人们的生活并开启更美好的未来。进步依赖于创新和市场竞争。在这些大原则的框架下，人们可以通过多种途径推进人工智能的潜力。OpenAI是首批面临如何分配超凡能力基础模型益处的AI开发者之一，我们首先提供这段历史背景来帮助NTIA的审议。2019年，我们创造了GPT-2，它具备生成连贯文本段落的新能力，我们面临的问题是如何部署它。一方面，模型似乎很有用；另一方面，我们不确定它是否可用于恶意目的，比如生成钓鱼邮件。我们选择了“分阶段发布”的策略。