近期人工智能 (AI) 的发展可能有助于解决多病建模中一些难以克服的方法学局限性。除了诊断数量庞大之外，这些挑战还包括对既往事件间时间依赖性的建模、整合预后相关的多样化数据以及预测的统计校准。大语言模型 (LLM) ——作为AI的一个分支领域，支撑了诸如ChatGPT等聊天机器人——将语言建模为词片段 (token) 的序列。新文本基于所有前文内容逐token生成。

Health-LLM: Personalized Retrieval-Augmented Disease Prediction System Health-LLM: 个性化检索增强疾病预测系统 Qinkai $\mathbf{Y}\mathbf{u}^{2*}$ , Mingyu $\mathbf{J}\mathbf{in}^{1}$ , Dong $\mathbf{Shu^{3*}}$ , Chong Zhang2*, Lizhou $\mathbf{Fan}^{4}$ , Wenyue ...

背景：基于电子健康记录(EHR)的深度学习(DL)预测模型在许多临床任务中表现良好。然而，通常需要大量训练队列才能实现高精度，这阻碍了基于DL的模型在训练数据规模有限场景中的应用。近年来，来自Transformer的双向编码器表示(BERT)及相关模型在自然语言处理(NLP)领域取得了巨大成功。BERT在超大规模训练语料上的预训练能生成情境化嵌入，通过微调可应用于较小数据集，从而显著提升这些数据集的性能。由于EHR数据与文本数据具有相似性(两者都是基于大词汇表的序列数据)，我们探索这种"预训练-微调"范式是否能提升基于EHR的预测建模性能...