语法错误修正 (GEC) 的任务是纠正人类文本中的拼写和语法错误。GEC 方法和模型架构多种多样。近年来，大多数系统都采用了基于 Transformer 的架构 (Bryant et al., 2023)。当前趋势涉及为 GPT-4 (OpenAI, 2023) 等大语言模型编写提示，以生成语法修正 (Loem et al., 2023)、(Coyne et al., 2023)、(Wu et al., 2023)、(Fang et al., 2023)。

摘要—隐式情感分析(ISA)由于缺乏显著线索词而面临重大挑战。先前方法因数据不足和推理能力有限而难以推断潜在观点。将多任务学习(MTL)与大语言模型(LLM)相结合，有望使不同规模的模型可靠地感知和识别ISA中的真实观点。然而现有MTL方法受限于两类不确定性：数据级不确定性(源于LLM生成上下文信息时的幻觉问题)和任务级不确定性(源于模型处理上下文信息的能力差异)。为处理这些不确定性，我们提出MT-ISA——一种通过自动MTL利用LLM生成与推理能力来增强ISA的新型MTL框架。具体而言，MT-ISA利用生成式LLM构建辅助任务以补充情感要素，并采用自动MTL充分挖掘辅助数据。我们提出数据级与任务级自动权重学习(AWL)，动态识别关系并优先处理更可靠的数据和关键任务，使不同规模模型能基于其推理能力自适应学习细粒度权重。我们研究了三种数据级AWL策略，同时为任务级AWL引入同方差不确定性。大量实验表明，不同规模模型在MT-ISA中实现了主要预测与辅助任务的最佳平衡，验证了我们方法的有效性与适应性。

本文对当前最先进的多模态大语言模型GPT-4V(即GPT-4 with Vision)在视觉问答(VQA)任务中的能力进行了批判性评估。我们通过病理学和放射学领域的11种模态(如显微镜、皮肤镜、X光、CT等)和十五个关注对象(脑、肝、肺等)的数据集，全面测试了GPT-4V在图像配对问题回答中的表现。我们的数据集涵盖了十六种不同类型的医学问题。在评估过程中，我们为GPT-4V设计了文本提示，指导其协同处理视觉与文本信息。实验准确率评分表明，当前版本的GPT-4V在回答诊断性医学问题时存在可靠性不足和准确率欠佳的问题，因此不建议将其应用于实际诊断场景。此外，我们总结了GPT-4V在医学VQA中表现出的七个独特维度，揭示了其在这一复杂领域的局限性。完整评估案例详见Github。

基础大语言模型(LLM)已展现出解决包括健康领域在内的广泛任务的卓越能力。为有效解决个性化健康任务，大语言模型需具备处理与个体健康状况相关的多种数据模态的能力。本文通过开发HeLM框架(Health Large Language Model for Multimodal Understanding)，朝着创建基于个体特异性数据的健康多模态大语言模型迈出重要一步。该框架使大语言模型能够利用高维临床模态数据评估潜在疾病风险：HeLM通过训练编码器将复杂数据模态映射至大语言模型的token嵌入空间，对表格数据等简单模态则采用文本序列化处理。基于英国生物银行(UK Biobank)数据，我们证明HeLM能有效结合人口统计学特征、临床特征和高维时间序列数据进行疾病风险评估。例如在哮喘预测中，结合表格数据和呼吸曲线数据的HeLM模型AUROC达到0.75，而仅使用表格数据时为0.49。总体而言，HeLM在八项二元性状预测任务中均优于或持平传统机器学习方法。此外，我们探究了该模型的下游应用潜力，包括其对分布外性状的泛化能力，以及支持个性化健康对话的能力。