[论文翻译]CoCa: 对比式字幕生成器作为图文基础模型

探索大规模预训练基础模型在计算机视觉领域具有重要意义，因为这些模型能够快速迁移至多种下游任务。本文提出对比式描述生成器(CoCa)，采用极简设计联合预训练图像-文本编码器-解码器基础模型，通过对比损失和描述生成损失同时涵盖CLIP等对比方法与SimVLM等生成方法的模型能力。与所有解码器层均关注编码器输出的标准编码器-解码器Transformer不同，CoCa在前半部分解码器层省略交叉注意力以编码单模态文本表示，后半部分级联的解码器层则通过交叉注意力处理图像编码器的多模态图像-文本表示。