随着Transformer成为语言处理的标准模型，并在计算机视觉领域取得进展，其参数量与训练数据规模也相应增长。这使许多人认为Transformer不适用于小规模数据场景，由此引发诸多担忧：某些科学领域的数据可获得性受限，以及资源有限的研究者被排除在该领域研究之外。本文通过引入紧凑型Transformer (Compact Transformers) 提出小规模学习方法。

大型自回归生成模型已成为在多项自然语言处理任务中实现最高性能的基石。然而，追求卓越结果的冲动有时会导致未经充分实验就过早取代精心设计的任务特定方法。共指消解任务也不例外；所有最新的最先进解决方案都采用大型生成式自回归模型，其性能优于基于编码器的判别系统。在这项工作中，我们通过引入Maverick对这一趋势提出挑战——这是一个精心设计却简洁的流程，能在学术预算限制下运行最先进的共指消解系统，仅用5亿参数就超越高达130亿参数的模型。

理解非结构化文本是自然语言处理的主要目标之一。阅读理解测试通过基于短文段提出问题来评估这种理解能力。本研究针对具有挑战性的MCTest基准测试开展机器阅读理解研究。由于该数据集规模有限，先前研究主要集中于设计更好的特征工程。我们采用神经网络方法处理该数据集，通过并行层级结构的简单神经网络实现。这种并行层级结构使模型能够从多种可训练视角比较文本段落、问题和答案，而非依赖人工设计的固定特征集。视角范围涵盖单词级别、句子片段到句子序列；网络仅作用于文本的词嵌入(word-embedding)表示。当采用专为有限训练数据设计的方法进行训练时，我们的并行层级模型(Parallel-Hierarchical)在MCTest上创造了新纪录：以微弱优势超越基于特征工程的方法，并显著领先先前神经网络方法（绝对优势超过15%）。

设计用于解决数学应用题 (MWP) 的自然语言处理 (NLP) 求解器问题一直保持着持续的研究活动，并在测试准确率上取得了稳步提升。由于现有求解器在针对包含单未知数算术应用题的小学水平 MWP 基准数据集上表现出色，这类问题常被视为"已解决"，研究重点随之转向更复杂的 MWP。本文聚焦于四年级及以下英语数学应用题，通过有力证据表明：现有 MWP 求解器依赖浅层启发式方法在基准数据集上获得高准确率。具体而言，我们发现即使不获取 MWP 题干信息的求解器仍能解决大部分题目；同样，将 MWP 视为词袋 (bag-of-words) 处理的模型也能达到惊人的高准确率。此外，我们通过从现有数据集采样并施加精心设计的变体，构建了挑战性数据集 SVAMP。当前最先进模型在该数据集上的最佳表现显著下降，这表明即便对于最简单的 MWP 仍存在巨大改进空间。