[论文翻译]Transformers是短文本分类器
摘要:短文本分类是自然语言处理(Natural Language Processing)中关键且具有挑战性的任务。为此,业界已开发出众多高度专业化的短文本分类器,采用了包括卷积网络和循环网络在内的多种方法。近年来还涌现出许多基于图神经网络(graph neural networks)的短文本分类器。然而在当前短文本研究中,传统文本分类的最先进(State of the Art)方法——尤其是单纯使用Transformer的方案——尚未得到充分探索。本研究评估了多种短文本分类器及表现最佳的传统文本分类器在基准数据集上的性能,并进一步在两个新的现实世界短文本数据集上验证效果,以解决过度依赖特征有限的基准数据集的问题。这些数据集源自税务审计中商品服务分类的实际用例:NICE分类系统将商品服务划分为45个类别,其基础是世界知识产权组织的《尼斯分类》;而商品服务短文本(STOPS)数据集则基于Amazon产品描述和Yelp商家条目。实验明确表明,Transformer在短文本分类任务上达到了最先进精度,这引发了"是否需要专用短文本技术"的思考。其中NICE数据集展现出特别的挑战性,为未来研究提供了优质基准。