[论文翻译]FinTextQA: 长文本金融问答数据集

FinTextQA: A Dataset for Long-form Financial Question Answering FinTextQA: 长文本金融问答数据集 Jian Chen1 2 Peilin Zhou2 Yining Hua3 Yingxin Loh1 Kehui Chen1 Ziyuan Li1 Bing Zhu1* Junwei Liang2∗ 1HSBC Lab 2Hong Kong University of Science and Technology (Guangzhou) ... 准确评估金融问答(QA)系统需要涵盖多样化问题类型和场景的综合性数据集。然而当前金融QA数据集存在范围单一和问题复杂度不足的缺陷。本文提出FinTextQA——一个面向金融领域长文本问答(LFQA)的新数据集，包含从金融教材和政府机构网站提取筛选的1,262个高质量、来源可溯的问答对。此外，我们开发了基于检索增强生成(RAG)的LFQA系统，由嵌入器、检索器、重排序器和生成器构成。通过人工排序、自动指标和GPT-4评分等多维度评估方法，测试了不同LFQA系统配置在强噪声环境下的性能表现。结果表明：(1) 在所有对比生成器中，Baichuan2-7B在准确度得分上与GPT-3.5-turbo表现相当；(2) 本数据集上最优系统配置为：嵌入器Ada2+检索器Automated Merged Retrieval+重排序器Bge-Reranker-Base+生成器Baichuan2-7B；(3) 当上下文长度达到特定阈值后，模型对噪声的敏感度显著降低。