RANGER:具有自适应检索重排的稀疏门控混合专家机制用于病理报告生成 Abstra。.
完整版
病理学报告生成仍然是一项相对未被充分探索的下游任务,主要原因是全玻片扫描图像(WSIs)的十亿像素级规模和复杂的形态学异质性。现有的病理学报告生成框架通常采用Transformer架构,依靠均一的解码器架构和静态知识检索集成。这样的架构限制了生成特化,可能在报告生成过程中引入噪声外部指导。为了解决这些限制,我们提出了RANGER,一个具有自适应检索重排序的稀疏门控混合专家(MoE)框架用于病理学报告生成。具体地,我们将稀疏门控MoE集成到解码器中,配合噪声top-k路由和负载平衡正则化,以实现跨各种诊断模式的动态专家特化。此外,我们引入了一个自适应检索重排序模块,在集成前选择性地细化从知识库检索的记忆,降低噪声并根据视觉特征表示改进语义对齐。我们在PathText-BRCA数据集上进行了广泛的实验,并在标准自然语言生成指标上相对于现有方法展示了持续的改进。我们的完整RANGER模型在PathText数据集上取得最优性能,BLEU-1至BLEU-4得分分别为0.4598、0.3044、0.2036和0.1435,METEOR为0.1883,ROUGE-L为0.3038,这验证了动态专家路由和自适应知识细化对语义基础的病理学报告生成的有效性。
赞
评论
请
登录后发表观点
