Google AI教你如何啃NLP中的硬骨头：开放域长形式问答系统-轻识

来源：外媒

编辑：PY

开放域长时间回答(LFQA)问题是自然语言处理(NLP)中的一个基本挑战，涉及与给定查询相关的检索文档，并且根据它们生成详细的有大段文字的答案。

近年来，在虚拟开放域问答系统(QA)方面取得了显著进展。

在这种技术中，一个的短语就足以回答一个问题，但是对于长形式的问题回答(LFQA)则表现不理想。

LFQA 是一个重要的任务，主要是因为它提供了一个测试生成文本模型的真实性的平台。

但是，现有的基准和评估指标并不完全适用于 LFQA 的进展。

在最近即将在 NAACL 2021上发表的一篇题为「长形式问答进步中的障碍」的论文中，Google.ai 提出了一个新的开放域长形式问答系统，该系统利用了 NLP 的两个最新进展:

一个是最先进的「稀疏注意模型」（sparse attention models），例如RT（Routing Transformer），允许基于注意力的模型扩展到长序列。

另一个是基于检索的模型，例如 REALM，可以方便检索与给定查询相关的维基百科文章。

该系统在生成答案之前，将来自多个检索到的维基百科文章中与给定问题相关的信息组合在一起。

ELI5是唯一可用于长形式问题回答的大规模公开数据集，该系统在 ELI5上实现了一个新的最先进的状态，。

然而，尽管该系统在公共排行榜上名列前茅，研究人员已经发现了一些关于ELI5数据集和相关的评估指标令人担忧的事情。

特别是，他们发现很少有证据表明，模型使用的检索条件和琐碎的基线(例如，输入复制)胜过现代系统。研究人员还观察到，数据集中存在明显的训练/验证重叠。

文本生成

NLP 模型的主要组成部分是 Transformer 体系结构。序列中的每一个令牌（token ）都会照顾到序列中的每一个其他令牌，从而形成一个可以根据序列长度进行二次伸缩的模型。

RT 模型引入了一种动态的、基于内容的机制，降低了 Transformer 模型中注意力的复杂性。

NLP 模型的主要组成部分是 Transformer 体系结构。序列中的每一个令牌都会照顾到序列中的每一个其他令牌，从而形成一个可以根据序列长度进行二次伸缩的模型。RT 模型引入了一种动态的、基于内容的机制，降低了 Transformer 模型中注意力的复杂性。

RT 工作的关键因素是，每一个能参与到其他每个令牌的令牌通常是多余的，可以通过本地和全局注意力的组合来近似。

RT 模型是基于 PG-19数据集的语言建模目标进行预训练的。

信息检索

研究人员将 RT 模型与来自 REALM 的检索结合起来，证明了 RT 模型的有效性。

REALM 模型是一种基于检索的模型，它利用最大限度的内部产品搜索来获取与特定查询或问题相关的维基百科文章。

研究人员通过使用「对比损失」提高了 REALM 检索的质量。

评估

该模型通过 ELI5数据集进行了测试，ELI5数据集是 KILT 基准的一部分，也是唯一公开的大规模 LFQA 数据集。接下来，他们对来自 KILT 的 ELI5数据集上的预训练 RT 模型和来自 c-REALM 的检索进行微调。

根据已经提交的结果，在 ELI5上的 KILT 排行榜上的长形式的问题回答结果第一位是 RT+c-REALM，得分为2.36。

尽管这种模式在排行榜上名列前茅，但仍然存在着一些挑战。

研究人员几乎没有观察到任何证据，表明这个模型的下一代是建立在已检索到的文档之上的。

他们还发现 ELI5的培训、验证和测试集有明显的重叠。

此外，用于评估文本生成质量的 Rouge-L 度量标准也存在一些问题，因为这些文本生成标准基线微不足道。

研究人员希望社区共同努力解决这些问题，以便研究人员能够在这一领域取得有意义的进展。

参考资料：

https://www.marktechpost.com/2021/03/27/google-ai-introduces-a-new-system-for-open-domain-long-form-question-answering-lfqa/

Google AI教你如何啃NLP中的硬骨头：开放域长形式问答系统