【论文笔记】 | Learning to Retrieve Reasoning Paths over Wikipedia Graph for Question Answering-白红宇

【论文笔记】 | Learning to Retrieve Reasoning Paths over Wikipedia Graph for Question Answering

阅读量：4290 次

发布时间：2019-05-27

本文共 2324 字，大约阅读时间需要 7 分钟。

在这里插入图片描述

作者：迪

单位：燕山大学

论文来源：ICLR2020

前言

开放领域问答指的是从庞大的数据中找到问题的答案。过去的方法大都是先从这海量的数据中抽取出相关的少量文档，然后将之当做一个给定文本的问答类型。尽管这种方法对单跳问答（sigle-hop QA）效果很好，但是在多跳问答（multi-hop QA）中却往往不那么奏效。单跳问答，就是问题的答案就在单个文档中，而多跳问答需要结合很多篇文档的“知识推理”才能得到最终的答案。如下图所示：

概述

回答多跳推理的问题，需要检索多个相关文档，其中一个或几个文档通常与问题几乎没有词汇或语义关系。本文介绍了一种新的基于图的递归检索方法，该方法学习如何在Wikipedia图上检索推理路径，以进行多跳问答。该模型由检索器和阅读器组成。检索器模型训练一个递归神经网络，该神经网络学习在推理路径中顺序检索相关段落。阅读器模型对推理路径进行排序，并提取最佳推理路径中包含的答案范围。实验结果显示了该模型三个开放域QA数据集均达到了SOTA，展示了该方法的有效性和鲁棒性。

该方法使用Wikipedia超链接和文档结构构造Wikipedia段落图，以对段落之间的关系进行建模。检索器通过最大化在每个步骤中选择正确的相关段落的可能性并微调段落编码，训练循环神经网络在该图中为推理路径评分。阅读器模型根据其包含和提取正确答案短语的可能性为每个推理路径评分。

主要贡献

作者介绍了一种新的基于图的循环检索方法，该方法学习检索相关文档作为回答复杂问题的推理路径。

在三个开放领域的问答数据集中，作者都达到了SOTA的效果，在HotpotQA中，相比于之前最佳的模型高出14个百分点以上。

模型

首先，检索器根据维基百科的段落得到若干推理路径，然后一个阅读理解模型基于这些路径找到最可能的一条路径作为最终的答案。本文用维基百科文章里的每个段落 $p$ 作为基本单元，给定问题 $q$ ，模型首先找到一条路径 $E=[p_1,p_2…,p_k]$ ，用 $S_{retr}(q,E)$ 表示，然后在 $E$ 中找到答案 $a$ ，用 $S_{retr}(q,E,a)$ 表示。因此该任务可表示为：

在这里插入图片描述

检索推理路径

构建文档图

本方法学习在图结构中检索推理路径。为了执行推理，首先为多个文档构建段落图，图中的每个节点都代表一个段落。文档内部的超链接通常用于构建网络上文章之间的关系，使用这些超链接构造图的边。

基于图的检索器

使用 $R N N$ 为问题 $q$ 建立推理路径，在第 $t$ 步，模型从候选段落集 $C_t$ 中选择 $p_i$ ，然后再将 $p_i$ 有联系的段落作为下一步的候选集 $C_{t+1}$ ，重复此过程，直至生成特殊符号 $[E O E]$ 。具体步骤如下：

在这里插入图片描述

其中 $b\in R^1$ 是偏置项。

对候选段落进行Beam Search

如果候选集很大，计算上式的开销就很大，为了使模型更高效的训练，我们对候选段落进行波束搜索。具体来说，第一个候选段落集 $C_1$ 被初始化为使用 $T F - I D F$ 和问题 $q$ 最相近的 $F$ 个段落。推理路径 $E=[p_1,…,p_k]$ 可定义为 $p(p_i|h_1),…,p(p_k|h_{|E|})$ 的乘积，这样就可得到 $B$ 个得分最高的路径集合 $E={E_1,…,E_B}$ 。

根据推理路径回答问题

阅读器首先对所有路径进行重排序，从最有可能的路径中抽取答案。具体来说，对每条路径，先使用 $B E R T$ 得到其特征表示，再使用 $M L P$ 得到每条路径可能作为答案的概率，最终选取概率最高的路径 $E_{best}$ ，再计算找到问答文段起始位置概率和结束位置概率乘积的最大值，最终确定答案。