【成果推介】一种基于跨图协同建模的机器阅读理解方法

【应用行业】教育

【技术领域】计算机技术

【知识产权】发明专利

【成果完成单位】华中师范大学

【成果完成人姓名】周光有、赵卓、谢志文

【完成人团队简介】团队主要研究自然语言处理、知识图谱、信息检索、智能教育等。

【成果完成时间】2024-01-11

【专利号】CN2024100500913

【授权日期】2024-07-05

【技术成熟度】研发阶段

【应用背景】目前基于逻辑推理的MRC模型大致可以分为两类。第一类涉及基于文本构建图结构，并使用GNN和Graph Transformer等方法对逻辑推理过程进行建模。另一种是根据文本语料中的逻辑关系设计相应的预训练任务。在第一类方法中，DAGN模型是最先出现的。该模型从文本中提取独立的语义单元作为图节点，然后使用消息传递来更新图中的每个节点。与DAGN类似，Focal Reasoner利用共指关系将文本划分为多个节点单元，构建图结构并使用GNN进行逻辑推理。然而，这两种模型都缺乏对文本中逻辑信息的建模。

基于此，自适应逻辑图网络AdaLoGN被提出。该模型通过集成六种预定义的逻辑关系构建有向文本逻辑图，并使用符号推理规则动态更新图节点。但AdaLoGN构建的逻辑图可能会受到节点之间的长程依赖的影响。相比之下，Logiformer基于文本构建逻辑图和语法图，并使用图转换器从两个角度对节点之间的依赖关系进行建模。TaCo的提出是为了增强模型推理类型的感知，基于模拟不同推理类型与上下文和问答对之间的交互的对比学习。MERIt属于第二类预训练方法。它利用元路径策略从未标记的文本数据中提取逻辑信息，然后使用对比学习进行自监督预训练。此外，同样属于第二类的LReasoner提出了一种逻辑驱动的上下文扩展框架，将逻辑识别、逻辑扩展和逻辑文本化三个步骤集成在一起。然而，它严重依赖于标记之间的交互，这不足以推断上下文中存在的复杂逻辑关系。

【成果简介】本成果发明了一种基于跨图协同建模的机器阅读理解方法，属于自然语言处理领域，包括以下步骤：对给定的上下文、问题和答案进行编码，获得新序列，将所述新序列输入到预训练语言模型中，获得输出向量；通过逻辑连接词和标点符号将所述输出向量进行划分，获得基本话语单元，基于所述基本话语单元构建逻辑图和语义图；对逻辑图和语义图进行自适应连接节点嵌入，获得逻辑图和语义图的最终表示，对所述逻辑图和语义图进行跨图知识传播分析，获得跨图知识传播分析结果，基于逻辑图和语义图的最终表示和跨图知识传播分析结果进行预测计算，获得每个答案的预测分数。本成果通过从语义或逻辑角度分析，能够从给定的上下文和多个候选答案中输出正确答案。

【成果图片】

【联系方式】段治国、安红高、刘树楠、吴涛，02767868068，02767868067，02767862769