EMNLP 2017 Long Papers

一种基于深度神经网络的生物医学文献洞察提取系统

An Insight Extraction System on BioMedical Literature with Deep Neural Networks

马里兰大学

University of Maryland

【摘要】挖掘生物医学文本为自动发现重要事实和推断它们之间的关联为提供了一个机会。伴随着新的科学发现出现在大量的生物医学出版物上，我们的目的是挖掘这些文献，并自动地进行生物医学知识的提取和识别这些文献中的重要内涵见识。为了实现这个目标，我们用新型深神经网络开发了一个系统来提取生物医学文献的深层含义。评估表明我们的系统是可以提供人类高度认可的高准确性的内涵见识以及优于之前的提取工作的关系提取组件。

1 简介

生物医学文献提供了丰富的知识资源来发现重要事实和这些事实之间的关联。例如：MEDLINE(<美>联机医学文献分析和检索系统)包含超过1800万个自1946年以来出版的杂志和来自全球的5500种期刊(Simpson and Demner Fushman, 2012)的参考文献。在生物医学文本上进行的两个主要的处理任务是：（1）将生物医学实体识别和分类为预定义的类别（NER），如蛋白质，基因或疾病；（2）在命名实体中推断组合关系，例如，蛋白质-蛋白质相互作用(Poon et al., 2014)，基因-蛋白和医学问题-处理。

本文介绍了一个系统，它可以将生物医学文本处理为生物医学实体之间的两种特定的关系类型：（a）因果效应和（b）相关性。

该系统的动机在于更好地实现生物医学知识提取的自动化并且识别他们的重要信息，如出现在大量的出版物中的新科学发现。例如，给定用户的睡眠模式，现有的生物医学研究可以更好用于提供见解：由于原因cause（例如，“睡眠障碍”），告知潜在的影响因素effect（例如，“糖尿病”，“肥胖”），并且给出恰当的治疗建议。

由于生物医学文章通常有标题和摘要总结全文内容，因此我们主要从标题和摘要着重提取两个关系类型。不幸的是，挖掘这个总结性数据仍然带来几个关键挑战。与全文相似，此数据包括具有特定领域词汇的非结构化文本、同义词问题（例如，“心脏病发作”与“心肌梗死”）、首字母缩略词、缩略语和由于新的科学发现而发展出的术语。虽然标题很短，内容丰富，但是它们不包含摘要中的关键信息。

这类挑战大部分也适用于生物医学关系提取。进一步说，识别特定关系类型是具有挑战性的，因为关系是由不连续的文字跨度表示的，并且关系类型通常是专用的。最后，在如何更好地标注关系类型上常常缺少共识，因此导致缺少用于训练的高质量的语料库。

在这项研究中，我们开发了具有创新相似度建模的神经网络，以更好地提取因果关系和相关性关系，我们把提取任务映射成具有代表性的相似性矢量空间中的测量任务。我们的创新方法是，明确在命名实体、实体关系和上下文表示之间测量关系和上下文相似性。我们的系统还提供了一种新的识别命名实体的组合，在提取的实体之间进行关系预测（见解），并对输出进行排序。我们对系统进行人工评估，以显示它能够以较高的人类接受度的准确性来提取内涵见识，并在一个SemEval任务评估中，它的因果关系和相关关系的提取比以前最先进的工作更有利。

1. 我们建立了一个端到端的系统，从生物医学文献中提取内涵见解。

2. 我们在用深度神经网络的相似性度量建模中进行创新，以获得更好的因果关系提取。

3. 我们的人类评估显示我们的系统可以实现有竞争性的可接受的准确性。

2 相关工作

在BioNLP以前的大部分工作都集中在提取生物医学概念上(Craven, 1999; Finkel et al., 2005; Poon and Vanderwende, 2010; Simpson and Demner-Fushman, 2012; Liu, 2016)，如药物或蛋白质名称。我们还对一般命名实体进行关系提取，如“吸烟”或“睡眠质量”。Kabiljo等人（2009）比较了模式匹配技术与基因/蛋白质实体提取的基线正则表达方法。但现有的关系提取工具并不像实体识别工具那么全面。

以前的工作大量使用医疗字典和资源。例如，Chen等人(2008)利用MedLEE (Friedman et al.，2004)系统EHR电子病历记录的临床信息，提取了疾病药物关系对。Liu等人(2015)开发了一个文本挖掘系统，以搜索人类疾病、基因、药物、代谢物和毒素之间的关联，以对抗大量的文本丰富的生物数据库。先前研究也提出了语义表示程序(Rindflesh and Fiszman, 2003)，它利用生物医学领域的知识和生物医学文本的语言分析。其他非传统资源，如Web网页查询日志(Paparrizos et al.,2016)也被用于提供关于破坏性疾病存在的早期预警。

特征工程是机器学习技术在大多数生物医学关系提取工作中的主要方法(Dogan et al., 2011; Yala et al., 2016)，探索了不同的稀疏特征。例如，单词n-gram，源自医学词典和词位置特征的基于知识的特征。我们的工作是提出神经网络模型，它不需要像大多数以前的工作一样的稀疏特性。

最近从特征工程到用神经网络建模工程的转变大大提高了许多NLP任务的准确性。Jagannatha and Yu (2016)采用了LSTM模型方法对给定患者HER记录进行医疗实体检测。最近有一些关于在医疗保健研究中使用深层强化学习的研究（Li，2017）。我们的方法受最近的嵌入式学习工作的启发，把代表文本和知识库(Toutanova et al., 2015, 2016)放到一起，之前的工作致力于嵌入式转移学习(Bordes et al., 2013)和噪声对比估计(Rao et al., 2016)。最后我们的工作将洞察提取建模为一个相似性度量问题(He et al., 2016; He and Lin, 2016)，并与深度神经网络的配对词交互建模。

3 系统概述

我们提供了一个构建生物医学洞察提取系统的方法，并将其作为本文的剩余部分（算法1）的指引。

为了使我们的讨论具体化，我们将在示例1中使用生物医学样品。鉴于文章内容，在算法1的第4行，我们首先使用浅层解析器和公共医疗字典查找所有命名实体（详见第4节）。例如“临床研究”，“中年男性的睡眠障碍”和“糖尿病”等，可以找到许多有名的实体。接下来给定一个句子中任何一对以前提取的实体，在第6行，我们基于神经网络关系提取器检查是否存在有效的因果关系/相关关系（第5节）。例如，我们的模型可以确定实体“中年男性睡眠障碍”与“糖尿病”有相关关系，但与“临床研究”没有关系。之后每个有效的实体对通过第7行（第6节）的排名组件进行评分。在最后一步，该系统向用户返回排名最高的见解度（S）：给出这个例子“睡眠紊乱的中年男人→糖尿病”。

示例1：示例文本

图1显示了由三个主要的基于神经网络的组件组成的系统：（1）命名实体提取器named entity extractor；（2）因果关系/相关关系提取器causality/correlation relation extractor；（3）见解度排名insight ranker。我们的系统读取生物医学文本，最后提供见解。我们主要在关系抽取组件中进行创新。接下来，我们将详细描述每个组件。

图1：系统的三大组成部分

4 命名实体提取

命名实体提取在生物医学领域由于特定领域和快速发展的术语是变得很具有挑战性。例如，“糖尿病1型（Diabetes mellitus type 1）”，1型糖尿病（Type 1 diabetes），IDDM或青少年糖尿病（juvenile diabetes）都表达相同的概念。由于新药疾病或缩写的实体命名经常演变，这个任务变得更加复杂。

大多数现有的现成的生物医学实体识别器狭义地关注具体的生物医学术语。相反，我们的目标是通过提取特定的生物医学概念（如“基因tmem230”或“前列腺癌”）以及一般名词短语（如“睡眠质量”，“日常锻炼”或“糖尿病男性”）来改善系统召回率。因此，系统的范围更广。

我们通过使用关键字匹配的领域医学知识库和用于实体边界检测的基于独立领域的神经网络浅解析器来设计实体提取器。我们提出以下过程：

1. 我们首先使用一个大型的公共字典，统一医学语言系统（UMLS）Metathesaurus（Bodenreider，2004）来获得领域内的生物医学术语。UMLS Metathesaurus是一套提供大量生物医学词汇的词典。我们从UMLS中提取超过330万个生物医学术语，然后利用Aho Corasick模式匹配算法创建一个字典查找工具。我们的工具可以有效地定位给定输入文本的所有UMLS术语，因为它的树状数据结构，所以具有线性复杂度。

2. 我们还使用基于神经网络的浅层语法分析器(Collobert et al., 2011)来识别一般名词短语的边界，这些边界不限于生物医学术语。浅析器的使用是为了提高命名实体识别的系统召回率。

3. 我们的命名实体提取组件旨在查找输入文本的所有实体。结果列表是步骤2和步骤3的输出级联，并且随后被提供给因果关系/相关关系提取组件用于进一步处理。如果存在实体重叠，则仅提取具有最长匹配序列的词组。

我们的洞察提取系统采用了一种精细的设计方法。首先，我们着重于提高实体提取任务的召回率。然后，我们展示了因果关系提取组件（第5节）如何处理提取的命名实体以实现高精度。

5 相似关系抽取测量

我们首先提供我们的模型设计直觉：如果两个命名实体之间存在因果关系，那么两个实体的表示应该在语义上相似，并且接近低维向量空间中关系的表示。因此，我们将因果关系/相关关系提取映射到向量空间中的相似性度量任务。

我们的新方法学习命名实体

、上下文单词和关系向量

的表示，然后明确地度量了相似度的两个方面：1）实体与关系之间的关系相似（第5.2节）；加上，2）实体和句子上下文之间的上下文相似性（第5.3节）。

我们方法的目的是强化这样的向量空间结构：由于实体之间的相似性，关系和上下文变得更强，为了更好的因果/相关关系提取，应该观察到所有情况。我们开发两个具有这种属性的神经网络模型，两者都用在系统的关系抽取组件中。

我们定义输入句子表示

为一个

个单词的序列，每个单词都有一个d维的单词嵌入向量。

表示在S中的第t个字的嵌入向量（

）。模型细节在下面的章节中描述。

在类似的情况下出现的不同单词应该有较高的机会来进行相似度测量和关系提取。我们使用双向LSTM（BiLSTM）进行上下文建模，作为所有后续模型的基础。

LSTM (Hochreiter and Schmidhuber, 1997)是反复神经网络的特殊变体(Williams and Zipser, 1989)。 对每个t，给定输入字xt和先前的LSTM隐藏状态

输出当前隐藏状态

。BiLSTM由两个相反方向并行运行的LSTM组成。BiLSTM隐藏状态

是一个前向LSTM的连接

和后向的LSTM的

的串联，表示输入单词

在句子中的上下文。我们定义concat连接操作和输出句子上下文表示

如下：

（1）

（2）

（3）

使用BiLSTM进行上下文建模可以使我们后续的模型组件可以建立在上下文之上而不是单个单词之上。给定句子的命名实体位置，我们从上下文（

）得到（

）和（

）。

在向量空间中，关系相似性建模侧重于命名实体与关系之间的交互。当命名实体（

）经历一个由关系

所引发的变换过程时，我们的关系相似性建模的目的是迫使变换后的实体在相同的向量空间中被翻译为另一个命名实体（

），以使得关系在两个命名实体之间持有。

我们在下面展示了我们的关系相似性建模的目标函数：

（4）

为了建立公式4中的转换过程模型，我们需要知道如何度量三元组

的相似性。

因此，我们开发了一个带有可学习权重（W∗）的相似性度量函数SimiScore

，相似度函数取一个名为

的实体对和一个关系

，返回一个类似性得分

代表语义上接近多少，如函数1。

我们在训练期间使用排名方法将方程4的约束纳入关系相似度模型。我们的目标是学习一个函数SimiScore（·），使得正三元组

被赋予比负三元组

更大的分数：

（5）

其中，

表示正因果关系/相关关系，

表示非关联性/非相关关系。排名方法使实体对

和正关系

相似性得分最大化，同时使负

最小化得分，从而确保正连接大于负连接如图2所示。

图2：我们的因果关系/相关关系提取组件模型的关系相似性（蓝色）和上下文相似性（红色）。 较粗的箭头表示命名的更强的相似性实体

和关系

/sentence context句子语境。

我们的关系相似度模型和排名训练方法有助于矢量空间中

和

的变换过程，最终导致客观方程4的约束满意度更好。关系相似性模型作为系统的一部分放在BiLSTM（第5.1节）的顶部。我们从BiLSTM模型初始化命名实体

为

，然后将关系表示

初始化为随机向量。在训练期间，

被更新。

由于并非给定标题/摘要的所有单词都是相同的，所以围绕命名实体，对因果关系/关联关系提取有贡献的重要上下文单词应该得到更多的关注。我们开发了一种上下文相似模型，可以将模型权重增加到重要的上下文单词中，从而更好地利用上下文信息。

例如，给定一个句子，肺癌最有可能是由吸烟引起的，所引起的语境词是重要的线索，表明两个命名实体之间存在因果关系/相关关系。需要模型注意的线索词通常包括例如导致，关联，因为，而其他则不明显词，如促进，反映，减少，使。我们的系统不需要手工准备的线索词列表，但是通过在上下文词表示

（不包括实体词）和提取的名词之间进行相似度测量来利用注意力机制(Bahdanau et al., 2014)更好地识别实体

（来自第4节）。得到的词的相似度得分在

中累加。

（6）

（7）

（8）

在连接两个实体表示

的情况下，应用具有权重Wa的线性变换来获得两个实体的表示混合。然后，我们使用点积dotP测量混合与每个上下文词的相似度，最后用softmax归一化注意力集中度atten[:]。atten的权重表示关于两个命名实体的每个上下文词的重要性。

注意力权值应该更好地将模型的重点引导到句子的重要语境词上。也就是说，更接近于实体表征组合的上下文词汇应该有更好的机会成为线索词汇。我们定义注意力重加权的句子表征为：

：

（9）

其中⊙代表元素乘法。

图2举例说明了一个例子，其中已命名实体的表示组合涉及上下文单词。重要的上下文线索词“由...引起”应该比不相关的邻居单词受到更高的注意力权重。

重加权句子表示attenSen与实体表示

一起用于最终预测。

总之，本节介绍的两种模型都着重于相似性的不同方面的关系抽取中的度量：上下文相似度模型利用了命名实体周围的上下文信息，而关系相似度模型着重于实现向量空间中实体与关系之间的转换约束。我们采用这两种模型进行更好的关系抽取，最终只有一对模型中的都被肯定的命名实体才能传递到系统的下一个阶段。

图3：UHRS平台上的人类注释界面。 注释者需要从我们的评估系统的输出中识别和验证提取的实体和相关/因果关系。

6 提取的洞察排名

我们系统的最后一个主要组成部分是从关系抽取组件的输出中抽取关系

，因为可能有许多提取的关系，但不是所有的作为文章的洞察都足够重要。提取的关系的重要性得分遵循以下一套规则：

1．利用关系相似度模型的输出分类概率

作为基准排序得分。

2．我们使用多视角卷积神经网络模型（MPCNN）(He et al., 2015)测量文章标题与提取关系之间的相似度

，MPCNN模式在文本相似性的多个基准上测量具有竞争优势。我们用提取关系“

导致

” 与标题文字相比，如果相似度分值超过0.75的阈值，则提取关系的排名得分增加15％。如果提取的关系来自标题文本，由于其位置重要性，我们也将其排名得分提高了15％。

一旦提取所有的关系得分，我们的系统只返回给用户排名靠前的洞察。

7 实验设置

数据集。在两个数据集上进行实验：我们自己的关于通用人类相关系统（Universal Human Relevance System，UHRS）注释的医疗/健康出版物数据集，这是一个面向端到端系统评估的众包平台；和SemEval-2010任务8用于培训和评估关系抽取组件的数据集：

第一个数据集包括来自最近的生物医学/健康期刊的100个出版物，然后在UHRS上对其进行注释以评估我们的系统。为了确保高质量的人工注释，图3提供了UHRS上的注释界面，其中显示的出版物说明，出版物的标题/摘要文本以及来自系统输出的排名最高的提取洞察列表。为了公平评估，提取的洞察顺序是随机的，然后我们要求专业的有合格背景的注释人员来验证每个的正确性。

SemEval-2010任务8 (Hendrickx et al.,2009)定义了9个命名实体之间的关系类型：原因 - 效果Cause-Effect，工具 - 代理Instrument-Agency，产品 - 生产者Product-Producer，内容-容器Content-Container，实体-原始Entity-Origin，实体 - 目的Entity-Destination，组件 - 整体Component-Whole，成员 - 集合Member-Collection和消息-主题Message-Topic，以及当两个命名实体没有前9个关系时，第十个关系类型其他Other。SemEval-2010数据集包括10,717个句子，训练8,000，测试2,717。数据集是人工注释的，每个实例提供一个包含两个命名实体的句子和两个实体之间的关系类型。

由于我们的系统专注于提取洞察力，因此我们只使用SemEval-2010数据集的Cause-Effect子集作为正面训练/测试示例，并将剩余的9个类别数据（如Content-Container，Message-Topic）视为负数。我们使用这个数据集来训练和评估我们的关系抽取组件（第5节）。

训练。采用两种损失函数对关系提取神经网络模型进行训练。对于上下文相似性模型（5.3节），使用hinge loss。训练目标是最大限度地减少以下损失，通过实例总结

（10）

其中，输入x表示一个实体对

加上它的句子语境，

是水平真值标签值和

是预测模型结果。

和

都表示具有方向性的关系类型（例如方向因果性）。w表示上下文相似度模型的权重，用函数

输出模型预测标签值，函数

输出模型真实标签值，n是训练样本数。

对于关系相似性模型（第5.2节），使用贝叶斯个性化排名（Bayesian Personalized Ranking，BPR）损失(Rendle et al., 2009)。关系相似度模型的标签是二元的，因为BPR损失将负输入之上的正输入排序，因此要求监督信号区分正数和负数。由于BPR损失的排名本质，关系相似性模型的每个训练实例包括一个正输入

和一个负输入

。给定正相关/因果关系输入

，我们通过将输入x与负关系标签

中的每一个进行匹配来生成负训练样本。BPR损失显示更好地根据经验排序任务(Verga et al., 2016):

（11）

其中，σ是sigmoid函数，函数

表示使用BiLSTM的关系相似度模型，并输出一个用于排序的相似性分数（5.2节）。

在所有的实验中，我们使用RMSProp (Tieleman and Hinton, 2012)与反向传播（bottou，1998）进行优化，学习率固定为10−4，动量参数0.9。

设置和预处理。我们使用Stanford CoreNLP工具包预处理这两个数据集(Manning et al., 2014)。我们标记，小写，句子拆分和依赖分析两个数据集的所有单词。我们设置LSTM隐藏状态dim = 500。

使用两组d = 300维的字嵌入。第一个是300维GloVe字嵌入(Pennington et al., 2014) 在8400亿个标记项上训练；为了获得更好的生物医学/健康领域适应性，我们还使用GloVe工具包对超过10亿个标记项的生物医学研究文章进行了第二个单词嵌入训练。我们不更新所有实验中的文字嵌入。

在系统部署期间，如果GloVe嵌入的词汇表中不存在，我们只初始化带有医疗词嵌入的输入词。我们还将依赖树上的输入词和它们的词头的嵌入连接起来，作为关系提取模型的输入。我们按照任务设置，只在SemEval-2010数据的Cause-Effect子集上使用正式评估脚本计算F1-score，然后选择基于F1的最佳模型进行最终系统部署。,我们设置距离限制为15，如果距离大于15，不提取两个命名实体之间的关系。

8 评估与结果

整个系统的人类评估。我们首先在人工标注的UHRS上提供一个完整的对系统的端到端评估。

对于每个生物医学出版物，列出来自系统的前10名候选人见解以供进一步检查。标注者要求理解文本，仔细检查每一个洞察，最后要么接受它（如果这是文章的见解之一），或者拒绝它。标注任务需要了解生物医学/健康出版物并且有很强的能力，因此系统评估由五位专家标注者完成，他们都拥有研究生学位和/或具有生物医学背景。

图4：完整系统和UHRS基线系统的人力评估结果。我们展示了在两个系统的输出列表中，每个前十个位置的接受精度。我们主要专注于前1和3位，即Precision @ 1和Precision @ 3。

表1：完整系统的消融研究。

我们还提供了一个基准系统，其关系提取组件是双向门控RNN模型（BiGRU）(Cho et al., 2014)。BiGRU模型和排名组件是我们的完整系统和基准系统之间的主要区别。由于在一篇文章中通常只给出了有限数量的关键发现，所以我们在输出排名列表的前1位（Precision @ 1）和前3位（Precision @ 3）位置评估系统的平均接受精度，它代表了在前1和3输出中被注释者所接受的提取的见解的平均数。

图4显示了给定生物医学标题和文章的10个输出位置中的每个输出位置的注释结果。整个系统的精度@ 3是50.6％，明显好于基准系统的21.3％。对于排名前三位的提取洞察，我们的整个系统平均有1.5个被标注者接收的洞察。此外，我们系统的精度@ 1的接收精度是63%，而基准系统为21％。

表1显示了删除排序组件(Sec . 6)的消融研究，以及替代BiGRU模型的因果关系和相关关系提取。我们观察到了显著的性能差异。

表2:在semeval-2010数据集的因果子集(*)上测试结果(F1分数)。结果分为：1）semeval – 2010竞赛排名前3个的参与团队；2)基线BiGRU模型；3)最近最先进的treeLSTM模型(Miwa和Bansal，2016)；4)我们的成果。

关系抽取组件的评价。我们还评估了在SemEval-2010数据集上的原因-效果子集的关系抽取组件（第5节）。请注意，我们的因果关系提取组件并不是一个通用组件，因为我们的系统只关注生物医学/健康文献的洞察提取。我们将之前在CauseEffect数据子集上的工作与我们的关系抽取模型进行比较，表2显示了我们的关系相似度模型，没有使用稀疏特征或外部资源比如WordNet，胜过了最新的最先进的treeLSTM模型(Miwa和Bansal，2016)。这也说明了BiGRU模型在这个数据集上具有相当的竞争力，这就是为什么我们在我们的基准系统中使用它来进行比较的原因。

9 结果分析与案例研究

表3：模型注意权重的可视化，给出了4个semeval - 2010的测试句子

上下文相似性模型的可视化：我们从上下文相似度模型（5.3节）中显示注意力权重的值，即来自上下文相似性模型的公式8和9中的atten。给定SemEval-2010数据的测试集中的四个句子，该模型预测所有提供的实体对（粗体）具有因果关系。从表3我们可以看出，模型能够做到预期的工作：它可以识别重要的线索词，如“导致”、“产生”，“生成”和“原因”。该模型产生注意力权重（每个∈[0，1]）来表示线索词对因果关系/相关关系提取的重要性。我们还观察到，模型倾向于更多地关注线索词的介词，比如“由......产生generated by”中的“by”和“导致result in”中的“in”，这可能是因为我们用头词作为该模型的额外输入（第7节）。

案例分析：最后我们提供系统的案例研究。我们以两篇生物医学文章的标题和摘要为例，由于篇幅的限制，我们删除了不相关的文本。

以案例1为例，我们的系统输出的顶级洞察：“DC电位的缓慢负移动→增加的皮层兴奋性the slow negative shift of the DC potential→ increased cortical excitability”，得分为0.71。在案例2中，我们的系统输出了前三名：“过量饮酒→皮肤癌”，得分为0.55，“过量饮酒→酒精”得分为0.43，“过度饮酒→晒伤”得分为0.31。上述例子说明我们的系统可以从生物医学文本中提供合理的洞察。

示例2：案例研究

摘要：皮层直流（DC）电位被认为是反映皮层兴奋性的状态，这种状态可能会从清醒状态转变为睡眠状态。目前的实验研究了10名健康人的头皮直流电位变化。假设从觉醒到睡眠转变时DC电位的缓慢负移变反映了皮层兴奋性的增加是合理的。

摘要：酗酒已经与几种癌症有关，包括黑色素瘤和基底细胞癌。 ... 299,658名成年人报告他们在前一个月使用了酒精，并在前一年有过晒伤史。大约33.5％的受访者在过去一年内报告过晒伤。...过量饮酒与美国成年人晒伤率较高有关。

观察到的关系代表了与过量饮酒相关的高风险行为，并提出了一种将酒精使用与皮肤癌联系起来的途径。

10 结论

我们建立了一个端到端的生物医学文献洞察提取系统。我们利用深度神经网络开发新的相似性测量建模来提取因果关系/相关关系。我们的评估表明，系统能够提取具有较高准确度的人们可接受的洞察，其关系提取组件与以前的工作相比较有利。