从文本中学习程序的神经网络编码操作程序

3510从文本中学习程序：在深度神经网络中编码如何操作的程序0Hogun Park �0美国印第安纳州西拉法叶普渡大学hogun@purdue.edu0美国加利福尼亚州圣何塞IBMAlmaden研究中心hamid.motahari@ieee.org0摘要0关于程序和操作的许多知识都是以文本形式描述的。最近，从程序文本中提取语义关系得到了积极探索。以前的工作主要集中在查找动词-名词对之间的关系或提取对之间的聚类。在本文中，我们研究了在句子之间学习单个特定于程序的关系（例如，是方法，是替代方法，或是子任务）的问题。为了识别这些关系，我们提出了一种端到端的神经网络架构，可以有选择地学习重要的特定于程序的关系。使用这种方法，我们可以从最大的程序共享社区wikihow.com构建一个how-to知识库。我们的方法的评估结果表明，它优于现有的实体关系提取算法。0CCS概念0•计算方法→人工智能；神经网络；0关键词0程序学习，how-to知识，神经网络，关系学习0ACM参考格式：Hogun Park和Hamid Reza MotahariNezhad。2018年。从文本中学习程序：在深度神经网络中编码如何操作的程序。在WWW'18Companion：2018年Web会议伴侣，2018年4月23日至27日，法国里昂。ACM，美国纽约，NY，USA，第4篇文章，8页。https://doi.org/10.1145/3184558.318634701引言0程序化知识一直是许多语义应用的重要组成部分，如问答[7]、信息检索[29]和对话代理[12]。关于程序的许多知识都是以文本形式描述的。一个程序由一组嵌套的相互关联的任务组成，以实现一个目标。对于给定的程序，可能有几种实现目标的替代方法，每种方法都由一组任务组成。例如，目标“如何烹饪泡菜”由诸如“准备食材”之类的任务组成0�该工作是在IBM Almaden研究中心实习期间完成的0本文发表在知识共享署名4.0国际许可证（CC BY4.0）下。作者保留在个人和公司网站上传播作品的权利，并附上适当的归属。WWW'18Companion，2018年4月23日至27日，法国里昂，© 2018IW3C2（国际万维网会议委员会），根据知识共享CC BY 4.0许可证发布。ACM ISBN978-1-4503-5640-4/18/04。https://doi.org/10.1145/3184558.31863470和“制作酱汁”。该任务有一组子任务，如“洗手”和“溶解盐”，它们按顺序相互关联。此外，任务或子任务可能包括条件语句，并受特定的时间/空间约束。对于给定的句子“如果白菜没有保存，至少在盐水中保存12小时”，我们可以表示为<“至少在盐水中保存12小时”>-条件-<“白菜没有保存”>。图1显示了一个过程文本的示例（左侧）和相应的过程图（右侧）。图中有许多特定于过程的关系（例如，是方法，是替代方法，或是子任务）。在本文中，我们专注于学习过程特定的关系提取，以构建过程知识库。学习文本中描述的过程是一个具有挑战性的问题。通过提取或学习模式[22，23]、学习概率模型[8]或分层聚类[4]等方法，这个问题在以前的工作中得到了研究。这些工作中的关系提取主要以在句子中识别动词/名词对及其关系的形式存在。例如，可以在动词/名词对（泵，刹车踏板）和（拿，备用轮胎）之间找到关系hasNextAction。因此，提取的关系在句子内以术语级别定义，这些术语是基于句法模式和规则找到的。在本文中，我们研究了在描述过程的文本中识别句子内和句子间的动作级别关系的方法。此外，我们提出的方法允许使用动作参数来模拟与文本中的动作相关的条件或上下文。此外，我们的方法可以防止从预处理步骤（如POS标记和依赖解析）中传播错误，这些步骤在上述工作中使用。在本文中，我们提出了一种用于过程文本的端到端神经关系提取模型，这是构建过程知识库的核心要素。最近，神经网络模型在许多不同类型的关系分类任务中显示出了它们的有效性[1，11，14，16，19，32-34]。大多数模型基于卷积神经网络（CNN）或递归神经网络（RNN）来提取单词或句子级别的关系。与以前提出的神经网络架构不同，本文提出了一种分层注意机制，可以在动作级别和跨句子级别选择出最重要的部分。我们还提出了一种基于MemoryNet增强的神经网络的替代架构，以利用高级上下文信息进行任务关系学习。以前，MemoryNet[25][26]在问答和阅读理解中被广泛使用。在本文中，我们利用MemoryNet的关联记忆的概念来学习底层结构0会议：2018年4月23日至27日，法国里昂的认知计算WWW 20183520图1：过程文本示例和从文本中提取的过程图0我们提出了一种新的方法来建模和分类关系。为此，我们将分层注意力编码器结合到MemoryNet中，以对输入句子和上下文信息（例如目标或先前任务）进行编码。作为评估我们提出的架构的数据集，我们从wikihow.com获得了相对较长和完整的任务/操作的过程描述数据。我们将所提出的方法和架构与一组选择的基线和先前的替代方案进行比较，这些方案证明了所提出的方法在识别和分类特定于过程的关系方面具有优越的性能。本文的其余部分如下所述。第2节讨论相关工作。第3节定义研究问题，第4节介绍了用于过程关系分类的提出的架构。我们在第5节解释了实验结果。最后，我们在第6节总结并讨论了未来的工作。02 相关工作 2.1 关系分类0对于实体关系抽取和分类，已经提出了许多基于特征/核方法[2][31]。最近，[27]和[28]表明，在卷积神经网络（CNN）和长短期记忆（LSTM）等神经网络架构中，关系参数之间的最短依赖路径仍然是有用的。0（LSTM）。特别是，他们的框架中显示LSTM-based方法比CNN-based模型更差[28]。后来，已经尝试了许多现有模型来提取句子中的实体关系，其中大多数依赖于复杂的自然语言处理流水线。为了减轻负担，一些尝试通过利用神经网络来提取实体之间的关系（例如[14][34]）进行了尝试。然而，[14]仍然使用词性标签，[14][34]不将完整的句子作为输入。最近，已经提出了更多CNN和RNN的变体用于关系分类。例如，[1]使用CNN通过将句子拆分为句内实体关系检测的向量表示。在这项工作中，关系通过三个不同的CNN学习，并且在softmax层之前将它们的输出向量连接起来以分类关系。[32]还使用位置向量通过卷积神经网络来表示句子。位置向量附加到现有的词嵌入层，并用于指示目标实体进行分类。对于我们的目标，不能直接使用它，但是我们仍然可以使用卷积神经网络来对每个句子进行建模，而不使用拆分或位置向量。在本文中，我们实现了这些架构，以与我们提出的方法进行比较。类似地，[33]提出的架构虽然原理上更简单，但在第5节中进行了实现和比较。0会议：2018年4月23日至27日，法国里昂的认知计算WWW 2018Track: Cognitive Computing WWW 2018, April 23-27, 2018, Lyon, France3530篇章关系分类[11,16,19]也与我们的论文相关。隐含篇章关系分类的任务是在没有明确的篇章标记（例如“因为”）的情况下识别两个相邻句子之间的关联。论文[19]提出了一种用于识别中文文本中隐含篇章关系的递归神经模型。他们的模型基于单层双向LSTM模型，并带有注意力机制。我们的分层注意力模型是一种更通用的神经网络，允许多个双向LSTM层。我们在过程文本的实验中比较了我们的模型和他们的模型。论文[16]利用文档图[18]并学习图LSTM来分类关系。然而，这需要有输入的文档图，并且使用现有知识库的远程监督，这对于我们的目的来说不合适，对于学习两个神经网络来说也非常繁重。论文[11]还提出了基于注意力的隐含篇章关系模型，但他们还需要使用外部知识库来学习神经模型以克服训练数据的不足。02.2 过程知识挖掘0构建过程性知识库已在[8]和[4]中进行了研究。[8]从eHow.com和wikiHow.com中提取过程性知识。他们提出了一种检测动词/动作和对象以及它们之间关系的框架，以构建情境本体论。然而，需要经过许多预处理步骤，如归一化和模式匹配。他们的关系提取也仅限于更简单类型的关系，如“hasTopic”和“hasAction”。论文[4]使用Open-IE4.2软件，该软件是ReVerb[5]和Ollie[21]的继任者，用于提取嘈杂的候选项，并通过层次聚类找到相似任务。然而，他们还依赖于预处理来提取主谓宾元组和时间/位置信息。因此，它构建的知识库仍然容易出现不准确性和信息提取流程的僵化。工作流检测也与过程知识挖掘相关。论文[23]尝试基于信息提取流程和规则检测任务、产品、任务方面和控制流。他们还提出了基于术语和框架的方法来处理工作流元素。基于术语的方法使用Java模式注释引擎来利用手工制作的和领域特定的规则。基于框架的方法基于预定义的模式来检测新的工作流。论文[22]还提出了检测任务和控制流之间序列的方法。这两种方法都严重依赖于手工编写的规则和模式来检测工作流，并且可能受限于先前见过的模式。02.3 MemoryNet增强神经网络0MemoryNet是由[25]和[26]提出的。他们设计了一种新的记忆表示类型，用于建模和存储一组按顺序相关的句子。最早的最近的工作提出了一个外部记忆组件[26]，并且已经应用于许多语言处理任务。他们的输入模块独立计算句子向量，并在需要时进行存储/加载。然而，它有一个限制，即在训练阶段需要强有力的监督。为了克服这个问题，[26]中的作者提出了一个端到端的MemoryNet，0图2：过程目标元模型0由两个主要组件组成：支持记忆和预测答案。支持记忆获取一组输入，然后使用外部嵌入矩阵生成具有记忆单元的输出，这些记忆单元被存储和更新。在本文中，我们使用MemoryNet的架构定义了一种对过程的底层结构进行建模的新方法。记忆表示用于增强我们提出的分层注意力神经网络。03 问题定义0假设在关系分类之前已经确定了包含动作的目标句子SSS。在本文中，我们利用了我们之前关于动作识别的工作[15]来识别目标句子，相应的方法在第5.1节中描述。为了表示已识别的关系和句子，我们提出了一个过程目标元模型。0Procedure1文本描述了不同的替代方法，每种方法都由自己的任务/动作、任意层次的嵌套/任务层次和可能描述每种方法或动作适用的各种上下文组成。为了对过程进行建模，我们提出了一个过程目标元模型，如图2所示。每个过程文档都可以转换为连接图表示。每个过程都有一个目标，它被表示为图的头部。这是过程中最高级别的元素。它由（替代）方法、任务和子任务组成。每个目标、方法、任务和子任务都可以有时间、位置和参与者等上下文。上下文信息可以通过许多信息提取工具（如命名实体识别模块和语义角色标注）提取（本文不涉及）。在本文中，我们关注过程目标元模型中的关系。感兴趣的关系包括：is method of，isalternative of，is task of，is subtask of，conditional of和is nextof（总共6种类型）。尽管许多先前的语义知识库（如ConceptNet[24]）包含一些类似的关系，如“hassubevent”和“hasprerequisite”，但我们的过程目标元模型可以表示更多过程特定的、顺序的或层次的任务之间的关系。01我们将"process"和"procedure"以及"action"和"task"这两对词互换使用α=3540在过程-目标-元模型中，除了演员、时间和地点，节点由一个句子2表示。它们之间的关系之所以重要，是因为过程文本中的句子通常描述了具有其前提条件和后置条件的步骤。因此，合理地为节点获取句子表示。特别是，会计、招聘、呼叫中心和技术支持等业务流程（过程）通常由领域专家描述，以记录其他工人或自动化的过程。主要挑战是学习过程的结构，该结构通过使用句子作为一系列步骤描述的文本中的不同任务/子任务之间的关系来表达。在本文中，我们假设每个句子表示一个（子）任务或方法。此外，目标是理解描述过程的文档中包含的所有（替代）方法、它们的（子）任务以及它们之间的关系。04任务关系分类的神经网络架构4.1分层注意力编码器（HAE）0LSTM[6]是一种可以建模序列状态的神经网络架构。LSTM通过其门控机制的方式"记住"重要信息，同时忽略多余的信息。LSTM具有可以建模可变大小输入的优势，而传统的MLP和其他形式的神经网络只适用于固定长度的输入。在本文中，我们提出了一种使用LSTM的分层注意力神经网络，如图3所示。假设w it ，其中t ∈ [1, T]表示第i个句子s i中的第t个单词。在这个架构中，我们总是有两个句子用于关系。所提出的模型将原始句子编码为向量表示，这将用于关系分类。在接下来的子节中，我们将详细描述如何编码每个单词和关系。0词编码器。首先，该架构通过嵌入矩阵We获得单词的词向量。对于嵌入，我们使用预训练的Glove嵌入矩阵[17]。为了从词向量中获取表示，使用了一个双向LSTM层。双向LSTM包含正向LSTM，从第一个单词w i 1到最后一个单词w iT进行阅读。反向LSTM以另一个方向读取单词。0x it = W e w it ，t ∈ [1,0h it = −−−−→ LSTM ( x it0h it = ←−−−− LSTM ( x it)，t ∈ [T, 1]0它将正向隐藏状态h it 和反向隐藏状态h it 进行连接0隐藏状态h it 。连接的向量h it = [h it , h it ]，其中t ∈ [1,T]，总结了一个句子s i的含义。我们提出的注意力机制将对这些向量进行求和，如下所述。02在"conditional_of"的情况下，节点可以是一个短语。0词注意力。注意机制是自动关注对分类有决定性影响的词语。换句话说，它是捕捉句子中最重要的语义信息，而不使用额外的知识和NLP系统。在这个注意力层中，它产生一个权重向量uw，并通过乘以权重向量将每个时间步的词级特征合并为一个句级特征向量。0u it = t ( W w h it + b w)，0tα it h it0k i  = 空0tα it h it0如上述方程，我们将单词的重要性定义为u it与单词级上下文向量uw的相似性，并通过softmax函数得到归一化权重αit。之后，计算加权求和以获得ki的表示。单词上下文向量uw是随机初始化的。这种注意机制类似于[30]，但我们使用Glove嵌入来处理稀疏术语，并将注意机制仅应用于单词编码器。0句子编码器。句子编码器类似地使用句子向量来学习关系的表示。0hi =−−−−→LSTM(ki)，i∈[1,0hi =←−LSTM(ki)，i∈[2, 1]0v =02 �0ih i0y = softmax(Wcv + bc)0hi是连接变量，如[hi,hi]，然后求和并输入到softmax层。Wc的输出维度是关系的数量。0L = −�0ryr logˆyr0其损失函数如上所述，使用softmax层的输出。我们使用分类交叉熵作为损失函数。损失函数将根据关系r进行计算。r是关系标签之一。其优化通过Adam优化器[10]完成。04.2 MemoryNet增强关系分类器（MARC）0在第4.1节中介绍的分层注意力网络模拟了每个关系。然而，为了编码过程信息，我们不仅需要对句子级关系进行建模，还需要对上下文或层次化动作信息（例如父任务或前一任务）等更高级别的关系信息进行建模。为此，我们使用MemoryNet[25]来增强上下文、层次化的信息。0Track: Cognitive Computing WWW 2018, April 23-27, 2018, Lyon, France3550图3：提出的分层注意力神经网络0以及关系的基本内在信息。基本内在信息可以是领域知识或共享常识。例如，食谱的内在信息可以是常识中的基本配料准备，并根据领域对每个词赋予不同的重要性。在本文中，我们使用端到端分层注意力网络[25]的架构作为编码器（HAE），并利用它将编码向量存储在MemoryNet的关联内存中。0u = HAE 1(si, sj)0mi = HAE 2(fi)0ci = HAE 3(fi)0pi = softmax(uTmi)0o =0k �0i = 1 pici0ˆu = o + u0ˆy = softmax(Wmˆu +0假设我们给定输入句子S = {si,sj}和句子的上下文信息si是由上下文句子fi = {fi1, fi2, ...,fin}组成的。上下文信息可以是方法的目标或任务的目标+方法，例如。图4显示了MemoryNet增强关系分类器（MARC）的架构。上述方程也显示了内部计算。输入句子S = {si,sj}被转换为记忆向量u。上下文句子fi也被转换为mi。我们通过取内积后进行softmax来计算u和相应记忆mi之间的匹配。HAE3返回fi的输出记忆表示。响应向量ci将由概率向量pi加权。0加权输出o将添加到输入向量u中，并跟随Wmˆu +bm的softmax激活。优化和损失函数与分层注意力编码器（HAE）中的相同。与[25]一样，MemoryNet可以有更多的层。换句话说，HAE 2和HAE 3可以多次堆叠。在图4中，[1, ...,N]表示这两个层可以多次使用。在本文中，我们使用了一个2层的记忆网络架构。由于该架构具有多个层，每个HAN在每个层上都是共享的。05 实验 5.1 数据0在实验中，我们使用来自在线社区wikihow.com的数据，该数据由成千上万的用户贡献。wikihow包含了许多领域的程序性描述的丰富信息内容，如食谱、金融、汽车、教育、健康、爱好、个人护理等等。总共下载了198,163篇文章，使用了wikiTeam3数据处理接口。我们只使用至少具有目标、方法、任务和子任务中的一个实体的文章。"目标"是文章中主要描述的第一句话。类似地，方法、任务和子任务的句子被提取出来。方法、任务、子任务的识别可以使用内在的mediaWiki结构约定来解决（例如，开始新的子部分）。方法和任务的第一句话通常以"动词对象(*)"的形式呈现。子任务可能包含许多条件语句或关于任务的详细信息。表1显示了识别到的关系三元组及其基本统计数据的数量。正如表格的第一行所示，提取到的关系三元组的数量为03 https://github.com/WikiTeam/wikiteam0Track: 认知计算 WWW 2018, 2018年4月23日至27日, 法国里昂3560图4：MemoryNet增强的关系分类器0表1：数据统计：提取的关系0数据统计计数0提取的关系三元组数量为78,2170每个目标的平均方法数为2.150每个方法的平均任务数为7.570每个任务的平均子任务数为3.43078,217。在这里，我们计算了从我们的分层注意力神经网络中提取出的每个句子和关系的三元组的数量。例如，<"在水中溶解3汤匙盐">-是下一个-<"洗手和器具">是一个三元组。为了计算表1中的平均值，每个分数都是在WikiHow文章的数量上求和并取平均值。为了提取条件，我们使用Stanford依赖解析器[3]来检测条件和结果从句。从解析树中，利用SBAR的子节点来检测从句，并且如果句子具有以下连接词，则被认为是条件：IF，UNLESS，EVEN IF，AS (SO) LONGAS，ASSUMING/SUPPOSING，IN CASE和ONLY IF。05.2 方法0为了评估我们的方法，考虑了以下替代方法。作为评估指标，我们使用准确率，通过计算预测正确的标签数量与可能的关系三元组总数之比来计算。对于训练和测试下面的模型，我们使用70％、10％和20％的程序性文章进行训练、验证和测试。对于所有神经网络模型，最大迭代次数设置为100，如果在15个迭代期间验证数据集上的准确率没有提高，则停止训练。我们还使用了dropout正则化（0.2）和修正线性单元（ReLU）作为激活函数。为了优化，使用Adam优化器[10]来更新变量。在本小节的其余部分，描述了我们用于实验的模型。0卷积神经网络。[1]中的方法将句子作为输入，并将其转换为向量表示。0通过卷积神经网络（CNN）通过将句子分为左、中、右短语来实现。他们学习了三个不同的CNN，并在最后将它们的输出连接起来以分类实体之间的关系。[32]中的作者还使用了位置向量的概念来通过CNN表示句子中的关系。在我们的情况下，我们希望找到句子之间的关系，因此不能使用相同的方法。相反，我们使用卷积神经网络对整个句子进行建模，而不使用分割和位置向量。这种方法已经得到了广泛研究，并且在句子分类方面表现良好[9]。我们还使用最大池化和连接操作。连接后的输出通过具有softmax激活函数的全连接层。对于CNN的参数，特征图的数量在[8, 16, 32,64]中进行搜索，特征图的大小从[3, 5, 7]中选择。最大池化大小从[4,8, 16]中选择。0双向LSTM。我们也使用LSTM进行比较。与[33]中一样，我们使用双向LSTM来建模句子。同样，因为[33]中的方法也是为了检测句子中实体之间的关系而设计的，所以我们使用自然句子作为LSTM的输入。隐藏节点数是通过网格搜索选择的。网格搜索从[50, 100,200]中选择。0分层双向LSTM。这是为了验证注意力矩阵在关系分类中的作用。这是一种没有基于注意力的激活的架构。为了搜索其适当的参数，隐藏节点数从[50, 100, 200]中进行了搜索。0具有注意力的分层双向LSTM。这是我们提出的模型之一，在下面的结果部分中标记为（我们的模型1）。该模型使用单词注意力，并与其他模型进行效果相关性和比较。在这里，为了搜索适当的参数，LSTM的隐藏节点数也从[50, 100, 200]中进行了搜索。0端到端MemoryNet。该模型适应我们的过程学习任务，以评估端到端MemoryNet[25]类似的神经模型的性能。原始的端到端MemoryNet0Track: 认知计算 WWW 2018，2018年4月23日-27日，法国里昂3570关系分类结果表20方法准确率0卷积神经网络0.730双向LSTM 0.750分层双向LSTM 0.8690具有注意力的分层双向LSTM（我们的模型1）0.8780增强记忆网络的关系分类器（我们的模型2）0.8740设计用于阅读理解。我们使用所有高级信息f i和第一句话si来训练嵌入和注意力变量，而不是任务中给定的背景句子。此外，输入查询使用第二个句子sj，而不是阅读理解任务中的问题。为了公平比较，我们使用HAE编码器进行嵌入矩阵，并使用与我们的MemoryNet增强关系分类器相同的参数进行训练。0增强记忆网络的关系分类器。这是本文中的另一个提出的模型（我们的模型2）。该模型采用了被提出为分层双向LSTM的编码器，用于对每个句子进行建模以供MemoryNet中的输入或嵌入向量。三个不同的编码器（HAE1，HAE2和HAE3）分别进行训练。对于它们的参数搜索，LSTM的隐藏节点数也从[50, 100, 200]中选择。05.3 结果0表2显示了实验结果。在实验中，基于CNN的关系分类器显示了最差的结果。当我们使用双向LSTM时，它能够获得比CNN更好的结果。除了双向LSTM之外，还额外考虑了一个词级LSTM层，神经网络获得了额外的显著增益。这意味着层次结构的想法对于获得更好的分类结果至关重要。在实验中，我们提出的模型（具有注意力的分层双向LSTM）显示了最佳的分类结果。这表明注意力模型对于检测建模每个关系三元组的重要单词是有用的。我们还测试了第二个双向LSTM层的额外注意力矩阵是否需要，但没有显示任何改进。MemoryNet增强关系分类器在数据集中显示了0.874的准确率，但略低于具有注意力的分层双向LSTM（我们的模型1）。这意味着当我们有足够的训练数据时，使用一个HAN编码器对过程文本进行建模就足够了。然而，当我们使用随机选择的总过程文章的10％进行训练时，MemoryNet增强关系分类器比模型1（具有注意力的分层双向LSTM）在表3中显示的更好。这意味着MemoryNet增强关系分类器在训练时具有优势0表3：在较小的训练和测试过程中的关系分类结果（随机抽样的程序性文章的10%）0具有注意力的分层双向LSTM（我们的模型1）0.8290端到端神经网络 0.740MemoryNet增强的关系分类器（我们的模型2）0.8490通过较小的训练数据。这个结果与之前的观察结果一致，即[13]和[20]。[20]中的作者报告说，MemoryNet驱动的神经网络在一次性学习方面是有效的，多个MemoryNets[13]，最大化了单个MemoryNets的效果，在问答任务上也表现出更好的性能。当我们的模型2与端到端神经网络进行比较时，准确性也显著提高。这表明我们的HAE很好地编码了关系，并且只有在上下文信息存储在内存中时才更加有效。06 结论和未来工作0在本文中，我们提出了一种用于提取特定于过程的关系的神经网络架构。与以前的工作不同，我们的方法不依赖于信息提取流程来识别任务关系。相反，它通过直接将过程描述文本中的句子（也以混合、注意力感知的方式）输入到专门设计用于此目的的新型神经网络架构中，学习了丰富的特定于过程的关系，如目标、方法和任务之间的顺序、条件和层次关系。在实验中，所提出的方法相对于关系提取的最新方法产生了更好的结果。特别是，MemoryNet增强的分类器在使用相对较小的训练数据时表现出了很好的性能。作为未来的工作，我们计划研究使用所提出的架构在问答场景中学习过程知识库的方法。此外，我们的工作可以扩展到从过程和程序描述中学习更复杂和链接的动作关系。0参考文献0[1] Heike Adel, Benjamin Roth, and Hinrich Schütze. 2016. Comparingconvolutional neural networks to traditional models for slot filling. arXiv preprintarXiv:1603.05157 (2016). [2] Razvan C. Bunescu and Raymond J. Mooney. 2005. AShortest Path Dependency Kernel for Relation Extraction. In Proceedings of theConference on Human Language Technology and Empirical Methods in NaturalLanguage Processing (HLT ’05). Association for Computational Linguistics,Stroudsburg, PA, USA, 724–731. https://doi.org/10.3115/1220575.1220666 [3]Danqi Chen and Christopher Manning. 2014. A fast and accurate dependencyparser using neural networks. In Proceedings of the 2014 conference on empiricalmethods in natural language processing (EMNLP). 740–750. [4] Cuong Xuan Chu,Niket Tandon, and Gerhard Weikum. 2017. Distilling Task Knowledge from How-ToCommunities. In Proceedings of the 26th International Conference on World WideWeb (WWW ’17). International World Wide Web Conferences SteeringCommittee, Republic and Canton of Geneva, Switzerland, 805–814.https://doi.org/10.1145/3038912.3052715 [5] Oren Etzioni, Anthony Fader, JanaraChristensen, Stephen Soderland, and Mausam Mausam. 2011. Open InformationExtraction: The Second Generation.. In IJCAI, Vol. 11. 3–10.0Track: 认知计算 WWW 2018, 2018年4月23日至27日, 法国里昂3580[6] Sepp Hochreiter and Jürgen Schmidhuber. 1997. Long Short-Term Memory.Neural Comput. 9, 8 (Nov. 1997), 1735–1780. https://doi.org/10.1162/neco.1997.9.8.1735 [7] Konrad Höffner, Sebastian Walter, Edgard Marx, Ricardo Usbeck, JensLehmann, and Axel-Cyrille Ngonga Ngomo. 2017. Survey on challenges of questionanswering in the semantic web. Semantic Web 8, 6 (2017), 895–920. [8] Yuchul Jung,Jihee Ryu, Kyung-min Kim, and Sung-Hyon Myaeng. 2010. Automatic Constructionof a Large-scale Situation Ontology by Mining How-to Instructions from the Web.Web Semant. 8, 2-3 (July 2010), 110–124. https://doi.org/10.1016/j.websem.2010.04.006 [9] Yoon Kim. 2014. Convolutional neuralnetworks for sentence classification. In Proceedings of Conference on EmpiricalMethods in Natural Language Processing (EMNLP ’14). 1746–1751. [10] DiederikKingma and Jimmy Ba. 2014. Adam: A method for stochastic optimization. arXivpreprint arXiv:1412.6980 (2014). [11] Man Lan, Jianxiang Wang, Yuanbin Wu,Zheng-Yu Niu, and Haifeng Wang. 2017. Multi-task Attention-based NeuralNetworks for Implicit Discourse Relationship Representation and Identification. InProceedings of the 2017 Conference on Empirical Methods in Natural LanguageProcessing. 1299–1308. [12] Lijun Mei, Qicheng Li, Rangachari Anand, JuhnyoungLee, Feng Li, and Shaochun Li. 2014. Enabling customizable service-basedprocedural knowledge applications—An service-orientation for Dialog Manager. InService Operations and Logistics, and Informatics (SOLI), 2014 IEEE InternationalConference on. IEEE, 412–417. [13] Alexander Miller, Adam Fisch, Jesse Dodge,Amir-Hossein Karimi, Antoine Bor- des, and Jason Weston. 2016. Key-value memorynetworks for directly reading documents. arXiv preprint arXiv:1606.03126 (2016).[14] Makoto Miwa and Mohit Bansal. 2016. End-to-end Relation Extraction usingLSTMs on Sequences and Tree Structures. Proceedings of ACL (2016). [15] Hamid R.Motahari Nezhad, Kalpa Gunaratna, and Juan Cappi. 2017. eAssistant: CognitiveAssistance for Identification and Auto-Triage of Actionable Conversations. InProceedings of the 26th International Conference on World Wide Web Companion(WWW ’17 Companion). International World Wide Web Conferences SteeringCommittee, Republic and Canton of Geneva, Switzerland, 89–98.https://doi.org/10.1145/3041021.3054147 [16] Nanyun Peng, Hoifung Poon, ChrisQuirk, Kristina Toutanova, and Wen-tau Yih. 2017. Cross-Sentence N-ary RelationExtraction with Graph LSTMs. Transactions of the Association for ComputationalLinguistics 5 (2017), 101–115. [17] Jeffrey Pennington, Richard Socher, andChristopher Manning. 2014. Glove: Global vectors for word representation. InProceedings of the 2014 conference on empirical methods in natural languageprocessing (EMNLP). 1532–1543. [18] Chris Quirk and Hoifung Poon. 2017. Distantsupervision for relation extraction beyond the sentence boundary. Proceedings ofACL (2017), 1171–1182. [19] Samuel Rönnqvist, Niko Schenk, and Christian Chiarcos.2017. A Recurrent Neu