基于语义Web的智能代理方法在Web挖掘中的应用

© 2013作者。出版社：Elsevier B.V.信息工程研究院负责评选和同行评议可在www.sciencedirect.com在线获取ScienceDirectIERI Procedia 7（2014）113 - 1192013年应用计算、计算机科学与计算机工程国际会议基于语义WebSumaiya Kabira，b，Shamim Ripona *，Mamunur Rahmanb和Tanjim Rahmanba孟加拉国东西方大学计算机科学与工程系b部孟加拉国Patuakhali科技大学CSE摘要语义Web提供了一种更智能的Web服务，它以一种有纪律的方式存储和排列Web上的所有数据。在Web数据挖掘中，如何根据用户需求准确地选择所需数据并将其输出一直是一个具有挑战性的课题。本文提出了一种方法，映射数据在Web 3.0通过本体和访问所需的数据通过智能代理。代理提供与用户查询相关的所有搜索数据，用户可以从中找到所需的信息。当用户没有足够的搜索参数时，可以从Agent提供的信息中感知知识。通过语义Web挖掘可以实现从现有知识中推导出这些未知知识。我们提出了一个基于智能代理的Web挖掘模型，用户的查询是按照现有的传统方式，如谷歌搜索。智能代理检查搜索的数据，并得出只有那些语义相关的用户搜索参数。一个正在进行的案例研究的大学教师信息，以检查所提出的模型的有效性。版权所有© 2014作者.出版社：Elsevier B.V. 这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/3.0/）。信息工程研究院负责评选和同行评议关键词：语义Web; Web挖掘;智能代理;* 通讯作者。联系电话：+88-1928-891-978。电子邮件地址：dshr@ewubd.edu。2212-6678 © 2014作者出版社：Elsevier B.V. 这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/3.0/）。信息工程研究所负责的选择和同行评审114Sumaiya Kabir等人/ IERI Procedia 7（2014）1131. 介绍随着互联网的飞速发展和广泛应用，大量的信息分布在网络上。传统的基于字符串的搜索往往不能命中相关页面，并且会反馈大量与用户请求无关的页面。对于用户来说，一个常见的问题是“一切都在网络上，但我们就是找不到我们需要的”[1]是部分正确的，因为网络上的大多数数据是分散的，非结构化的，往往不一致和不足。数据集彼此之间没有联系，这使得采矿更加难以管理。在web2.0中，由于数据集之间没有建立任何关系，传统的web挖掘结果几乎不能令人满意，因此发现未知知识几乎是不可能的。为了更好的挖掘，人们现在正面临着Web3.0。在这里，信息以一种定义明确和结构化的方式呈现，并使机器和人类能够协同工作。语义网中的数据通过本体相互联系，使得有效的发现、机械化和同化成为可能。这些数据是机器可读的，可以由自动化工具和人共享和处理。语义Web网络是一个分层的体系结构[2][3]，由不同的层次组成。在这种分层架构中，RDF [4]（资源描述框架）和RDF模式提供了一个语义模型，用于描述Web上的信息及其类型。RDF查询语言SPARQL [5]可用于查询任何基于RDF的数据（即，包括涉及RDFS和OWL的语句[6]）。本体词汇层定义共享知识，描述各种信息之间的语义关系。本体被认为是语义Web架构的支柱[7][8]，因为它提供了一个机器可处理的语义和一个可共享的域，可以促进人与不同应用程序之间的通信。语义网是基于一种通过机器可处理的信息丰富网络的愿景。例如，今天的搜索引擎已经相当强大，但仍然经常返回过大或不足的点击列表。机器可处理的信息可以将搜索引擎指向相关页面，从而提高精确度和召回率。数据挖掘是从大量数据中提取有用的、有趣的知识的过程。Web挖掘旨在发现有关Web资源的含义及其使用的见解。考虑到被挖掘数据的主要语法性质，仅仅基于这些数据是不可能发现意义的。因此，Web站点的语义和导航行为的形式化变得越来越普遍。语义Web挖掘结合了语义Web和Web挖掘。Web上的大多数数据的性质都是非结构化的，只有人类才能理解它们，但数据量是如此巨大，只有机器才能有效地处理它们。语义Web通过尝试使数据（也）机器可理解来解决这一挑战的第一部分，而Web挖掘通过（半）自动提取隐藏在这些数据中的有用知识来解决第二部分，并将其作为可管理比例的聚合。语义网取代了数据挖掘，实现了在网上进行知识挖掘。智能代理[9]工具使用户能够为所有可能的相关术语找到所需的结果。本文重点介绍了代理如何在Web挖掘过程中从本体中检测所有可能的实体[10]，这些实体与用户自己的查询请求有关，以自动化的方式使用户能够发现未知的知识。在本文的其余部分，在第2节中，我们首先说明我们提出的语义Web挖掘模型，并展示了如何使用该模型的步骤。在下面的部分中，我们简要地描述了我们正在进行的基于语义Web的大学教师信息表示的案例研究。我们简要介绍了如何智能代理可以用来获取未知的知识与本体的支持。最后，我们总结了我们的工作，并概述了我们未来的计划。Sumaiya Kabir等人/ IERI Procedia 7（2014）113115Fig. 1.语义代理框架2. 该模型Web上的大部分数据都是非结构化的，很难将它们聚集在一个通用的结构下。我们考虑了传统的Web挖掘模型和语义Web挖掘模型之间的良好结构的语义网络和非结构化的现实世界的网络情况的结合，语义代理促进。我们提出的模型如图1所示，它有以下步骤。第一步：用户查询请求通过查询接口发送到查询处理器。查询处理器是处理用户请求的数据服务器的子组件。第二步：查询处理器以用户请求为参数，通过接口引擎并行调用传统查询引擎和智能代理。界面停止控制器使用户能够立即关闭采矿，如果需要的话。查询引擎是一种服务，它获取搜索请求的描述，评估和执行请求，并将结果返回给调用者。此服务充当客户端和基础数据源之间的中间层，它解释搜索请求并使客户端不了解有关如何访问数据源的详细信息。传统的查询引擎将初始结果返回给接口引擎，然后将结果发送到RDF数据库。步骤3：对于基于代理的搜索，应该构建初始本体，并且为了构建该初始本体，需要将关于web对象的各种概念聚集在一起。在大多数情况下，专门的聚类算法[4]用于从Web收集数据。本体模型融合环境中专家[4]的知识，建立初始本体。本体级别将存储在本体库系统[4]中，以供将来使用。第四步：当代理通过接口引擎从查询处理器接收到用户请求参数时，代理检查RDF数据库。如果RDF数据库中缓存有所需的结果，则Agent通过接口引擎将结果直接发送给用户。另一方面，Agent从本体库中寻找用户请求与其他Web实体之间所有可能的关系，如果在RDF数据库中找不到所需的结果，则利用关系实体建立本体库。116Sumaiya Kabir等人/ IERI Procedia 7（2014）113第五步：本体库包含所有可能与用户请求相关的节点，由代理收集并从本体库中获取知识;资源获取模块从Web上收集任务相关信息。但是，在从Web上获取数据的过程中，一个关键的问题出现了，这是到达无关的信息，因为大多数Web上的数据是非结构化的。总体模型性能主要取决于这些数据采集性能。步骤6：资源获取模块检测并收集特征最接近的资源节点。这些节点存储在RDF数据库中。第七步：语义Web挖掘模块挖掘RDF数据库中的数据，以获得更好的输出，并将输出发送给代理。第八步：为了增加结果的相关性，代理对语义Web挖掘模块的输出进行各种过滤处理。第9步：在这最后一步，所有的关系结果将由代理从RDF数据库发送到接口引擎。结果排名引擎用于对结果进行排名，排名后的结果将通过结果界面显示给用户。结果展示给用户所有可能的关系方面，用户可以从中获得所需的知识可能是已知的或未知的。当用户没有足够的数据参数来从Web中找到所需的输出时，此过程非常有效3. 基于本体的搜索本体层包含领域中对象的所有概念知识，并将其存储到本体库中。当用户使用数据参数调用Agent时，Agent开始搜索本体，寻找与用户给定参数相关的所有可能节点。这种查询成为可能，因为所有的数据集是相互关联的，并在语义网中定义良好。Agent为用户提供了广泛的能力来选择他/她所需要的内容。因此，语义Web代理比Web2.0搜索引擎更能让用户感到舒适。3.1. 案例研究：大学教师信息我们采用语义网的方法设计了一个高校教师信息网站。在案例研究中，我们考虑了孟加拉国的40所公立和私立大学。为了简洁起见，只考虑计算机科学系相关的信息。我们使用OWL将每个机构的通用信息编码到Protégé中。对于每个教师，我们编码有关他们的研究项目，资金信息，学术和工业合作，出版物等信息。图二.各种OWL属性Sumaiya Kabir等人/ IERI Procedia 7（2014）113117个体，代表我们感兴趣的领域中的对象。属性是关于个体的二元关系。OWL类被解释为包含个体的集合。它们是用形式化的描述来描述的，这些描述精确地陈述了类的成员资格的要求。OWL属性表示关系。有三种主要类型的属性如图。二、 对象属性：两个人之间的关系。 数据类型属性：将个人链接到数据文本。 批注属性：用于添加信息（元数据|关于数据的数据）到类、个体和对象/数据类型属性。宾语的性质也有各种各样，即逆的、功能的、传递的、对称的、自反的等等。除了这些属性，还有两个限制属性：势性和泛性。3.2. OWL本体组件本体可以被查询访问，这些查询返回对象之间的关系。RDF三重格式（主题+关系+对象）。可以找到两种类型的用户请求， 简单的知识获取：用户需要有关特定教师的总信息将返回与Edward相关的所有可能节点的关系。例如，与Edward相关的所有节点如图3所示。 未知知识发现：让我们假设用户想知道爱德华和约翰然而，在我们的编码中，它们之间没有直接的关系。在这种情况下，智能体找出与Edward和John都相关的最近节点，并且最近节点是Jack。现在，代理人展示了爱德华-杰克和杰克-约翰之间所有可能的关系。从这些关系用户将能够找出爱德华和约翰之间的关系（图。4）。4. 结论当前搜索引擎的主要障碍与信息过载有关。当执行搜索时，最常见的问题不是找到的网站数量太少，而是返回的一个搜索结果中有几十万个网站是标准的，而不是例外。许多这样的网站被返回，因为它们包含一个类似于搜索参数的单词，尽管该网站甚至可能与搜索查询无关。当前搜索引擎的另一个主要问题是单词的模糊性。出于这个原因，搜索引擎无法区分不同的含义之间的差异，因此搜索引擎返回所有包含这个词的网站，无论含义是什么，给用户留下了一大堆相关和不相关的文档。118Sumaiya Kabir等人/ IERI Procedia 7（2014）113图三.简单的知识获取见图4。未知知识发现Sumaiya Kabir等人/ IERI Procedia 7（2014）113119语义网设想了一个智能体以开放和半自动的方式共享和传递结构化知识的世界。成功的目的地路径发现代理通过本体根据用户的请求提供了各种设施，如自动化，人工智能，集成，机器到机器的通信能力等，通过使用这些设施，我们提供的Web用户知识挖掘，而不是数据挖掘。我们刚刚开发了一个模型，它由一个代理和一个过程来促进，从大量的数据中只寻找所需的数据。在多智能体系统的情况下，主要关注的是各种智能体之间的协调。我们未来的计划包括处理多智能体环境，他们的通信和同步。处理多智能体从环境中学习信息的情况是知识挖掘的关键。引用[1] M.赫普语义Web和语义Web服务：父子还是不可分割的孪生兄弟？IEEE Internet Computing，第10卷，第2期，第10页。85-88，2006年3月/4月。[2] W3C语义网，http://www.w3.org/2001/sw/[3] T. Berners-Lee，《编织网络：万维网发明者的原始设计和最终命运》。1999年，哈珀旧金山。[4] W. Yong-gui和J. Zhen.语义Web挖掘研究。2010年计算机设计与应用国际会议（ICCDA），第1卷，第67 -70页，2010年。[5] A. Seaborne和E.普鲁德霍莫SPARQL Query Language for RDF，W3C Recommendation，W3C，2008年1月。[6] I.霍罗克斯Patel-Schneider，F. V. Harmelen.从shiq和rdf到owl：Web本体语言的形成。WebSemantics 1（2003）。[7] A. Grigoris和F.范·哈梅伦。语义网入门。麻省理工学院出版社，马萨诸塞州剑桥，2004年4月。[8] 语义Web -XML 2000，幻灯片10”。W3C。http://www.w3.org/2000/Talks/1206-xml2k-tbl/slide10-0.html. [2012年5月13日访问][9] S. Russell和P. Norvig。人工智能：现代方法（第三版）。Prentice Hall Press，Upper Saddle River，NJ，USA. 2009[10] A.查克拉瓦蒂语义网挖掘。见：第一届AKT博士讨论会论文集（2005年）。[11] N. F.诺伊，M。Sintek，S. Decker，M.克鲁贝济河W. Fergerson和M. A.穆森用protege-2000创建语义网内容In：Protégé-2000.IEEE智能系统，卷。号162，Mar 2001，pp.60比71