云计算环境下的web日志挖掘与用户偏爱路径研究

"云计算技术在web日志挖掘中的应用研究" 在当前数字化时代，数据量呈爆炸式增长，尤其是在互联网领域。Web日志作为记录用户行为的重要数据源，包含了丰富的用户行为信息，如浏览历史、点击流等。然而，这些海量且复杂的数据对传统的数据挖掘方法提出了挑战。云计算作为一种分布式计算技术，为处理和存储大数据提供了有效解决方案。 云计算的核心在于通过虚拟化技术将大量普通计算机组成集群，形成强大的计算资源池，可以按需分配、扩展和管理计算能力。这种模式使得处理大规模web日志成为可能，无需依赖高性能的单一设备。Hadoop作为云计算领域的代表性开源框架，尤其适合处理大规模分布式数据，其MapReduce编程模型能高效地处理并行任务。 本文作者程苗在导师陈华平的指导下，探讨了在Hadoop平台上构建基于云计算的web日志挖掘系统。该系统设计考虑了web日志的特性，包括数据的海量性、多样性、异构性和动态性。通过对系统各个模块的详细阐述，展示了如何利用云计算的优势进行日志处理和分析。 在web日志挖掘中，挖掘用户的偏好路径是关键任务之一。传统方法主要基于访问频率来识别用户偏好，但这种方法可能忽视了用户对特定路径的兴趣程度。为此，论文提出了一种新的概念——有用偏爱度，结合网站的拓扑结构，以更准确地评估用户对路径的兴趣，从而减少页面布局和链接结构等因素的干扰。 实验部分，作者对比了改进后的算法与传统方法的效果，证明了改进算法在揭示用户浏览意图方面的优越性。同时，通过云计算平台的实验，验证了在多资源协同工作下，无论是数据处理速度还是任务执行效率，都远超基于单机集中式环境的web日志挖掘。 这篇硕士论文深入研究了云计算技术在web日志挖掘中的应用，提出了改进的用户偏好路径挖掘方法，并证明了云计算在提升数据处理效率和挖掘效果方面的巨大潜力。关键词：云计算、web日志挖掘、Hadoop、浏览偏爱路径。