AJAX网络爬虫系统：设计与实现

"这篇硕士学位论文主要探讨了支持AJAX的网络爬虫系统的设计与实现，由曾伟辉撰写，李淼指导，属于中国科学技术大学模式识别与智能系统专业。论文指出，随着AJAX（Asynchronous JavaScript and XML）技术的广泛应用，它提升了网页交互效率和用户体验，但同时也给网络爬虫带来了挑战，因为传统的爬虫无法有效处理AJAX框架下的动态内容和异步请求。" 在论文中，作者分析了AJAX技术的特点，即通过异步通信方式减少了服务器负载，提高了网页响应速度。然而，这同样导致了网络爬虫在抓取AJAX网站时面临URL参数的无效组合、事件触发顺序识别困难、错误处理能力不足等问题，使得大量AJAX生成的数据无法被搜索引擎有效抓取。 为解决这些问题，论文提出了一个创新的方法：基于对象的程序切片算法。该算法通过对网页代码进行分析，利用脚本执行引擎来计算和执行切片，从而重建网页的DOM（Document Object Model）树。通过脚本执行引擎与切片模块的协作，根据执行后的DOM树来抓取网页链接，解决了AJAX框架中的URL提取问题，实现了异步JavaScript网络爬虫的关键技术。 论文详细阐述了AJAX站点链接抓取的实现，设计了一个支持AJAX的网络爬虫系统。这个系统包含了URL关联信息提取、切片代码的有序执行以及程序切片模块、爬虫模块、脚本执行模块之间的交互操作。这一解决方案为AJAX框架网站的网络爬虫提供了新的思路，并成功实现了对AJAX站点的支持。 关键词涵盖了AJAX网络爬虫、异步交互、脚本解析等方面，表明该研究专注于AJAX环境下的爬虫技术和动态内容抓取技术的改进。 这篇论文不仅提出了针对AJAX网站的爬虫系统设计方案，还深入研究了相关技术问题，如URL提取、异步处理和脚本解析，对于理解和支持AJAX网站的网络爬虫技术具有重要的理论和实践价值。