山东大学WEB数据管理爬虫复习要点与策略

该复习资料主要针对山东大学WEB数据管理课程的学习，强调了由于考试范围的变化，信息检索部分已不再作为考查内容，考生需要关注其他重点。主要内容涵盖以下几个方面： 1. 爬虫技术：分为爬虫定义、爬取过程、必备功能，以及爬虫的分类，包括通用Web信息采集（Universal Web Crawling）、增量式采集（Incremental Web Crawling）、个性化采集（Customized Web Crawling）和主题化采集（Focused Web Crawling）。其中详细介绍了正则表达式在信息提取中的应用，以及HTML DOM模型的使用。 2. 网页分析技术：讲解了BeautifulSoup模块和Python爬虫框架Scrapy，包括Scrapy的介绍。还涉及了爬虫与网站的互动策略，如Robot协议、User-agent、IP屏蔽、用户登录、模拟浏览器交互，以及验证码识别技术，如OCR。 3. 数据抽取与包装器：内容包括数据抽取的基本概念和方法，评价标准，以及基于分界符规则和树路径规则的包装器设计。同时讨论了不同类型的网页抽取策略，如多记录数据型、单记录数据型和单文档型页面的抽取方法。 4. 数据存储与处理：涵盖了爬虫数据的结构化存储方式，如CSV、JSON、XML、Excel和pickle文件，以及数据库的使用。结构化数据的清洗、应用和预处理技术，以及非结构化数据处理，如文本预处理、文本向量化和哈希算法（如shingle、LSH等）。 5. 文本表示与词嵌入：介绍了文本表示的不同方法，如文本预处理、词嵌入技术（word2vec和Doc2Vec）以及语言模型，包括统计语言模型和神经网络训练的语言模型。 这些知识点是课程的核心内容，考生应根据老师的指导和历年考试趋势，有针对性地选择和复习，以提高备考效率。值得注意的是，尽管教材内容可能会有所调整，但爬虫技术和数据处理的基础原理是稳定的，对未来的考试仍有指导意义。