2019信息检索复习要点解析

"该资源为2019年信息检索课程的复习题及答案，涵盖了Web信息检索的基础概念，搜索引擎的组成，信息检索系统的数学模型，不同检索形式，以及向量空间模型(VSM)的相关知识。" 在信息检索领域，Web被定义为万维网，是一个庞大的信息资源网络。它依靠三个核心机制来实现信息共享：统一资源定位符(URL)用于标识网络上的资源，协议（如HTTP、FTP）规定了数据传输的方式，而超文本(HTML)则提供了文档结构和链接，使得信息可以通过链接相互关联。 Web搜索引擎通常由三部分组成：信息搜集、预处理和信息检索服务。信息搜集阶段，搜索引擎通过爬虫技术按照特定策略获取互联网上的网页数据，建立原始网页库和网页结构库。预处理阶段，包括净化网页、消除重复内容、抽取正文、进行分词和关键词提取，以构建倒排索引，并计算网页的PageRank值，这有助于理解网页的重要性。检索服务模块则处理用户的查询，快速在索引库中找到相关文档，计算相关度并按顺序返回结果。 信息检索系统的数学模型描述了如何依据用户查询对文档进行相关性排序。模型通常表示为<D,Q,F,R(qi,dj)>，其中D代表文档集合，Q代表查询集合，F是一个用于建模文档和查询的框架，R(qi,dj)是排序函数，它给出了查询qi和文档dj之间相关度的排序值。 检索形式主要有两种：特别检索（adhoc retrieval）和过滤（filtering）。特别检索允许用户随时提出新的查询，检索系统内的文献保持不变，如Google和Baidu。过滤检索则针对固定的需求，随着新文档的出现，筛选出与用户需求相关的文档，例如股票信息、新闻订阅和天气预报。 向量空间模型(VSM)是信息检索中的一种重要方法。在VSM中，文档被表示为词项频率的向量，例如d=<w1,w2,…,wt>，其中每个分量代表词典中的一个词项，分量值是tf-idf权重。tf（词项频率）表示词在文档中出现的频率，而idf（逆文档频率）则是对常见词的惩罚，以提高不常见词的权重。向量之间的相似度通常用余弦相似度计算，以判断文档与查询之间的相关性。VSM的优点在于能处理部分匹配，但高维问题可能导致“维度灾难”。为解决这一问题，可以采用隐性语义索引模型（如LSA、LDA）进行降维，这些方法基于矩阵分解的数学原理，能够揭示隐藏在高维向量空间中的潜在语义结构。