国科大2013《现代信息检索》作业解析：TF-IDF、向量空间模型与相似度计算

"国科大2013年秋季《现代信息检索》第二次作业，包含章节6-15的相关题目，涉及tf-idf权重计算、欧氏归一化、向量空间相似度、倒排记录表排序原理、最近邻问题处理及正确率与召回率的关系。" 在这份现代信息检索的作业中，主要涵盖了多个关键知识点： 1. **TF-IDF权重计算**: TF-IDF是一种用于信息检索与文本挖掘的常用加权技术，它结合了词频（Term Frequency, TF）和逆文档频率（Inverse Document Frequency, IDF）。在习题6-10中，要求根据词项的tf值和idf值计算词项car、auto/insurance及best在三个文档中的tf-idf值。 2. **欧氏归一化**: 习题6-15涉及到将文档向量进行欧氏归一化处理，目的是使各个向量长度为1，便于比较不同文档之间的相似性。例如，doc1、doc2和doc3的欧氏长度分别计算得出，并给出了归一化后的向量表示。 3. **向量空间模型的相似度计算**: 在习题6-19中，要求计算查询“digitalcameras”与文档“digitalcamerasandvideocameras”的相似度。这里采用了对数方法计算词项权重，使用idf对查询权重化，并通过余弦相似度来归一化文档。同时，停用词“and”被忽略。 4. **倒排记录表的排序**: 习题7-1讨论了倒排记录表为何按静态得分g(d)的降序排列，这是因为高得分的文档更可能在检索时位于top-K位置，从而提高检索效率。 5. **最近邻问题与簇剪枝**: 习题7-8指出，最近邻搜索时，仅选取两个最近的先导者可能导致错误结果。这强调了在数据结构和预处理策略选择中，需要考虑如何有效地避免剪枝错误。 6. **信息检索评价指标**: 习题8-5探讨了正确率（Precision）和召回率（Recall）的关系。正确率是检索结果中相关文档的比例，而召回率是所有相关文档在检索结果中的比例。两者存在等值点，例如当没有查到相关文档（tp=0）或误检和漏检相等（fp=fn）时。 这些题目覆盖了信息检索领域的核心概念和技术，包括文本表示、检索策略、相似度计算以及评估标准等方面，对于理解和应用现代信息检索理论至关重要。