"这篇资料是《信息检索导论》课程的课后练习答案,由王斌整理,包含了布尔检索、索引压缩、文档评分和词项权重计算等主题。"
在第一章布尔检索部分,习题1-1要求构建文档集的倒排索引。根据提供的文档内容,可以构建如下倒排索引:
- "forecasts" 关联文档1
- "home" 关联文档1, 文档2, 文档3
- "in" 关联文档2, 文档3
- "increase" 关联文档3
- "july" 关联文档2, 文档3, 文档4
- "new" 关联文档1, 文档4
- "rise" 关联文档2, 文档4
- "sales" 关联文档1, 文档2, 文档3, 文档4
- "top" 关联文档1
习题1-2要求构建词项-文档矩阵和倒排索引,答案已给出,涉及的文档和词项与上一题相同。
关于索引压缩,习题5-2讨论了 Reuters-RCV1 文档集在不同按块存储压缩方法下的空间需求。当 k=8 时,每个块节省13字节,总节省650K,索引大小为6.95MB;当 k=16 时,每个块节省29字节,总节省725K,索引大小为6.875MB。
习题5-6探讨了可变字节码的编码效率。在给定的倒排记录表中,最大可由1字节编码的间距为127,最大可由2字节编码的间距为16383。整个记录表编码后的空间需求为13字节。
习题5-8涉及γ 编码的间距还原。编码串1110001110101011111101101111011解码后得到的间距序列和倒排记录表分别为:9, 6, 3, 59, 7;10, 15, 18, 77, 84。
第六章介绍了文档评分和词项权重计算。在TF-IDF模型中,考虑了词项的频率(TF)和逆文档频率(IDF)。对于Doc1、Doc2和Doc3,以及词项"car"、"auto"、"insurance"和"best",计算TF-IDF值如下:
- "car": (27, 1) for Doc1, (4, 1) for Doc2, (24, 1) for Doc3
- "auto": (3, 1) for Doc1, (33, log(3/3)) for Doc2, (0, 0) for Doc3
- "insurance": (0, 1) for Doc1, (33, log(3/3)) for Doc2, (29, 1) for Doc3
- "best": (14, 1) for Doc1, (0, 0) for Doc2, (17, 1) for Doc3
这个资料详细解答了信息检索中的基础概念和算法,包括布尔检索的实现、索引压缩技术以及TF-IDF模型的应用,是学习信息检索领域的重要参考资料。