倒排索引实验：计算词频与TF-IDF

"实验3 倒排索引1，要求使用MapReduce Job 实现带词频属性的文档倒排算法，计算词语的平均出现次数并进行全局排序，同时为每位作家计算每个词语的TF-IDF值。实验数据包括金庸、梁羽生等五位小说家的全集，文本已分词，使用UTF-8编码，要求在指定集群上运行并提交实验报告。" 在倒排索引的概念中，它是一种用于快速查找文档中特定词语出现位置的数据结构。在这个实验中，学生们被要求实现一个特殊的倒排索引，不仅记录每个词语在哪些文档中出现，还要记录它们的词频。倒排索引的基本思想是将文档中的词语作为键，对应的文档编号和词频作为值，这样可以快速定位到包含特定词语的所有文档。 实验的第一个任务是计算每个词语的平均出现次数。平均出现次数是一个衡量词语在整个文档集中分布情况的指标，计算方法是将词语在所有文档中的频数总和除以包含该词语的文档数。例如，词语“江湖”在4本小说中分别出现100、200、300和0次，那么它的平均出现次数就是(100+200+300)/3=200。 第二个任务是在同一个MapReduce Job中完成，输出格式要求为：词语后跟TAB键，然后是平均出现次数，接着是每本小说（去除文件后缀.txt.segmented）及其对应的词频。这种格式便于后续处理和分析。 实验的选做部分要求对每个词语的平均出现次数进行全局排序，这可以通过MapReduce的Shuffle和Sort阶段来实现，根据平均出现次数降序排列。 第三个任务是计算TF-IDF值，这是一种在信息检索和自然语言处理中常用的加权技术。TF（Term Frequency）是指词语在某文档中的出现频率，IDF（Inverse Document Frequency）则反映了词语在整个文档集中的稀有程度。TF-IDF的计算公式为：IDF(词语) = log(语料库文档总数 / (包含该词的文档数 + 1))。TF-IDF值越高，表示词语在特定文档中的重要性越大，因为它是高频且在其他文档中不常见的。 实验数据集包括五位小说家的全集，用于单机测试的是金庸的小说，而全部数据集则存储在HDFS上。学生需要在指定集群上运行程序，处理全部数据，并输出结果到HDFS。实验报告要求包括源代码、JAR包、执行说明以及实验过程和结果的详细描述。通过这个实验，学生不仅可以熟悉MapReduce编程，还能深入理解倒排索引、词语统计和TF-IDF的重要性。