数据仓库作业：Hadoop环境下的词频分析

"数据仓库课程作业21，由朱宏明老师指导，学生刘文朔和谭梓煊参与。作业内容涉及数据预处理、Hadoop环境搭建、词频计算程序编写，以及对词频表的进一步处理。目标是计算用户评论文件中不同单词的数量和频次，处理时要考虑单词的不同形式，如单复数、不同时态。" 在这个数据仓库课程作业中，学生们面临的主要任务可以分为以下几个关键知识点： 1. **数据预处理**：在处理原始评论文件时，首要任务是进行数据清洗。这包括去除非打印字符、标点符号，以及特定的标识符如"review"和"user"等。此外，还需要处理html标签、HTML字符转义（如` `）以及不可打印的非法字符。对于特定情况，如"It’s"这样的简写，需要保留'符号。预处理通常使用Python和C语言来实现。 2. **Hadoop环境搭建**：作业要求在Hadoop环境中运行词频计算程序。Hadoop是一个分布式计算框架，用于处理和存储大量数据。在这里，学生需要构建小型分布式集群或伪分布式集群，并在此基础上运行Java编写的WordCount程序。 3. **WordCount程序**：WordCount是Hadoop的典型示例程序，用于统计文本中各个单词出现的频率。学生们需要用Java编写这个程序，对预处理后的评论文件进行处理，生成词频表。 4. **词频表处理**：词频表生成后，需要进一步处理，包括合并同一单词的不同形式，如单复数和不同时态，以及拆分被误判为一个单词的多个单词。这个阶段可能需要用到Python，以及自然语言处理（NLP）库，如NLTK或spaCy，来实现这些复杂的文本处理任务。 5. **编码处理**：原始评论数据集使用UTF-8编码无法正常读取，所以选择了iso-8859-1编码来读取和处理文件。在处理过程中，对特定字符进行识别和过滤，确保数据的有效性和准确性。 6. **数据格式理解**：根据描述，数据集包含"summary"和"text"两部分内容，这表明评论可能分为简介和正文两部分。在预处理时，只保留这两部分进行分析。 整个作业流程展示了大数据处理的基本步骤，从数据预处理到分布式计算，再到后期的文本分析，涵盖了数据科学和大数据技术的关键环节。通过这个作业，学生能够深入理解和应用Hadoop生态系统，同时增强其在文本处理和自然语言处理方面的能力。