李宏毅机器学习作业：RNN情感分析

该资源是李宏毅2020年机器学习课程的第四次作业，主要内容是使用循环神经网络（RNN）进行句子情感分类。作业要求使用RNN模型，不能借助额外数据或预训练模型。提供的数据包括带有标签的训练数据（training_label.txt）和无标签的训练数据（training_nolabel.txt），用于半监督学习。 **1. 机器学习基础知识** 在情感分类任务中，机器学习扮演着核心角色。这个作业要求使用RNN，这是一种适用于处理序列数据的深度学习模型，特别适合理解和捕捉文本中的上下文信息。 **2. RNN（循环神经网络）** RNN是一种能够处理序列输入的神经网络，其结构允许信息在时间步骤之间流动。在情感分类中，RNN可以分析句子中的每个单词，理解它们的顺序，从而决定整个句子的情感倾向。 **3. 句子表示** 在RNN中，句子需要转换为数值向量形式以便计算机处理。常见的表示方法包括： - **1-of-N encoding**：将每个单词映射为一个独热编码的向量，其中只有一个元素为1，其余为0。 - **Bag of Words (BOW)**：不考虑单词顺序，仅统计单词出现的频率，形成向量。 - **Word Embedding**：如word2vec，通过训练得到的词向量，能够捕捉词汇之间的语义关系。 **4. 半监督学习（Semi-supervised Learning）** 在此次作业中，由于训练数据有限，使用了半监督学习策略。半监督学习结合了有标签和无标签的数据，通过利用大量无标签数据的潜在信息来提高模型的性能。在这种情况下，无标签数据（training_nolabel.txt）可以用来进行自我训练(self-training)。 **5. 数据预处理** 数据预处理是任何自然语言处理任务的关键步骤，包括： - 清洗文本：去除特殊字符，标准化大小写，分词等。 - 创建词汇表：将所有独特的单词映射到一个编号序列。 - 转换句子：使用上述的1-of-N编码、BOW或word embedding将句子转换成可输入模型的向量。 **6. PyTorch实现** 作业可能要求学生使用Python的PyTorch库构建和训练RNN模型。这涉及以下步骤： - 定义`Dataset`类来加载和处理数据。 - 构建RNN模型，通常使用LSTM（长短时记忆网络）来处理序列数据。 - 训练模型，包括设置损失函数、优化器，并进行反向传播更新权重。 - 测试模型，评估其在测试数据集上的表现。 **7. 自我训练（Self-training）** 作为一种半监督学习方法，自我训练是指先用有标签数据训练初步模型，然后用这个模型对无标签数据进行预测，将预测结果作为新的“伪标签”加入训练集，再重新训练模型。这样可以逐步提升模型的性能。 总结来说，这个作业涵盖了情感分析的基本流程，包括数据预处理、模型构建（RNN，特别是LSTM）、训练与测试，以及半监督学习策略的应用，旨在帮助学生深入理解和应用深度学习技术在自然语言处理任务中的应用。