哈工深情感分析复赛文档：模型与数据处理

"这是一个关于互联网新闻情感分析的项目复现文档，由我们都上哈工深团队完成。项目包括初赛和复赛的数据处理、模型训练、融合策略等内容，旨在进行情感分析并取得高准确率。" 本文档详细介绍了如何复现一个针对互联网新闻的情感分析项目。项目团队在哈工深的比赛中取得了优异的成绩，通过整合多个模型的预测结果实现了高效的情感分类。项目主要分为四个部分：数据、模型、源代码和复赛融合。 1. 数据处理： - 数据集包括初赛和复赛的训练数据以及复赛的测试数据，存储在"data"文件夹下。 - 数据预处理涉及合并初赛和复赛的数据、分层抽样进行五折划分以及英文字符的替换，这些操作在"data"目录中的IPython Notebook执行。 - 运行"001_初赛复赛数据集合并.ipynb"合并数据，"002_原始数据分层抽样划分5折.ipynb"和"003_原始数据分层抽样划分5折-随机种子24.ipynb"进行数据划分。 2. 模型训练： - 使用了12个不同的模型，前9个模型的代码位于"sentiment-code-last/source"，模型结果保存在"sentiment-code-last/model"。 - 这些模型包括但不限于基于深度学习和传统机器学习的算法，如LSTM、BERT等，用于情感分析任务。 3. 模型融合与伪标签： - 前9个模型的预测结果被用作伪标签数据，生成过程是将这些模型对测试集的预测结果整合到"data_8223"目录下。 - "model012"使用这些伪标签数据进行进一步训练，提高模型的泛化能力。 4. 复赛融合策略： - 在"sentiment-code-last/复赛融合"文件夹中，包含了融合不同模型预测结果的代码，这有助于提升整体预测的准确度。 - "sentiment-code-last/复赛融合/src/"目录下的代码负责处理和融合这些模型的输出。 这个项目不仅展示了情感分析的实践过程，还体现了数据预处理、模型选择、融合策略等关键步骤在提高预测性能中的作用。对于想要学习情感分析或机器学习竞赛的读者，这是一个宝贵的资源，提供了从数据准备到模型融合的完整流程。