双购买行为分析与天猫复购预测-FBDP实验四报告

本实验报告主要围绕在天猫数据集上进行的一系列数据分析和预测任务展开，报告的作者是王天诚，学号是181098273。在实验中，首先进行了针对双11最热门商品和受年轻人关注程度最高的商家的统计；其次编写了Spark程序，对购买了同一商品的男性用户进行了统计分析；接着基于Spark SQL 实现了查询双11购买了商品的预测。数据集来源于阿里天池的比赛数据，并在本地环境中进行实验。 在实验的第一部分，通过MapReduce进行了最热门商品的统计分析。首先设计了一个作业，针对相同用户、相同商品、相同行为去重，避免出现统计错误的情况。数据集是日志形式的，可能存在用户重复操作商品的情况，因此需要先进行去重操作。随后，按照类似Shakespeare文本统计词频的思路，设计了三个具体功能的MapReduce作业来实现商品热度的统计。通过这些作业，能够较为准确地统计出当前最受欢迎的商品以及受到年轻人关注程度较高的商家。 在实验的第二部分，通过编写Spark程序进行了针对购买同一商品的男性用户的统计。这一部分的目的是深入挖掘数据集中用户的消费偏好和购买行为，为商家提供更加精准的营销推荐策略。通过Spark程序的运行，可以分析出购买相同商品的男性用户的购买习惯和特点，为商家制定更有效的市场策略提供了有力的支持。 最后，在实验的最后一部分，通过Spark SQL实现了双11购买商品的预测，这一部分内容是实验的重点之一。通过对数据集进行查询和分析，可以预测出双11购买商品的概率和趋势，为商家在双11活动期间提供有力的数据支持和预测结果，帮助商家更好地准备和计划双11促销活动。 综上所述，实验四报告中王天诚学号181098273通过统计分析、数据挖掘和预测技术，深入探索了天猫数据集中的用户行为和商品购买情况，并在实验中展现了良好的数据处理能力和分析水平。通过本次实验，可以帮助商家更好地理解用户行为和购买习惯，为商家制定更加有效的营销推广策略提供有力支持。