尚硅谷电商推荐系统：基于大数据的实时与离线推荐

"尚硅谷大数据技术之电商推荐系统是一个涵盖了离线推荐与实时推荐的综合项目，基于修改后的中文亚马逊电商数据集，采用多种技术如AngularJS 2、Spring、MongoDB、Redis、Spark、Flume、Kafka和Spark Streaming等，构建从前端到后端的全方位推荐系统。该项目包括用户可视化界面、综合业务服务、数据存储、离线推荐和实时推荐等关键模块。数据存储部分使用MongoDB作为主数据库，Redis作为缓存数据库。离线推荐使用SparkCore+Spark MLlib的ALS算法，而实时推荐则依赖于Flume的数据采集、Kafka的消息缓冲和Spark Streaming的实时处理。整个系统通过SparkSQL初始化数据，并使用Azkaban进行任务调度。" 在这个电商推荐系统中，大数据技术起着至关重要的作用。推荐系统是基于用户行为和商品信息，通过协同过滤和基于内容的推荐方法提供个性化推荐。系统架构分为几个关键部分： 1. **用户可视化**：前端应用由AngularJS 2开发，负责用户交互和数据展示，部署在Apache服务器上。 2. **综合业务服务**：后端服务基于JavaEE和Spring框架，处理业务逻辑，部署在Tomcat服务器。 3. **数据存储**：使用MongoDB作为主要数据库，存储业务逻辑数据；Redis作为缓存，确保实时推荐的高效数据访问。 4. **离线推荐**：通过SparkCore和Spark SQL进行批处理统计，使用Spark MLlib的ALS算法实现离线推荐。 5. **实时推荐**：Flume收集日志，Kafka作为消息缓冲，Spark Streaming处理实时数据流，实现实时推荐，结果更新到MongoDB。 6. **系统初始化**：使用SparkSQL将初始数据加载到MongoDB，Azkaban用于任务调度，确保离线统计和推荐服务按预定时间运行。 这个系统的综合性和技术栈的深度，展示了大数据技术在电商推荐系统中的应用，不仅涉及数据处理和分析，还涵盖了用户交互、服务架构等多个方面，旨在提高用户体验和销售效率。