亿级用户推荐实战：LR+FM混合模型与Spark应用

亿级用户个性化品类推荐实战解析是美团平台个性化推荐算法和业务研发负责人晓宇于2018年4月16日晚上分享的主题，讨论了如何处理大规模用户数据并实现高效推荐。关键知识点包括： 1. **LR+FM混合模型**：模型结合了逻辑回归（LR）和 Factorization Machine (FM)。LR用于处理用户没有行为或行为稀疏的情况，通过模拟记忆（Memorization）功能来提高推荐效果；FM则负责特征组合，增强模型的表达能力。这种混合模型参考了Google的《Wide&DeepLearningforRecommenderSystems》论文。 2. **数据清洗**：采用了ETL（Extract, Transform, Load）工具进行数据预处理，确保数据质量。这包括数据提取、转换（如处理缺失值、异常值等）和加载到适合训练的数据仓库。 3. **Spark与Hadoop比较**：Spark被选用是因为其更高效，支持实时计算和交互式数据处理，适用于大数据环境下的机器学习任务。Spark MLlib（机器学习库）相比sklearn和TensorFlow提供了更灵活且针对大数据场景的工具。 4. **特征选择与实现**：FM是Spark MLlib中的内置模型，而用户画像可能涉及到用户的静态属性和行为特征，通过特征筛选和组合构建。深度学习并未被广泛采用，可能是因为在亿级用户场景下，FM和LR的混合模型已经足够有效。 5. **推荐系统评估与优化**：推荐系统会做A/B测试，实时训练和召回策略。精排部分主要依赖于FM+LR模型，而重排可能涉及更复杂的排序算法。对于海量特征，性能优化可能通过特征工程、降维或使用分布式计算技术。 6. **未登录场景扩展**：通过设备ID到用户ID的映射，即使在H5等无登录情况下也能关联用户。具体做法可能涉及用户行为跟踪、匿名化处理等技术。 7. **推荐评测系统**：设计一个包含实时监控、A/B测试结果分析和反馈循环的系统，以持续优化推荐算法。 8. **人力配置**：新接入推荐场景时，算法与工程的人力配比会根据项目复杂度调整，算法团队负责模型研发，工程团队负责实现和部署。 9. **模型运行平台**：XGBoost和FM可能是在Spark上运行的，其中FM是使用Spark MLlib的内置库，而非自行实现。 10. **实时性与统计特征**：统计类特征依赖于实时日志回流，错误的日志可能导致特征偏差，但不影响推荐算法的实时更新。 晓宇分享的内容深入探讨了个性化推荐系统的设计、实施细节以及在实际场景中的应用和优化策略，展示了亿级用户数据处理的独特挑战和解决方案。