推荐系统实战：MR回顾与排序方法

在本篇学习笔记中，主要讨论了推荐系统的构建流程和MapReduce技术在其中的应用。推荐系统由四个关键步骤组成： 1. 召回阶段（粗排阶段）: 这一步骤利用token（可能是一个用户的查询或兴趣指标）来检索相关的物品（例如电影、商品），通常会返回大量候选物品，如8个item。这个阶段的目标是尽可能广泛地找出可能匹配的项目。 2. 过滤阶段（粗排后的精排）: 在召回的众多项目中，通过某种评估机制（如协同过滤、内容过滤或混合方法）过滤掉质量较低的项目，留下更符合用户兴趣的5个item。 3. 排序阶段（精排阶段）: 对剩下的优质项目进行排序，通常是按照与用户兴趣的匹配程度或者个性化度量进行，目的是将最相关、最有可能被用户接受的项目放在前面。 4. 截断与取TopN: 最后，从排序结果中选取前几个（如TopN）作为最终的推荐列表展示给用户。 此外，笔记还回顾了MapReduce技术的相关内容，包括Hadoop MapReduce架构的基本概念。在Hadoop 1.0中，系统包含jobtracker、namenode、tasktracker和datanode等角色，以及TaskTracker的并发限制。Hadoop 2.0引入了ResourceMgr和ApplicationManager，以及NodeManager和Container的概念，强调了资源管理和任务调度的改进。MapReduce的核心思想是“分而治之”，通过map和reduce操作处理大规模数据。 实践中，以wordcount和全排序为例，展示了如何使用MapReduce框架编写简单的分布式计算任务，如全局排序。对于单个reducer的全排序，可以通过设置较大的base_count确保key的字典序排序，这是Hadoop MapReduce框架内置排序功能的应用。 这部分内容结合了推荐系统中的召回与筛选策略，以及MapReduce技术在实际场景中的应用，为读者提供了一个全面理解推荐系统工作原理和大数据处理框架的视角。