Hadoop实战：社交网络分析与客户分类（Map-Reduce与Mahout）

本周的内容主要围绕Hadoop应用开发中的聚类算法及其在社交网络分析中的实际应用展开。由讲师黄俊在DATAGURU与业数据分析社区分享的第10周课程中，重点讨论了以下几个关键知识点： 1. 社交网络的性质分析：课程首先介绍了社交网络的基本概念，如有向图和无向图的区别，以及度的概念，包括节点的度、入度、出度和加权度。通过QQ好友关系和微博关注关系为例，讲解了这些概念的实际应用。 2. 无标度性质的呈现与理解：学员学习到了社交网络的一个重要特性——无标度（scale-free）性质，即大部分用户的好友数量分布不均，少数人拥有大量好友，而大多数人的好友数相对较少。这一特性通常通过图表展示，如横坐标为好友数，纵坐标为用户数的直方图来直观呈现。 3. 幂律分布与马太效应：课程深入探讨了幂律分布，这是一种数据分布的现象，当数据对数转换后，其线性趋势表明某些特性（如财富或影响力）遵循"80/20"定律，即少数人占据多数资源。 4. 社交网络的其他特性：课程还涉及了"小世界"网络理论，强调了社交网络中人们之间的联系往往比预期的更紧密，即使看起来相隔甚远的人也可能通过少数人连接。此外，社交网络的社团结构也被讨论，如学校、班级和圈子等不同的社区层次。 5. 社交网络聚类算法实践：结合Map-Reduce和Mahout等工具，学员学习如何在Hadoop平台上应用聚类算法对社交网络数据进行分析，以识别用户群体、发现社区结构，并可能进行潜在客户的细分。 6. 版权声明：课程资料属于炼数成金网络课程的教学资源，仅供课程内部使用，禁止在课程之外传播，以确保知识产权的保护。 通过这些内容的学习，学员不仅掌握了社交网络数据分析的基础理论，还能够实操Hadoop工具，为解决实际业务问题提供强有力的数据驱动手段。