大数据与人工智能：关键知识点与技术详解

本资源文档主要讲述了大数据与人工智能领域的基础知识，涵盖了Hadoop、Yarn、Hive、ZooKeeper、HDFS、Redis、HBase以及它们各自的关键特性、组件和应用场景。以下是文档中涉及的主要知识点： 1. **Hadoop**： - 当前最新版本是Hadoop 3.0。 - Hadoop的Yarn组件负责资源管理和任务调度，其中ResourceManager是核心组成部分。 2. **YARN**： - Yarn的NodeManager负责管理各个节点上的资源，而Spark不属于Yarn的标准组件。 3. **Hive**： - 内部表在创建时将数据移动到数据仓库指定位置，这是它与外部表的一个区别。 - Hive主要为报表类业务提供服务，相对于MapReduce，其SQL查询效率更高。 4. **ZooKeeper**： - 引入ZooKeeper的理由是分布式系统需要统一管理和协调。 - ZooKeeper集群包含一个Leader和多个Follower，每个Server保存数据副本，确保全局数据一致性。 5. **HBase**： - 是一个支持实时读写的分布式数据库，尤其适合于大型数据集的存储。 - 表中region随着数据增长会自动分裂，但这一过程是原子性的。 6. **Redis**： - 使用C语言编写，适用于计数场景，支持多种数据结构存储。 - 有主从复制架构和Sentinel架构，但不支持实时数据计算架构。 7. **HDFS**： - 分布式文件系统，数据切块默认大小为128M，支持数据冗余以提高可靠性。 8. **大数据计算模型**： - 包括批处理、流处理、交互式查询和在线机器学习，核心在于将大数据分解为小部分处理。 9. **大数据概念与发展潜力**： - 描述了大数据的特征（如大量化而非量大），以及其在高频交易、社交情绪分析等领域的应用。 10. **大数据应用**： - 个性化推荐属于用户行为分析领域，通过分析用户数据来提供定制服务。 - 大数据区别于普通数据库在于技术要求和资源管理的不同。 11. **大数据体系构建**： - 建设通常包括数据采集、存储、分析和应用四个层面，一般遵循先基础设施后应用的顺序。 12. **HBase与Hive**： - HBase是动态模式数据库，Hive采用覆盖方式，提供SQL查询接口。 13. **计算框架**： - 支持DAG作业的可能是Apache Spark或Apache Flink等计算框架。 14. **大数据与云计算结合**： - 大数据和云计算相互依赖，云计算提供了大数据处理所需的计算资源和平台。 这些知识点展示了大数据处理的基础架构、关键技术及其在实际业务中的应用，以及不同组件之间的协作和特点。对于从事IT行业的人员来说，理解这些内容有助于提升数据处理和分析能力。