Java核心技术深度解析：JVM、集合至分布式概览

需积分: 10 122 浏览量更新于2024-07-16 收藏 11.6MB PDF 举报

"《JAVA核心知识点整理.pdf》是一份详尽的Java技术指南，覆盖了Java开发中的关键领域。这份文档首先介绍了JVM（Java虚拟机）的基础，包括线程的管理和内存区域的划分，如程序计数器、虚拟机栈、本地方法区、堆以及方法区（在Java 8之后改名为元数据区）。JVM的运行时内存结构详细解析了新生代（包含Eden、Survivor From和Survivor To区，以及Minor GC的过程）、老年代和永久代（在Java 8之后移除）的运作机制。垃圾回收是Java内存管理的重要部分，文档深入剖析了引用计数法、可达性分析以及各种垃圾回收算法，如标记清除、复制、标记整理和分代收集算法。此外，还讲解了四种引用类型：强引用、软引用、弱引用和虚引用，以及它们在内存管理中的作用。分代收集算法和分区收集算法的比较也是重要内容，特别提到了Serial、ParNew、ParallelScavenge和SerialOld这几种常用的垃圾收集器，它们各自的特点和适用场景。通过这些内容，读者可以对Java内存管理有深入的理解，有助于提升在实际项目中的性能优化能力。整体而言，《JAVA核心知识点整理.pdf》不仅适合初学者系统学习Java，也对有一定经验的开发者提供了一个巩固和深化理解的平台，对于理解和实践Java技术有着重要的参考价值。"

13/04/2018

Page 16 of 283

24. 分布式缓存 ...................................................................................................................................... 257

24.1.1.

缓存雪崩

.................................................................................................................................... 257

24.1.2.

缓存穿透

.................................................................................................................................... 257

24.1.3.

缓存预热

.................................................................................................................................... 257

24.1.4.

缓存更新

.................................................................................................................................... 257

24.1.5.

缓存降级

.................................................................................................................................... 257

25. HADOOP ........................................................................................................................................ 259

25.1.1.

概念

............................................................................................................................................ 259

25.1.2. HDFS ......................................................................................................................................... 259

25.1.2.1. Client .................................................................................................................................................. 259

25.1.2.2. NameNode ........................................................................................................................................ 259

25.1.2.3. Secondary NameNode ................................................................................................................. 259

25.1.2.4. DataNode......................................................................................................................................... 259

25.1.3. MapReduce ............................................................................................................................... 260

25.1.3.1. Client ................................................................................................................................................. 260

25.1.3.2. JobTracker ....................................................................................................................................... 260

25.1.3.3. TaskTracker ...................................................................................................................................... 261

25.1.3.4. Task ................................................................................................................................................... 261

25.1.3.5. Reduce Task 执行过程 ................................................................................................................... 261

25.1.4. Hadoop MapReduce

作业的生命周期

................................................................................... 262

1.作业󰦡交与初始化........................................................................................................................................... 262

2.任务调度与监控。........................................................................................................................................... 262

3.任务运行环境准备........................................................................................................................................... 262

4.任务执行 .......................................................................................................................................................... 262

5.作业完成。 ...................................................................................................................................................... 262

26. SPARK ............................................................................................................................................ 263

26.1.1.

概念

............................................................................................................................................ 263

26.1.2.

核心架构

.................................................................................................................................... 263

Spark Core ......................................................................................................................................................... 263

Spark SQL .......................................................................................................................................................... 263

Spark Streaming ................................................................................................................................................ 263

Mllib ..................................................................................................................................................................... 263

GraphX ................................................................................................................................................................ 263

26.1.3.

核心组件

.................................................................................................................................... 264

Cluster Manager-制整个集群，监控 worker ................................................................................................. 264

Worker 节点-负责控制计算节点 ....................................................................................................................... 264

Driver：运行 Application 的 main()函数......................................................................................................... 264

Executor：执行器，是为某个 Application 运行在 worker node 上的一个进程 .......................................... 264

26.1.4. SPARK

编程模型

...................................................................................................................... 264

26.1.5. SPARK

计算模型

...................................................................................................................... 265

26.1.6. SPARK

运行流程

...................................................................................................................... 266

1. 构建 Spark Application 的运行环境，启动 SparkContext .................................................................... 267

2. SparkContext 向资源管理器（可以是 Standalone，Mesos，Yarn）申请运行 Executor 资源，并启

动 StandaloneExecutorbackend， .................................................................................................................. 267

3. Executor 向 SparkContext 申请 Task ..................................................................................................... 267

4. SparkContext 将应用程序分发给 Executor ............................................................................................ 267

5. SparkContext 构建成 DAG 图，将 DAG 图分解成 Stage、将 Taskset 发送给 Task Scheduler，最

后由 Task Scheduler 将 Task 发送给 Executor 运行 ..................................................................................... 267

6. Task 在 Executor 上运行，运行完释放所有资源................................................................................... 267

26.1.7. SPARK RDD

流程

.................................................................................................................... 267

26.1.8. SPARK RDD ............................................................................................................................. 267

（1）RDD 的创建方式........................................................................................................................................... 267

（2）RDD 的两种操作算子（转换（Transformation）与行动（Action）） .............................................. 268

27. STORM ........................................................................................................................................... 269

13/04/2018

Page 17 of 283

27.1.1.

概念

............................................................................................................................................ 269

27.1.1.

集群架构

.................................................................................................................................... 269

27.1.1.1. Nimbus（master-代码分发给 Supervisor） ................................................................................ 269

27.1.1.2. Supervisor（slave-管理 Worker 进程的启动和终止） ............................................................... 269

27.1.1.3. Worker（具体处理组件逻辑的进程） ............................................................................................ 269

27.1.1.4. Task ................................................................................................................................................... 270

27.1.1.5. ZooKeeper ........................................................................................................................................ 270

27.1.2.

编程模型（spout->tuple->bolt）

....................................................................................... 270

27.1.2.1. Topology ............................................................................................................................................ 270

27.1.2.2. Spout.................................................................................................................................................. 270

27.1.2.3. Bolt ..................................................................................................................................................... 270

27.1.2.4. Tuple .................................................................................................................................................. 270

27.1.2.5. Stream ............................................................................................................................................... 271

27.1.3. Topology

运行

........................................................................................................................... 271

(1). Worker（进程） (2). Executor（线程） (3). Task .................................................................................. 271

27.1.3.1. Worker(1 个 worker 进程执行的是 1 个 topology 的子集) ....................................................... 271

27.1.3.2. Executor(executor 是 1 个被 worker 进程启动的单独线程) ...................................................... 271

27.1.3.3. Task(最终运行 spout 或 bolt 中代码的单元) ............................................................................... 272

27.1.4. Storm Streaming Grouping ..................................................................................................... 272

27.1.4.1. huffle Grouping ................................................................................................................................. 273

27.1.4.2. Fields Grouping ................................................................................................................................ 273

27.1.4.3. All grouping ：广播 .......................................................................................................................... 273

27.1.4.4. Global grouping ................................................................................................................................ 274

27.1.4.5. None grouping ：不分组 ................................................................................................................. 274

27.1.4.6. Direct grouping ：直接分组指定分组 ........................................................................................... 274

28. YARN .............................................................................................................................................. 275

28.1.1.

概念

............................................................................................................................................ 275

28.1.2. ResourceManager ................................................................................................................... 275

28.1.3. NodeManager ........................................................................................................................... 275

28.1.4.

ApplicationMaster

................................................................................................................. 276

28.1.5.

YARN 运行流程

.................................................................................................................... 277

29. 机器学习 .......................................................................................................................................... 278

29.1.1.

决策树

........................................................................................................................................ 278

29.1.2.

随机森林算法

............................................................................................................................ 278

29.1.3.

逻辑回归

.................................................................................................................................... 278

29.1.4. SVM............................................................................................................................................ 278

29.1.5.

朴素贝叶斯

................................................................................................................................ 278

29.1.6. K