2020年Java核心技术深度解析：内存管理与垃圾回收详解

java

学习资源

4星 · 超过85%的资源需积分: 50 93 浏览量更新于2023-05-13 收藏 10.33MB PDF 举报

身份认证购VIP最低享 7 折!

领优惠券(最高得80元）

资源详情

资源推荐

13/04/2018

Page 15 of 283

20.1.3.2. Term（任期） ................................................................................................................................... 226

20.1.3.3. 选举（Election） .............................................................................................................................. 227

选举定时器 .......................................................................................................................................................... 227

20.1.3.4. 安全性（Safety） ............................................................................................................................. 227

20.1.3.5. raft 协议和 zab 协议区别 ................................................................................................................. 227

20.1.4. NWR ........................................................................................................................................... 228

N：在分布式存储系统中，有多少份备份数据 ................................................................................................ 228

W：代表一次成功的更新操作要求至少有 w 份数据写入成功 ...................................................................... 228

R：代表一次成功的读数据操作要求至少有 R 份数据成功读取 .................................................................. 228

20.1.5. Gossip ........................................................................................................................................ 228

20.1.6.

一致性

Hash .............................................................................................................................. 229

20.1.6.1. 一致性 Hash 特性 ............................................................................................................................. 229

20.1.6.2. 一致性 Hash 原理 ............................................................................................................................. 229

1.建构环形 hash 空间： .................................................................................................................................... 229

2.把需要缓存的内容(对象)映射到 hash 空间 .................................................................................................. 229

3.把服务器(节点)映射到 hash 空间 ................................................................................................................. 229

4.把对象映射到服务节点 ................................................................................................................................... 229

考察 cache 的变动 ............................................................................................................................................. 230

虚拟节点 .............................................................................................................................................................. 230

21. JAVA 算法 ...................................................................................................................................... 232

21.1.1.

二分查找

.................................................................................................................................... 232

21.1.2.

冒泡排序算法

............................................................................................................................ 232

21.1.3.

插入排序算法

............................................................................................................................ 233

21.1.4.

快速排序算法

............................................................................................................................ 234

21.1.1.

希尔排序算法

............................................................................................................................ 236

21.1.2.

归并排序算法

............................................................................................................................ 237

21.1.3.

桶排序算法

................................................................................................................................ 240

21.1.4.

基数排序算法

............................................................................................................................ 241

21.1.5.

剪枝算法

.................................................................................................................................... 243

21.1.6.

回溯算法

.................................................................................................................................... 243

21.1.7.

最短路径算法

............................................................................................................................ 243

21.1.8.

最大子数组算法

........................................................................................................................ 243

21.1.9.

最长公共子序算法

.................................................................................................................... 243

21.1.10.

最小生成树算法

.................................................................................................................... 243

22. 数据结构 .......................................................................................................................................... 245

22.1.1.

栈（

stack

）

............................................................................................................................... 245

22.1.2.

队列（

queue

）

......................................................................................................................... 245

22.1.3.

链表（

Link

）

............................................................................................................................. 245

22.1.4.

散列表（

Hash Table

）

............................................................................................................ 246

22.1.5.

排序二叉树

................................................................................................................................ 246

22.1.5.1. 插入操作 ............................................................................................................................................ 246

22.1.5.2. 删除操作 ............................................................................................................................................ 247

22.1.5.3. 查询操作 ............................................................................................................................................ 248

22.1.6.

红黑树

........................................................................................................................................ 248

22.1.6.1. 红黑树的特性 .................................................................................................................................... 248

22.1.6.1. 左旋 .................................................................................................................................................... 248

22.1.6.1. 右旋 .................................................................................................................................................... 249

22.1.6.1. 添加 .................................................................................................................................................... 250

22.1.6.2. 删除 .................................................................................................................................................... 251

22.1.7. B-TREE ...................................................................................................................................... 252

22.1.8.

位图

............................................................................................................................................ 254

23. 加密算法 .......................................................................................................................................... 255

23.1.1. AES ............................................................................................................................................ 255

23.1.2. RSA ............................................................................................................................................ 255

23.1.3. CRC............................................................................................................................................ 256

23.1.4. MD5 ............................................................................................................................................ 256

13/04/2018

Page 16 of 283

24. 分布式缓存 ...................................................................................................................................... 257

24.1.1.

缓存雪崩

.................................................................................................................................... 257

24.1.2.

缓存穿透

.................................................................................................................................... 257

24.1.3.

缓存预热

.................................................................................................................................... 257

24.1.4.

缓存更新

.................................................................................................................................... 257

24.1.5.

缓存降级

.................................................................................................................................... 257

25. HADOOP ........................................................................................................................................ 259

25.1.1.

概念

............................................................................................................................................ 259

25.1.2. HDFS ......................................................................................................................................... 259

25.1.2.1. Client .................................................................................................................................................. 259

25.1.2.2. NameNode ........................................................................................................................................ 259

25.1.2.3. Secondary NameNode ................................................................................................................. 259

25.1.2.4. DataNode......................................................................................................................................... 259

25.1.3. MapReduce ............................................................................................................................... 260

25.1.3.1. Client ................................................................................................................................................. 260

25.1.3.2. JobTracker ....................................................................................................................................... 260

25.1.3.3. TaskTracker ...................................................................................................................................... 261

25.1.3.4. Task ................................................................................................................................................... 261

25.1.3.5. Reduce Task 执行过程 ................................................................................................................... 261

25.1.4. Hadoop MapReduce

作业的生命周期

................................................................................... 262

1.作业提交与初始化........................................................................................................................................... 262

2.任务调度与监控。........................................................................................................................................... 262

3.任务运行环境准备........................................................................................................................................... 262

4.任务执行 .......................................................................................................................................................... 262

5.作业完成。 ...................................................................................................................................................... 262

26. SPARK ............................................................................................................................................ 263

26.1.1.

概念

............................................................................................................................................ 263

26.1.2.

核心架构

.................................................................................................................................... 263

Spark Core ......................................................................................................................................................... 263

Spark SQL .......................................................................................................................................................... 263

Spark Streaming ................................................................................................................................................ 263

Mllib ..................................................................................................................................................................... 263

GraphX ................................................................................................................................................................ 263

26.1.3.

核心组件

.................................................................................................................................... 264

Cluster Manager-制整个集群，监控 worker ................................................................................................. 264

Worker 节点-负责控制计算节点 ....................................................................................................................... 264

Driver：运行 Application 的 main()函数......................................................................................................... 264

Executor：执行器，是为某个 Application 运行在 worker node 上的一个进程 .......................................... 264

26.1.4. SPARK

编程模型

...................................................................................................................... 264

26.1.5. SPARK

计算模型

...................................................................................................................... 265

26.1.6. SPARK

运行流程

...................................................................................................................... 266

1. 构建 Spark Application 的运行环境，启动 SparkContext .................................................................... 267

2. SparkContext 向资源管理器（可以是 Standalone，Mesos，Yarn）申请运行 Executor 资源，并启

动 StandaloneExecutorbackend， .................................................................................................................. 267

3. Executor 向 SparkContext 申请 Task ..................................................................................................... 267

4. SparkContext 将应用程序分发给 Executor ............................................................................................ 267

5. SparkContext 构建成 DAG 图，将 DAG 图分解成 Stage、将 Taskset 发送给 Task Scheduler，最

后由 Task Scheduler 将 Task 发送给 Executor 运行 ..................................................................................... 267

6. Task 在 Executor 上运行，运行完释放所有资源................................................................................... 267

26.1.7. SPARK RDD

流程

.................................................................................................................... 267

26.1.8. SPARK RDD ............................................................................................................................. 267

（1）RDD 的创建方式........................................................................................................................................... 267

（2）RDD 的两种操作算子（转换（Transformation）与行动（Action）） .............................................. 268

27. STORM ........................................................................................................................................... 269

13/04/2018

Page 17 of 283

27.1.1.

概念

............................................................................................................................................ 269

27.1.1.

集群架构

.................................................................................................................................... 269

27.1.1.1. Nimbus（master-代码分发给 Supervisor） ................................................................................ 269

27.1.1.2. Supervisor（slave-管理 Worker 进程的启动和终止） ............................................................... 269

27.1.1.3. Worker（具体处理组件逻辑的进程） ............................................................................................ 269

27.1.1.4. Task ................................................................................................................................................... 270

27.1.1.5. ZooKeeper ........................................................................................................................................ 270

27.1.2.

编程模型（spout->tuple->bolt）

....................................................................................... 270

27.1.2.1. Topology ............................................................................................................................................ 270

27.1.2.2. Spout.................................................................................................................................................. 270

27.1.2.3. Bolt ..................................................................................................................................................... 270

27.1.2.4. Tuple .................................................................................................................................................. 270

27.1.2.5. Stream ............................................................................................................................................... 271

27.1.3. Topology

运行

........................................................................................................................... 271

(1). Worker（进程） (2). Executor（线程） (3). Task .................................................................................. 271

27.1.3.1. Worker(1 个 worker 进程执行的是 1 个 topology 的子集) ....................................................... 271

27.1.3.2. Executor(executor 是 1 个被 worker 进程启动的单独线程) ...................................................... 271

27.1.3.3. Task(最终运行 spout 或 bolt 中代码的单元) ............................................................................... 272

27.1.4. Storm Streaming Grouping ..................................................................................................... 272

27.1.4.1. huffle Grouping ................................................................................................................................. 273

27.1.4.2. Fields Grouping ................................................................................................................................ 273

27.1.4.3. All grouping ：广播 .......................................................................................................................... 273

27.1.4.4. Global grouping ................................................................................................................................ 274

27.1.4.5. None grouping ：不分组 ................................................................................................................. 274

27.1.4.6. Direct grouping ：直接分组指定分组 ........................................................................................... 274

28. YARN .............................................................................................................................................. 275

28.1.1.

概念

............................................................................................................................................ 275

28.1.2. ResourceManager ................................................................................................................... 275

28.1.3. NodeManager ........................................................................................................................... 275

28.1.4.

ApplicationMaster

................................................................................................................. 276

28.1.5.

YARN 运行流程

.................................................................................................................... 277

29. 机器学习 .......................................................................................................................................... 278

29.1.1.

决策树

........................................................................................................................................ 278

29.1.2.

随机森林算法

............................................................................................................................ 278

29.1.3.

逻辑回归

.................................................................................................................................... 278

29.1.4. SVM............................................................................................................................................ 278

29.1.5.

朴素贝叶斯

................................................................................................................................ 278

29.1.6. K