Hadoop YARN故障解决秘籍：从初级到专家的诊断与应对

# 1. Hadoop YARN架构概述

## 1.1 Hadoop YARN简介

Hadoop YARN是下一代MapReduce，它通过引进中央调度器（ResourceManager）和每个节点上的节点管理器（NodeManager）来优化资源管理和任务调度。YARN的引入，不仅解决了原MapReduce的可扩展性和资源利用率低下的问题，还为运行其他数据处理模型提供了可能。在本章中，我们将探究YARN的核心架构与组件，及其在大数据处理中的作用。

## 1.2 YARN的主要组件

YARN架构由三个主要组件构成，每个组件都扮演着不可或缺的角色：

- **资源管理器（ResourceManager, RM）**：作为YARN的中心协调者，负责整个系统的资源管理和任务调度。
- **节点管理器（NodeManager, NM）**：在每个节点上运行，负责单个节点的资源管理以及监控容器（containers）的健康状态。
- **应用历史服务器（ApplicationHistoryServer, AHS）**：负责存储和提供应用历史信息，方便用户查询以往作业的状态和性能指标。

## 1.3 YARN架构的工作原理

YARN的工作原理可以概括为以下步骤：

1. **客户端提交应用程序**：用户通过YARN客户端将作业提交给ResourceManager。
2. **ResourceManager分配资源**：ResourceManager根据集群资源状况，向可用的NodeManager请求容器。
3. **任务执行**：NodeManager在分配到的容器内启动任务，并监控执行情况。
4. **任务状态报告与管理**：ResourceManager跟踪应用程序的状态，并在任务完成或失败时更新状态。

这一过程不仅体现了YARN的灵活性和扩展性，也为大数据处理带来了革命性的提升。了解YARN的基本架构，是深入探索其故障处理和优化策略的起点。接下来的章节将详细介绍YARN故障诊断的基础知识，帮助读者构建完整的知识体系。

# 2. YARN故障诊断基础知识

### 2.1 YARN核心组件及工作原理

#### 2.1.1 资源管理器（ResourceManager）

ResourceManager (RM) 在 YARN 中扮演着集群资源管理和调度的核心角色。它负责接收客户端的资源请求，管理集群中所有节点上的资源，并调度应用程序。ResourceManager 接受来自客户端的作业提交请求，并为它们分配资源。

ResourceManager 维护了两个主要的组件，即调度器（Scheduler）和应用程序管理器（ApplicationsManager）。

- **调度器**：根据集群资源的当前使用情况，以及应用程序需求来分配资源。调度器本身不保证资源分配的时间，只负责将集群资源划分为可管理的资源容器，然后分配给应用。
- **应用程序管理器**：管理整个生命周期内的应用程序，包括接受作业提交、协商初始资源容器以及监控应用程序状态。

#### 2.1.2 节点管理器（NodeManager）

NodeManager 是YARN 的工作节点上运行的代理，负责单个节点的资源管理和任务执行。它会与ResourceManager保持心跳信息，以表明当前节点的状态。NodeManager 还负责启动应用程序的容器，监控资源使用情况，并处理来自ResourceManager的任何指令。

NodeManager 会向ResourceManager报告有关各个容器的健康状况，并且还会负责处理来自ResourceManager 的指令，比如启动、停止容器以及重新分配资源等操作。

#### 2.1.3 应用历史服务器（ApplicationHistoryServer）

ApplicationHistoryServer 用来存储应用程序的历史信息，以便为开发者和管理员提供对应用程序执行过程的深入分析。它在应用程序运行结束后启动，维护了应用程序的历史记录，包含每个应用程序执行的详细记录，例如应用程序的生命周期事件、作业计数器、资源使用量等。

### 2.2 日志和监控工具的使用

#### 2.2.1 YARN日志收集与管理

在YARN中，日志的收集和管理是由ResourceManager和NodeManager来协调进行的。ResourceManager负责收集各个NodeManager节点的日志，并存储在Hadoop文件系统的指定目录下。每个应用程序运行的容器产生的日志都会被NodeManager抓取，并被传递到ResourceManager上。

日志是故障诊断中不可或缺的资源，因此YARN提供了一系列日志管理命令，如 `yarn logs -applicationId <appId>`，来帮助用户查看特定应用程序的日志信息。这对于理解应用程序在执行过程中可能遇到的问题至关重要。

#### 2.2.2 YARN监控指标解析

YARN提供了多个监控指标，用于了解和优化集群的性能。这些指标可以在ResourceManager的web界面中查看，并且可以用来分析集群的整体健康状况和性能瓶颈。

一些关键的监控指标包括：

- **资源使用情况**：比如可用内存、CPU的使用量等。
- **应用程序状态**：正在运行、已完成或失败的应用程序数量。
- **容器状态**：当前活跃容器的数量、等待执行的容器等。

#### 2.2.3 第三方监控工具简介

除了YARN自带的监控机制之外，还有许多第三方工具也提供了对YARN集群的监控能力，这些工具可以提供更丰富的可视化和报警机制。一些流行的选择包括：

- **Ganglia**：是一个高性能、可扩展的分布式监控系统，适合监控大型集群。
- **Nagios**：提供网络和服务的监控，报警和通知功能强大。
- **Prometheus**：搭配Grafana仪表盘，可以实现美观且动态的YARN集群监控界面。

### 2.3 故障排查流程介绍

#### 2.3.1 故障排查的基本步骤

进行故障排查时，首先需要理解故障的症状。这包括了解集群当前的状态，比如集群负载、失败的应用程序列表，以及资源使用情况。一旦收集了足够的信息，接下来可以依据以下步骤进行故障诊断：

1. **日志分析**：查看ResourceManager和NodeManager的日志文件，以及应用程序日志，寻找错误信息或异常行为。
2. **资源检查**：确认集群的资源使用情况，包括内存和CPU使用率，以及可用资源的总量。
3. **节点健康状况**：检查集群中各节点的健康状况，这可能包括操作系统级别的监控以及网络连接。
4. **YARN服务状态**：检查ResourceManager和NodeManager等服务的运行状态，确认是否正常。

#### 2.3.2 常见故障类型分析

在YARN集群中，常见的故障类型包括：

- **资源分配失败**：由于资源竞争或资源限制导致的应用程序启动失败。
- **节点故障**：集群中节点崩溃或者无法响应ResourceManager的请求。
- **应用程序失败**：应用程序自身执行中的错误，或者应用程序被错误配置。

#### 2.3.3 实时监控与故障预警

实时监控对于维持YARN集群的稳定性非常关键。它允许管理员及时发现问题并作出响应。故障预警机制，如告警通知，是保证集群稳定性的重要手段。通过设置阈值，可以在资源使用量过高或节点出现异常时发出警告，从而实现快速响应。

# 3. YARN常见故障解析与应对

## 3.1 资源争用与限制问题
### 3.1.1 识别资源争用现象

在Hadoop YARN集群中，资源争用是常见的问题之一。识别资源争用现象对于集群的稳定运行至关重要。资源争用通常表现为应用程序请求的资源得不到满足，导致任务长时间处于等待状态。在YARN中，资源争用可能发生在CPU、内存、磁盘I/O等多种资源上。

通常，集群管理员会使用YARN自带的Resource Manager UI来监控资源使用情况。在界面中，可以看到各个应用程序使用的资源情况，包括已分配资源和待分配资源。当某一资源的总需求超过集群总资源时，就会出现资源争用。此外，监控工具如Ganglia、Prometheus配合Grafana可以提供更加详细和实时的数据。

### 3.1.2 配置调整和资源优化

为了解决资源争用问题，集群管理员需要进行YARN的相关配置调整。首先，可以通过调整`yarn-site.xml`中的参数来指定单个应用程序的最大资源限制，如`yarn.scheduler.maximum-allocation-mb`和`yarn.scheduler.maximum-allocation-vcores`。通过限制单个应用程序占用资源的上限，可以避免个别应用程序过度占用资源而导致其他应用程序无法运行。

另外，管理员可以设置资源抢占策略，通过`yarn.resourcemanager.scheduler.concurrent-application-limit`参数控制同一时间运行的应用程序数量。通过资源预分配策略，YARN可以在应用程序运行时预留一部分资源，减少未来可能发生的资源争用。

### 3.1.3 应用程序资源调度策略

YARN提供了灵活的资源调度策略，管理员可以根据实际情况选择合适的调度器。例如，可以使用容量调度器(Capacity Scheduler)或公平调度器(Fair Scheduler)来合理分配集群资源。容量调度器支持按队列配置资源容量，优先保障关键任务的执行。而公平调度器则更侧重于资源共享的公平性，能够根据资源使用情况进行动态调整。

在应用程序层面上，开发者可以通过设置资源请求参数（如`mapreduce.job.maps`和`mapreduce.job.reduces`）来控制任务的并行度，避免单个应用程序占用过多资源。此外，可以通过程序逻辑优化，比如减少不必要的数据写入磁盘等操作，减少资源的浪费。

## 3.2 节点故障与恢复

### 3.2.1 节点故障诊断方法

在YARN集群中，节点故障是影响集群稳定性的另一个重要因素。节点故障的诊断一般依赖于NodeManager和ResourceManager的健康状态检查。NodeManager会定期向ResourceManager汇报心跳信息，如果在设定的超时时间内没有收到心跳，ResourceManager会认为该节点发生了故障。

管理员可以通过`yarn node`命令查看集群中所有节点的状态。此外，对NodeManager的日志文件进行分析也是诊断节点故障的有效手段。日志文件通常位于`$HADOOP_HOME/logs`目录下，可以使用文本编辑器或日志分析工具来查找异常信息。

### 3.2.2 快速故障节点恢复技术

一旦检测到节点故障，管理员需要快速进行恢复操作。对于单个节点的故障，管理员可以尝试重启NodeManager服务。如果问题依旧存在，可能需要查看硬件故障、网络配置错误或系统文件损坏等方面的原因，并进行相应的修复。

对于无法自行恢复的节点故障，管理员可以采取重新格式化HDFS上该节点的数据目录、在其他健康节点上重新启动容器等措施。需要注意的是，数据的安全性和一致性在操作过程中要得到保障，必要时还需要对数据进行备份。

### 3.2.3 预防性维护和配置最佳实践

为了减少节点故障的发生，集群管理员应该实施预防性维护措施。比如定期检查硬件健康状况，进行系统更新和补丁安装，以及优化网络配置。此外，配置一些YARN的参数可以起到提升集群稳定性的作用。例如，设置`yarn.nodemanager.health-checker.threadpool.size`和`yarn.nodemanager.health-checker.interval-ms`参数可以调整节点健康检查的线程数量和检查间隔，从而加快故障节点的发现和处理。

集群的资源容量配置也应该考虑到实际的业务需求，合理配置资源阈值可以避免因资源不足导致的节点故障。比如，通过`yarn.scheduler.capacity.root.{queueName}.maximum-capacity`参数限制队列的最大使用容量，避免单个队列耗尽资源导致其他队列无法获得资源。

## 3.3 应用程序失败处理

### 3.3.1 应用程序失败类型及原因

应用程序在YARN集群中运行时，可能会因为多种原因失败。常见的失败类型包括：资源请求超时、内存不足、程序逻辑错误、网络问题以及硬件故障等。资源请求超时和内存不足是常见的资源相关错误，而程序逻辑错误可能是由于编码不当或依赖问题引起的。网络问题通常表现为节点之间通信失败，影响到程序的正常运行。硬件故障比如磁盘损坏、内存损坏等，也会导致应用程序的失败。

对于这些不同的失败类型，管理员需要根据日志和监控工具收集到的信息进行详细的分析。YARN提供了丰富的日志信息来帮助定位问题。日志中会包含失败任务的堆栈跟踪信息，可以帮助快速定位问题发生的位置。

### 3.3.2 应用程序失败重试机制

为了解决应用程序的失败问题，YARN提供了一定程度的容错机制，允许应用程序在失败后进行重试。通过`mapreduce.job.maxfailedtempts`和`yarn.resourcemanager.am.max-attempts`参数可以设置应用程序的最大重试次数。但是需要注意，重试机制并不能解决所有问题，如果问题未被解决，重试多次后应用程序还是可能失败。

重试机制的工作原理是，当应用程序失败时，YARN会根据设置保留失败的应用程序信息。当启动重试时，YARN会使用这些信息恢复应用程序的状态，并重新调度执行。重试机制有效地避免了因临时错误导致的应用程序失败问题，提高了应用程序的可靠性。

### 3.3.3 应用程序监控与日志分析技巧

有效的监控和日志分析是处理应用程序失败的关键。管理员需要确保应用程序的日志级别被正确设置，以便能够收集到足够的信息用于故障诊断。在YARN中，可以通过ResourceManager UI界面查看各个应用程序的运行状态和日志摘要。对于需要深入分析的复杂问题，管理员可以使用`yarn logs -applicationId <applicationId>`命令来获取完整的日志内容。

日志分析时需要注意异常信息的提取和上下文信息的把握。为了更好地分析日志，可以使用ELK(Elasticsearch, Logstash, Kibana)栈等日志分析工具，它们提供了强大的日志搜索、分析和可视化功能，帮助管理员更快地定位问题和解决问题。

graph TD
    A[应用程序启动失败] -->|配置资源限制参数| B[识别资源争用]
    B -->|调整配置参数| C[优化资源使用]
    C -->|检查节点健康状态| D[发现节点故障]
    D -->|重启NodeManager| E[快速恢复节点]
    E -->|实施预防性维护| F[预防节点故障]
    F -->|监控应用程序状态| G[应用程序失败诊断]
    G -->|设置重试机制| H[应用程序失败后重试]
    H -->|深入分析日志| I[日志分析与问题定位]

以上流程图展示了应用程序从启动失败到问题诊断与解决的整个处理流程，从宏观的角度呈现出故障处理的逻辑结构，以及管理员需要采取的行动步骤。

# 4. YARN高级故障解决策略

## 4.1 故障隔离与动态资源分配

### 故障隔离机制介绍

故障隔离机制是用于在分布式计算环境中，减少单点故障对整个系统的影响。在Hadoop YARN架构中，通过设计合理的资源隔离策略，可以确保即使在某个组件发生故障的情况下，其他服务依然能够稳定运行。这通常涉及到对资源的划分、对应用程序和容器的监控以及在发生故障时的快速切换。

在YARN中，故障隔离可以通过多种方式实现。首先，ResourceManager负责管理集群中的资源分配，它将集群资源划分为不同的容器，并通过调度器为提交的作业分配合适的容器。当ResourceManager发生故障时，YARN使用failover机制，通过standby ResourceManager进行切换，确保系统的高可用性。

其次，NodeManager在每个节点上运行，管理节点上的资源，并监控容器的运行状态。当NodeManager检测到节点上的资源或者容器出现问题时，它会尝试重启容器，并将问题报告给ResourceManager。如果问题无法解决，NodeManager还可以被配置为隔离故障节点，避免故障扩散到整个集群。

### 动态资源分配策略

动态资源分配是YARN为了应对资源需求的波动性而设计的一个重要特性。它允许在作业运行过程中根据需要动态地增加或减少资源，以提高资源利用率并保证作业性能。

YARN的调度器，如容量调度器（Capacity Scheduler）和公平调度器（Fair Scheduler），支持动态资源分配。它们可以根据集群的实时负载调整资源分配。例如，如果一个作业突然需要更多的资源来完成任务，调度器可以将未被使用的资源动态地分配给这个作业，而不需要重启作业或集群。

### 资源隔离下的服务高可用性

高可用性是任何现代分布式系统设计中的关键目标。在YARN中，这主要通过ResourceManager和NodeManager的failover机制实现。当主ResourceManager发生故障时，standby ResourceManager接管其角色，确保集群管理功能的连续性。同样，NodeManager也可以配置成在主节点失败时自动切换到备用节点。

资源隔离与服务高可用性的结合，使得YARN能够为运行在其上的应用程序提供稳定可靠的服务。即便在某个组件发生故障时，其他部分仍然能够正常运作，从而保证了整体作业的完成。

### 代码块示例与解释

// 示例代码：配置YARN ResourceManager的高可用性参数
yarn.resourcemanager.ha.enabled=true
yarn.resourcemanager.ha.rm-ids=rm1,rm2
yarn.resourcemanager.ha.rm-1.address=rm1-host:8032
yarn.resourcemanager.ha.rm-2.address=rm2-host:8032

在上述配置中，首先启用了YARN的ResourceManager高可用性特性，并定义了两个ResourceManager实例的ID。然后分别指定了这两个实例的主机地址和管理端口。

## 4.2 容器和服务的性能优化

### 容器资源使用优化

在YARN中，优化容器资源的使用是提高集群整体性能的关键。容器为应用程序提供了隔离的执行环境，它们由ResourceManager统一管理并调度。

资源优化的一个核心步骤是合理配置YARN的资源请求和限制。应用程序通过指定资源需求来向ResourceManager申请容器，例如指定最小和最大内存限制。ResourceManager根据集群资源的使用情况和调度策略分配容器。为了优化容器资源的使用，管理员应该仔细规划和配置应用程序的资源请求，避免资源浪费或过度分配。

### YARN内部服务性能调优

YARN内部服务的性能优化主要依赖于对ResourceManager和NodeManager的调优。首先，ResourceManager的调度器参数可以根据作业特性进行配置，以优化资源分配。例如，公平调度器可以通过调整权重来优先考虑特定用户或队列的作业。

其次，NodeManager的资源监控和服务质量（QoS）保证机制也是调优的重点。NodeManager负责监控容器的CPU和内存使用情况，以及对节点上的资源进行管理。管理员可以通过调整NodeManager的参数，比如容器内存限制、CPU核心限制等，来优化服务性能。

### 应用程序性能与资源消耗平衡

在YARN中，为了保证应用程序的性能，需要在资源消耗和执行效率之间找到平衡点。管理员可以通过分析作业的历史数据和性能指标，对作业进行分类并设置适当的资源限制。

此外，应用程序可以通过YARN的API来申请资源，并通过编程接口来监控和调整资源使用情况。应用程序开发者也可以利用YARN提供的资源请求参数，如`yarn.nodemanager.resource.memory-mb`和`yarn.nodemanager.resource.cpu-vcores`，来优化应用程序的资源使用。

### 代码块示例与解释

# 示例命令：提交一个带有资源限制的YARN作业
yarn jar myapp.jar MainClass args -Dmapreduce.job.maps=20 -Dmapreduce.job.reduces=10

在上述命令中，通过`-D`参数为YARN作业设置了Map任务数为20，Reduce任务数为10。这个命令展示了如何在提交作业时指定资源使用的需求，有助于管理员和开发者在作业提交时进行资源优化。

## 4.3 自动化故障恢复与管理

### 自动化故障检测机制

在YARN集群中，自动化故障检测是保障系统稳定性的重要环节。故障检测机制通常基于心跳机制。ResourceManager和NodeManager周期性地发送心跳信息给彼此，表明系统组件的健康状态。如果心跳信息超时未收到，那么系统将认为该组件已经失败。

YARN提供了心跳超时的配置参数，如`yarn.resourcemanager.nodemanager心跳间隔`和`yarn.resourcemanager.nodemanager心跳超时`，通过调整这些参数，可以优化故障检测的灵敏度。

### 自动化故障恢复流程

故障恢复流程在YARN中是高度自动化的。当检测到NodeManager或ResourceManager故障时，YARN会自动启动恢复机制。对于NodeManager，如果在预定时间内没有发送心跳，ResourceManager会将其标记为故障，然后尝试重启该NodeManager。如果重启失败，ResourceManager会将此节点上的所有任务标记为失败，并将任务重新调度到其他健康的节点上。

对于ResourceManager，系统会通过ZooKeeper来实现故障转移机制。当主ResourceManager故障时，standby ResourceManager会接管集群的管理职责，确保集群的连续性。

### 故障管理系统的集成与扩展

为了进一步提升故障管理能力，YARN允许与其他第三方故障管理工具集成。通过集成，可以实现更复杂的故障检测和恢复机制，例如通过报警系统将故障信息发送给运维人员。

扩展性也是故障管理系统设计中的一个重要方面。YARN支持通过API和钩子（Hooks）来扩展其故障管理功能。例如，可以通过实现自定义的事件监听器来触发特定的恢复逻辑。

### 代码块示例与解释

// 示例代码：YARN配置文件中设置心跳超时参数
yarn.resourcemanager.nodemanager.heartbeat-interval-ms=5000
yarn.resourcemanager.nodemanager.heartbeat Interval-ms=20000

在该配置中，设置了NodeManager心跳间隔为5秒，心跳超时为20秒。这些参数值可以根据实际集群的规模和硬件性能来调整，以便更准确地反映组件的状态。

### 表格示例

| 参数名 | 默认值 | 描述 |
|------------------------------------|--------|-------------------------------------------------------------|
| yarn.resourcemanager.nodemanager.heartbeat-interval-ms | 3000ms | NodeManager心跳间隔时间 |
| yarn.resourcemanager.nodemanager.heartbeat Timeout-ms | 60000ms | NodeManager心跳超时时间，超过该时间未收到心跳则认为节点故障 |
| yarn.resourcemanager.nodemanager.address | *.*.*.*:8050 | ResourceManager地址和端口 |
| yarn.resourcemanager.nodemanager.admin.address | *.*.*.*:8031 | NodeManager的管理员地址和端口 |

上述表格列出了YARN中几个与故障检测和管理相关的重要参数及其默认值和功能描述，有助于管理员进行故障管理配置。

# 5. YARN故障解决案例研究

## 5.1 大规模集群的故障处理实例

大规模的Hadoop YARN集群在处理海量数据时，能够发挥强大的计算能力，但同时也面临着复杂性和难以预测的故障挑战。在大型集群中，一个小小的硬件故障或配置错误都可能导致严重的系统问题。

### 5.1.1 集群规模带来的挑战

随着集群规模的扩大，网络拓扑结构变得更复杂，增加了网络拥塞的可能性。同时，节点数量的增加也使得故障诊断变得更加复杂和耗时。在大规模集群中，资源管理变得更加困难，资源争用和限制问题可能更加频繁。

### 5.1.2 故障发生时的数据收集与分析

在故障发生时，首先需要收集相关的日志文件、监控指标和系统状态信息。YARN提供了一些工具，如`ResourceManager`的`resourceManagerLog`，来辅助诊断问题。

# 从ResourceManager获取日志文件
yarn logs -applicationId <Application_ID>

分析这些数据时，可以使用YARN自带的监控命令或者第三方工具如Ganglia、Nagios等进行更深入的分析。

### 5.1.3 成功案例的故障处理流程

在某大型互联网公司的实践中，他们建立了一套故障处理流程：

1. **实时监控和报警**：通过第三方监控系统实时跟踪集群状态，并在检测到异常时立即发出报警。
2. **故障隔离**：在确认故障后，根据影响范围和性质进行隔离，尽量减少对其他服务的影响。
3. **快速定位与解决**：工程师使用日志分析和YARN提供的工具快速定位问题，并采取措施解决。

## 5.2 特殊场景下的故障诊断与解决

在特殊场景下，故障可能涉及网络、硬件甚至安全等多个层面。针对这些情况，需要更深入的分析和专业的解决策略。

### 5.2.1 网络分区与数据不一致问题

网络分区可能发生在集群的不同节点之间，造成节点之间的通信中断，从而引起数据不一致问题。

解决这个问题，首先需要确定网络分区的具体情况：

# 查看集群网络分区情况
yarn cluster --list-partitions

根据输出结果，可以手动或通过配置脚本进行网络分区的修复。

### 5.2.2 硬件故障导致的服务中断

硬件故障是集群中常见的问题。硬盘损坏、内存故障或电源问题都可能导致服务中断。

为了应对这种情况，建立硬件故障检测机制是必要的。Hadoop YARN自身并不提供硬件检测工具，但可以结合NodeManager的日志和状态信息来分析硬件状态。

### 5.2.3 安全事件引起的系统异常

安全事件，如非法访问或恶意攻击，可能导致系统异常。YARN社区也在不断增强安全机制，例如通过Kerberos认证和网络加密来预防此类事件的发生。

## 5.3 YARN故障解决的未来展望

随着技术的不断发展，YARN社区也在不断推出新的特性和工具，以提高集群的可靠性和易管理性。

### 5.3.1 社区发展与新特性介绍

Hadoop YARN社区正不断开发新的功能，例如增强资源调度策略，优化YARN内部服务的性能。这些新特性将帮助更好地处理故障。

### 5.3.2 与新兴技术的整合前景

YARN的未来发展可能会包括与云计算平台、容器技术等新兴技术的整合，以提供更高效和可扩展的故障解决方案。

### 5.3.3 未来故障解决的趋势预测

未来的故障解决可能会更多地依赖于人工智能和机器学习技术，通过预测分析来预防故障的发生。自动化和智能化将成为故障处理的重要方向。

通过上述案例研究和分析，我们可以看到，YARN故障解决是一个复杂而动态变化的领域。它不仅仅是一个技术问题，更是一个需要持续关注和不断优化的过程。