Apache内存池深入解析

5星 · 超过95%的资源需积分: 10 98 浏览量更新于2024-07-26 2 收藏 1.71MB PDF 举报

"Apache源代码全景分析 - 探索内存池机制" Apache源代码全景分析是对网络开发和Apache服务器深入理解的重要资源，特别是对于那些希望掌握底层实现细节的开发者。源代码分析不仅涉及到编码规范，更关键的是揭示了Apache内存管理的核心机制——内存池。内存池在APR（Apache Portable Runtime）库中扮演着基础角色，它为Apache中的大量对象提供内存分配服务，从而优化内存管理和性能。在C语言环境中，内存管理往往复杂且容易出错，尤其是在处理大量并发请求的服务器如Apache中，内存问题可能直接导致服务器性能下降甚至崩溃。传统的内存分配方式通过`malloc`和`free`来完成，这种方式存在诸多问题，如重复释放导致的段错误和未释放内存导致的内存泄露。为了解决这些问题，Apache开发者引入了内存池的概念。内存池是一种预先分配的大块内存区域，当需要内存时，从池中直接分配，而不是每次都调用系统级别的内存分配函数。这减少了内存碎片，提高了分配效率，同时也降低了内存泄露的风险，因为当内存池被销毁时，池内的所有未释放内存都会自动回收。在Apache的函数设计中，内存池的概念贯穿始终。许多函数接收一个`apr_pool_t`类型的参数，用于指示内存分配来源。例如，`apr_array_copy`函数用于复制数组，它接受一个内存池参数，确保复制过程中的内存分配是在指定的池内进行的。同样，`apr_bucket_setaside_noop`函数在处理数据存储时，也需要内存池来分配或保留内存。内存池的使用使得Apache能够高效地处理大量的并发请求，确保服务器的稳定性和性能。它简化了内存管理，减少了程序员需要关注的细节，同时也提升了程序的健壮性。通过深入研究Apache源代码中的内存池机制，开发者可以更好地理解和优化与内存相关的性能问题，这对于构建高可用、高性能的网络服务至关重要。

apr_allocator_owner_set(global_allocator, global_pool);

(3)

、如果当前的操作系统允许多线程，为了确保内存池结构被多线程访问的时候的线程安

全性，还必须设置

apr_pool_t

结构内的互斥锁变量

mutex

。最后的任务就是将内存分配子和

内存池进行关联。

Apache

内存池内幕

(5)

2.4.3 内存池的创建

勿庸置疑，内存池的创建是内存池的核心操作之一。内存池创建函数的原型如下所示：

APR_DECLARE(apr_status_t) apr_pool_create_ex(apr_pool_t **newpool,

apr_pool_t *parent,

apr_abortfunc_t abort_fn,

apr_allocator_t *allocator)

其中，newpool 是需要创建的新的内存池，并且创建后的内存池通过该参数返回。parent 则是当

前创建的内存池的父亲；abort_fn 指明了当创建失败的时候所调用的处理函数；allocator 则

是真正进行内存分配的分配子。

{

apr_pool_t *pool;

apr_memnode_t *node;

*newpool = NULL;

if (!parent)

parent = global_pool;

if (!abort_fn && parent)

abort_fn = parent->abort_fn;

if (allocator == NULL)

allocator = parent->allocator;

在创建过程中，我们没有指定当前创建的内存池的父亲，则将其默认为父亲为根内存池

global_pool，同时如果内存池关联的 abort_fn 和分配子 allocator 没有定义，那么也直接继

承父辈的相关信息。

if ((node = allocator_alloc(allocator,MIN_ALLOC - APR_MEMNODE_T_SIZE)) == NULL)

{

if (abort_fn)

abort_fn(APR_ENOMEM);

return APR_ENOMEM;

}

node->next = node;

node->ref = &node->next;

pool = (apr_pool_t *)node->first_avail;

node->first_avail = pool->self_first_avail = (char *)pool + SIZEOF_POOL_T;

pool->allocator = allocator;

pool->active = pool->self = node;

pool->abort_fn = abort_fn;

pool->child = NULL;

pool->cleanups = NULL;

pool->free_cleanups = NULL;

pool->subprocesses = NULL;

pool->user_data = NULL;

pool->tag = NULL;

在一切就绪之后，函数将必须首先创建 apr_pool_t 结构。但是前面我们曾经说过 Apache 中对所

有内存的分配都是以内存结点 apr_memnode_t 进行分配的，而且每次分配的最小单元为 8K，

这对于创建 apr_pool_t 结构也不例外。因此函数将首先调用分配子 allocator 分配 8K 的内存，

然后将最顶端的内存分配给 apr_memnode_t 结构。此时接着 apr_memnode_t 结构下面的内存才

能继续分配给 apr_pool_t，用来表示内存池结构，apr_pool_t 结构之后才是真正可用的空间。

在整个 8K 内存中，结点头和内存池头部分别占用的空间大小为 APR_MEMNODE_T_SIZE 和

SIZEOF_POOL_T，因此用户真正可用的空间实际上只有(8k- APR_MEMNODE_T_SIZE-

SIZEOF_POOL_T)大小了，至此我们还必须要调整 apr_memnode_t 中的 first_avail 指针和

apr_pool_t 结构中的 self_first_avail 指针指向真正可用空间。

经过两轮分配之后，8K 内存的布局如图 3.5 所示：

一旦完成了内存池结点的分配工作，我们必须将其挂结到内存池层次树上。挂结的过程无非就是

设置 parent，child 以及 sibling 的过程。

if ((pool->parent = parent) != NULL) {

if ((

pool->sibling = parent->child

) != NULL)

pool->sibling->ref = &pool->sibling;

parent->child = pool;

pool->ref = &parent->child;

}

else {

pool->sibling = NULL;

pool->ref = NULL;

}

*newpool = pool;

挂结的过程可以分为下面几个步骤：

(1)、将当前的结点的 parent 指针指向父结点，即 pool->parent = parent。

(2)、设定当前结点的 sibing。sibing 应该指向那些与当前结点处于同一层次，并且父结点也相

同的结点，新的结点总是被插入到子结点链表的首部，插入通过下面的两句实现：

pool->sibling = parent->child;

parent->child = pool;

不过如果父结点为空，意味着该结点未有兄弟结点，故 pool->sibling = NULL。

(3)、设置 ref 成员。在 apr_pool_t 中，ref 用于指向

在内存池结点创建的过程中，我们可以看到，内存池创建后 active 仍然为空。因此当前内存池

中能够被使用的内存仅仅为 8k- APR_MEMNODE_T_SIZE-SIZEOF_POOL_T 大小。如果用户从内存池

中申请更多的内存的时候，很明显，此时必须通过 active 去扩展该内存池对应的内存结点。这

一点我们可以在内存池的内存分配中看出来。

Apache

内存池内幕

(6)

2.4.4 内存池的内存分配

从内存池中分配内存通过两个函数实现：apr_pcalloc 和 apr_palloc，这两个函数唯一的

区别就是 apr_pcalloc 分配后的内存全部自动清零，而 apr_palloc 则省去了这一步的工作。

apr_palloc 的函数原型如下所示：

APR_DECLARE (void *) apr_palloc (apr_pool_t *pool, apr_size_t size)

函数中 pool 是需要分配内存的内存池，size 则是需要分配的内存的大小。一旦分配成功则返回

分配内存的地址。

在了解内存池的内存分配之前，我们应该对 active 链表有所了解。顾名思义，active 链

表中保存的都是曾经被使用或者正在被使用的 apr_memnode_t 内存结点。这些结点都是由分配

子进行分配，之所以被使用，一个重要的原因就是它们有足够空闲的空间。将这些结点保存在

active 上，这样下次需要内存的时候只要首先遍历 active 链表即可，只有在 active 链表中的

结点不能够满足分配要求的时候才会重新跟分配子申请新的内存。另一方面，一旦某个结点被

选中进入 active 链表，那么它就不能在原先的分配子链表中存在。

对于每一个 apr_memnode_t 内存结点，它的实际可用空间为 endp-first_avail 的大小。但

是正如前面所说，Apache 中衡量空间通常使用索引的方法，对于所有的结点，它的空闲空间

用 free_index 描述。为了加快查找速度，active 链表中的所有的结点按照其空间空间的大小

进行反向排序，为此空闲空间大得总是排在前面，空闲空间最小的则肯定排在最末尾。对于指定

的分配空间，只要将其与第一个结点的空闲空间进行比较，如果第一个空闲都不满足，那么此

时必须向分配子重新申请空间，否则直接从第一个结点中分配空间，同时调整分配后的结点次

序。

apr_memnode_t *active, *node;

void *mem;

apr_size_t free_index;

size = APR_ALIGN_DEFAULT(size);

active = pool->active;

if (size < (apr_size_t)(active->endp - active->first_avail)) {

mem = active->first_avail;

active->first_avail += size;

return mem;

}

分配首先计算需要分配的实际空间，这些空间都是使用对齐算法调整过的。Apache 首先尝试到

active 链表的第一个结点中去分配空间，正如前面所言，这个是链表中空闲最多的结点，如

果它能够满足需要，Apache 直接返回 size 大小的空间，同时调整新的 first_avail 指针。不过

这里需要注意的是对于空链表的情况。当一个内存池使用 apr_create_pool_ex 新创建以后，它

的 active 链表为空，不过此时 active 并不为 NULL，事实上 active=node，意味着 active 指向

内存池所在的内存结点。因此这种情况下，空间的分配并不会失败。

node = active->next;

if (size < (apr_size_t)(node->endp - node->first_avail)) {

list_remove(node);

}

else {

if ((node = allocator_alloc(pool->allocator, size)) == NULL) {

if (pool->abort_fn)

pool->abort_fn(APR_ENOMEM);

return NULL;

}

如果 active 链表中的结点都不能满足分配需求，那么此时唯一能够做的就是直接向分配子申请

更多的空间。至于分配子如何去分配，是从池中获取还是直接调用 malloc 分配，此处不再讨论。

node->free_index = 0;

mem = node->first_avail;

node->first_avail += size;

list_insert(node, active);

pool->active = node;

free_index = (APR_ALIGN(active->endp - active->first_avail + 1,

BOUNDARY_SIZE) - BOUNDARY_SIZE) >> BOUNDARY_INDEX;

active->free_index = (APR_UINT32_TRUNC_CAST)free_index;

node = active->next;

if (free_index >= node->free_index)

return mem;

一旦获取到分配的新的结点，那么下一步就是从该结点中分配需要的 size 大小的空间，由 mem

指针指向该空间首地址。同时将该结点立即插入到 actie 链表中作为首结点。插入通过宏

list_insert 实现：

#define list_insert(node, point) do { \

node->ref = point->ref; \

*node->ref = node; \

node->next = point; \

point->ref = &node->next; \

} while (0)

前面我们说过，active 链表的第一个结点肯定是空闲空间最大的结点。尽管从池中刚分配的时

候，node 结点的空闲空间确实是最大，但是一旦分配了 size 大小之后则情况未必，因此 node

作为第一个结点存在可能是不合适的，为此必须进行适当的调整。

1)、如果新插入结点 node 的空闲空间确实比后继结点 node->next 的空间大，那么此时，毫无疑

问，node 是所有结点中空闲空间最大的结点，物归其所，不需要再调整。

do {

node = node->next;

}

while (free_index < node->free_index);

list_remove(active);

list_insert(active, node);

2)、如果 node 的空间比 node->next 的空间小，那么意味着 node 放错了地方，为此必须从 node-

>next 开始往后遍历找到合适的位置，并从原位置移出，插入新位置。

Apache

内存池内幕

(7)

2.4.5 内存池的销毁

由于 Apache 中所有的内存都来自内存池，因此当内存池被销毁的时候，所有从内存池中分配的

空间都将受到直接的影响——被释放。但是不同的数据类型可能导致不同的释放结果，目前

Apache 中支持三种不同的数据类型的释放：

1)、普通的字符串数据类型

这类数据类型是最简单的数据类型，对其释放可以直接调用 free 而不需要进行任何的多余的操

作

2)、带有析构功能的数据类型

这类数据类型类似于 C++中的对象。除了调用 free 释放之外还需要进行额外的工作，比如

apr_socket_t 结构，它是与套接字的描述结构，除了释放该结构之外，还必须 close 套接字。

3)、进程数据类型

APR 中的进程数据类型用结构 apr_proc_t 进行描述，当然它的分配内存也来自内存池。通常一

个 apr_proc_t 对应一个正在运行的进程，因此从内存池中释放 apr_proc_t 结构的时候必然影

响到正在运行的进程，如果处理释放和进程的关系是内存释放的时候必须考虑的问题。

下面我们详细描述每一个中内存销毁策略

2.4.5.1 带有析构功能的数据类型的释放

Apache2.0 内存池中目前存放的数据种类非常繁多，既包括最普通的字符串，又包含各种复杂

的数据类型，比如套接字、进程和线程描述符、文件描述符、甚至还包括各种复杂的自定义数据

类型。事实上这是必然的结果。Apache 中倡导一切数据都尽量从内存池中分配，而实际需要的

数据类型则千变万化，因此内存池中如果出现下面的内存布局则不应该有任何的惊讶：

在上面的图示中，从内存池中分配内存的类型包括

apr_bucket_brigade，apr_socket_t，apr_file_t 等等。一个很明显而且必须解决的问题就是

如何释放这些内存。当内存池被释放的时候，内存池中的各种数据结构自然也就被释放，这些

都很容易就可以实现，比如 free(apr_socket_t)、 free(apr_dir_t)。不过有的时候情况并不是

这么简单。比如对于 apr_socket_t，除了释放 apr_socket_t 结构之外，更重要的是必须关闭

该 socket。这种情况对于 apr_file_t 也类似，除了释放内存外，还必须关闭文件描述符。这项

工作非常类似于对象的释放，除了释放对象本身的空间，还需要调用对象的析构函数进行资源

的释放。

因此正确的资源释放方式必须是能够识别内存池中的数据类型，在释放的时候完成与该类型相

关的资源的释放工作。某一个数据结构除了调用 free 释放它的空间之外，其余的应该采取的释

放措施用数据结构 cleanup_t 描述，其定义如下：

struct cleanup_t {

struct cleanup_t *next;

const void *data;

apr_status_t (*plain_cleanup_fn)(void *data);

apr_status_t (*child_cleanup_fn)(void *data);

};

该数据结构通常简称为清除策略数据结构。每一个结构对应一个处理策略，Apache 中允许一个

数据类型对应多个策略，各个处理策略之间通过 next 形成链表。data 则是清除操作需要的额

剩余227页未读，继续阅读

hjuopo921

粉丝: 0
资源: 4

Apache内存池深入解析

Apache源代码全景分析第1卷：体系结构与核心模块 part2

Apache源代码全景分析++第1卷++体系结构与...3

Apache源代码分析

Apache源代码全景分析.pdf

Apache源代码全景分析第1卷-体系结构与核心模块-001

Apache源代码全景分析第1卷：体系结构与核心模块 part1

Apache源代码全景分析第1卷-体系结构与核心模块-002

张中庆_Apache源代码全景分析_第1卷(第571页至结束)

张中庆_Apache源代码全景分析_第1卷(第501至570页)

Apache源代码全景分析++第1卷++体系结构与...1

最新资源