ubuntu 升级glibc国内镜像源

时间: 2024-07-12 08:01:01 浏览: 208

glibc内存管理ptmalloc源代码分析

4星 · 用户满意度95%

### glibc内存管理ptmalloc源代码分析 #### 一、问题背景在开发一款NoSQL系统的过程中，项目团队面临了一个关于Glibc内存管理的问题：在高并发和长时间运行的场景下，系统的内存管理模块虽然已经将内存释放给了C运行时库（即glibc），但这些被释放的内存并未立即被归还给操作系统。这种行为导致了系统中显示的进程内存占用量不稳定，有时候即使已经释放了大量内存，进程占用的内存仍然很高。 #### 二、基础知识 ##### 2.1 X86平台Linux进程内存布局 - **32位模式下进程内存经典布局**： - 用户空间（User Space）：0x8048000 - 0xC0000000 - 内核空间（Kernel Space）：0xC0000000 - 0xFFFFFFFF - **32位模式下进程默认内存布局**： - 栈（Stack）：向下增长，位于高地址部分 - 堆（Heap）：向上增长，位于低地址部分 - **64位模式下进程内存布局**： - 用户空间：0x00007FFFF0000000 - 0x00007FFFFFFFF000 - 内核空间：0xFFFF800000000000 - 0xFFFFFFFFFFFFFFFF ##### 2.2 操作系统内存分配的相关函数 - **Heap操作相关函数**： - `malloc(size_t size)`：分配指定大小的内存 - `free(void *ptr)`：释放由指针指向的内存 - `realloc(void *ptr, size_t size)`：重新分配内存大小 - **Mmap映射区域操作相关函数**： - `mmap()`：用于创建或修改内存映射 - `munmap(void *addr, size_t length)`：解除内存映射 - `mprotect(void *addr, size_t len, int prot)`：改变已映射内存段的保护属性 #### 三、概述 ##### 3.1 内存管理一般性描述 - **内存管理的方法**： - 分页（Page）：将物理内存划分成固定大小的页面，逻辑地址到物理地址的转换通过页表实现。 - 分段（Segment）：将用户程序按逻辑关系划分为段，每段有自己的起始地址和长度。 - 分布式（Distributed）：用于分布式计算环境中的内存管理。 - **内存管理器的设计目标**： - 高效性：快速分配和释放内存。 - 可靠性：防止内存泄漏和其他潜在问题。 - 灵活性：适应不同的应用程序需求。 - 安全性：确保内存访问安全，避免越界等错误。 - **常见C内存管理程序**： - `malloc`：基本的内存分配函数。 - `free`：释放之前分配的内存。 - `realloc`：调整已分配内存的大小。 - `calloc`：分配内存并初始化为零。 ##### 3.2 Ptmalloc内存管理概述 - **简介**： - ptmalloc是glibc中使用的一种高效内存管理方案，主要用于管理堆内存。 - 它采用了多种技术来提高内存分配和释放的效率，包括边界标记法、分箱式内存管理等。 - **内存管理的设计假设**： - 大多数内存分配请求都是小内存块。 - 访问局部性原则：最近被访问过的内存更可能再次被访问。 - **内存管理数据结构概述**： - `malloc_state`：表示一个内存分配区的状态。 - `malloc_par`：全局参数结构体，包含ptmalloc的各种配置参数。 - `fastbins`、`smallbins`、`largebins`、`unsortedbin`：用于管理不同大小内存块的链表。 - **内存分配概述**： - 使用`malloc`分配内存时，ptmalloc会尝试从适当的分箱中寻找合适的内存块。 - 如果没有合适的内存块，它会尝试从系统申请更多内存，并将其分割成较小的块。 - **内存回收概述**： - `free`函数用来释放内存块。 - 已释放的内存块会被插入到相应的分箱中，供后续分配使用。 - **配置选项概述**： - `MALLOC_MMAP_THRESHOLD_`：超过这个阈值的内存分配使用mmap。 - `MALLOC_TRIM_THRESHOLD_`：超过此值时，ptmalloc会尝试归还内存给操作系统。 - **使用注意事项**： - 注意避免内存泄漏和野指针问题。 - 在多线程环境中正确使用锁机制以保证内存管理的安全性。 #### 四、问题分析及解决在本项目的NoSQL系统中，遇到的主要问题是内存管理模块释放内存后，C运行时库（glibc）未能及时将内存归还给操作系统。这导致进程显示的内存占用量不稳定，即使释放了一定量的内存，但实际进程的内存占用仍然较高。 - **问题原因**： - glibc中的ptmalloc采用了一种延迟归还策略，它不会立即归还所有空闲内存给操作系统，而是根据一定的阈值和策略决定何时归还。 - 这种设计是为了减少与操作系统的交互次数，提高性能。 - **解决方案**： - 调整ptmalloc的配置参数，如`MALLOC_TRIM_THRESHOLD_`，来控制何时将空闲内存归还给操作系统。 - 使用`mallinfo`等工具监控内存使用情况，了解当前内存管理的状态。 - 在特定情况下，可以手动调用`malloc_trim`函数强制ptmalloc归还空闲内存给操作系统。 - 对于频繁的小内存分配和释放场景，考虑使用内存池技术，减少内存碎片，提高效率。 #### 五、源代码分析在深入探讨ptmalloc的源代码之前，我们需要了解其几个关键概念和技术： - **边界标记法**：ptmalloc使用一种称为“边界标记”的方法来标识内存块的边界，从而简化内存分配和回收过程。 - **分箱式内存管理**：ptmalloc将不同大小的内存块分类存储在不同的分箱中，以便快速查找和分配。 - `fastbins`：用于管理非常小的内存块，通常不超过128字节。 - `smallbins`：用于管理小内存块，大小范围在128字节到1MB之间。 - `largebins`：用于管理大内存块，大小超过1MB。 - `unsortedbin`：新释放的内存块暂时存储在此处，等待进一步处理。通过这些技术的应用，ptmalloc能够在保持高性能的同时有效管理内存资源。接下来，我们将更详细地分析ptmalloc的核心结构体和关键函数。 - **核心结构体分析**： - `malloc_state`：表示一个内存分配区的状态，包含了分配区的基本信息以及各种分箱链表的指针。 - `malloc_par`：全局参数结构体，包含了ptmalloc的各种配置参数。 - **配置选项**： - `MALLOC_MMAP_THRESHOLD_`：超过这个阈值的内存分配使用mmap。 - `MALLOC_TRIM_THRESHOLD_`：超过此值时，ptmalloc会尝试归还内存给操作系统。 - 其他配置选项还包括`MALLOC_ARENA_MAX`等，用于控制内存分配区的数量和行为。 - **Ptmalloc的初始化**： - 初始化过程主要涉及内存分配区的创建和配置。 - 包括`ptmalloc_init()`函数的执行流程，以及与锁相关的初始化操作。 - **多分配区支持**： - glibc支持多个内存分配区，以减少锁竞争。 - 包括获取分配区的过程、分配区之间的协调机制等。 - **内存分配malloc**： - 分析`malloc`函数的实现细节，包括如何从现有的内存块中分配内存、如何向操作系统申请新的内存等。 - 关键函数包括`public_mALLOc()`和`_int_malloc()`等。 - **内存释放free**： - 分析`free`函数的实现细节，包括如何回收内存块、如何将空闲内存块插入到合适的分箱中等。 - 关键函数包括`Public_fREe()`和`_int_free()`等。通过对ptmalloc源代码的深入分析，我们可以更好地理解其工作原理，并针对具体问题进行有效的优化和调试。对于本项目中遇到的内存释放问题，通过调整ptmalloc的配置参数和合理使用其提供的API，可以在一定程度上缓解内存占用过高的问题。

Ubuntu 是一种流行的开源操作系统，其软件包管理系统使用的是 Advanced Package Tool (APT)。如果你想升级系统中的 glibc（GNU C Library），特别是在国内访问速度较慢的情况下，可以考虑更换为国内的镜像源。首先，确保你已经安装了 `curl` 和 `apt-transport-https`： ```bash sudo apt-get update sudo apt-get install curl gnupg lsb-release ``` 然后，找到一个可靠的国内 Ubuntu 镜像源列表，如阿里云、腾讯云或中科大软件学院等提供的 Ubuntu 镜像地址。在国内访问较快的网站上查找并复制相应的 gpg 公钥 URL。接下来，添加新的镜像源到 `/etc/apt/sources.list.d/` 文件中： ```bash echo "deb [arch=amd64 signed-by=/usr/share/keyrings/<repository_keyring.gpg>] <mirror_url> <ubuntu_release>-main" | sudo tee /etc/apt/sources.list.d/my_mirror.list ``` 将 `<repository_keyring.gpg>` 替换为所获取的 gpg 公钥文件名，`<mirror_url>` 替换为具体的镜像地址，`<ubuntu_release>` 为你当前的 Ubuntu 发行版代号，例如 "bionic", "focal", 或 "jammy"。接着，更新和安装新镜像的 GPG 密钥： ```bash curl -fsSL <repository_keyring_gpg_url> | sudo gpg --dearmor -o /usr/share/keyrings/<repository_keyring_name>.gpg sudo apt-key add /usr/share/keyrings/<repository_keyring_name>.gpg ``` 最后，刷新和安装软件包： ```bash sudo apt-get clean sudo apt-get update sudo apt-get upgrade glibc ``` 完成上述步骤后，你的系统应该会从国内镜像源下载和升级 glibc。记得定期检查镜像源是否稳定，因为如果镜像不稳定可能会导致升级过程出现问题。

阅读全文

ubuntu 升级glibc国内镜像源

相关推荐

CentOS7系统升级至glibc2.31教程与压缩包分享

Ubuntu安装MySQL源代码版详细步骤

ubuntu升级glibc

ubuntu 升级glibc2.36

ubuntu如何升级GLIBC

ubuntu安装GLIBC

ubuntu 安装 glibc

ubuntu中GLIBC

ubuntu 18.04 glibc2.34

ubuntu开机 glibc 2.38

ubuntu 安装glibc 2.17

ubuntu查看glibc的版本

ubuntu 22.04 升级 glibc

ubuntu 22.04 升级glibc

ubuntu18.04 glibc库版本是多少

ubuntu 16.04 glibc版本i西南西

ubuntu18.04升级glibc2.27——解决报错:ibc.so.6: version glibc_2.28‘ not fou

ubuntu安装glibc-2.34.tar.gz

把ubuntu GLIBC 2.27 换成 GLIBC2.28

最新推荐

spring 异步编程样例

火炬连体网络在MNIST的2D嵌入实现示例

管理建模和仿真的文件

L2正则化的终极指南：从入门到精通，揭秘机器学习中的性能优化技巧

如何构建一个符合GB/T19716和ISO/IEC13335标准的信息安全事件管理框架，并确保业务连续性规划的有效性？

Angular插件增强Application Insights JavaScript SDK功能

"互动学习：行动中的多样性与论文攻读经历"

L1正则化模型诊断指南：如何检查模型假设与识别异常值（诊断流程+案例研究）

如何构建一个符合GB/T19716和ISO/IEC13335标准的信息安全事件管理框架，并确保业务连续性规划的有效性？

实时三维重建：InfiniTAM的ros驱动应用