Megalloc*：RDMA驱动的NVM集群分布式内存分配器

“Megalloc*：一种用于基于NVM的群集的快速分布式内存分配器，由Songping Yu、Nong Xiao、Mingzhu Deng、Yuxuan Xing、Fang Liu和Wei Chen等人在国防科技大学高性能计算国家重点实验室进行的研究。” 在当前的计算机科学领域，非易失性内存（NVM）技术，如3DXPoint，正逐渐成为存储领域的焦点。随着这些技术的生产应用，大数据处理社区开始从以存储为中心转向以内存为中心的架构。然而，大型系统中的传统网络分布内存管理，通常通过TCP/IP协议进行，会暴露出性能瓶颈。这是因为CPU中心化的网络操作涉及到上下文切换、内存拷贝等开销。 远程直接内存访问（RDMA）技术为解决这一问题提供了可能。它允许绕过操作系统内核直接访问远程内存，从而显著提升了性能。论文“Megalloc*”提出了一种基于RDMA的分布式NVM内存分配器，旨在将NVM暴露为集群机器共享的地址空间。 首先，Megalloc*的设计使得每个机器可以直接访问内存分配元数据，以粗粒度的方式分配NVM，减少了传统内存分配中的开销。这降低了网络通信延迟，因为元数据访问不再需要经过中央服务器或网络中的多次交互。 其次，通过利用RDMA的特性，Megalloc*能够实现低延迟的跨节点内存分配，减少数据传输的延迟和带宽消耗。同时，由于RDMA的无中断操作，它减轻了CPU的负担，提高了整体系统效率。 此外，Megalloc*可能还包括对NVM特定特性的优化，如耐用性和持久性。NVM不同于传统的挥发性DRAM，它在断电后仍能保持数据，因此分配器需要考虑如何正确地处理故障恢复和数据一致性问题。 最后，论文可能会讨论Megalloc*的性能评估和比较，与现有的内存分配策略进行对比，证明其在吞吐量、延迟以及资源利用率等方面的优越性。这样的评估对于理解Megalloc*在实际大规模分布式系统中的应用潜力至关重要。 “Megalloc*”是针对基于NVM的群集系统的一项创新，通过结合RDMA技术，旨在提供一个高效、低延迟的内存分配解决方案，以适应内存中心化的大数据处理需求。