"SPDK：用户空间无锁NVMe驱动程序，实现零拷贝高并发访问"

需积分: 9 177 浏览量更新于2024-01-04 收藏 506KB DOCX 举报

SPDK（存储性能开发套件）是一个基于用户空间、轮询模式、异步和无锁NVMe驱动程序的软件开发工具套件。其主要目的是为了提供高性能、低延迟的存储解决方案，特别是针对固态硬盘（SSD）的应用。通过SPDK，用户可以直接从用户空间的应用程序通过零拷贝的方式实现与SSD的高并发访问，从而提高了系统的性能和效率。 SPDK的核心理念是将存储堆栈的关键组件移至用户空间，以最大程度地减少内核交互和数据拷贝，从而提高存储系统的效率。其采用轮询模式和异步操作的机制，避免了传统存储系统中常见的锁竞争和阻塞，从而显著提高了系统的并发访问能力和响应速度。此外，SPDK专门针对NVMe这一新型存储设备技术进行了优化，使其在NVMe驱动程序上能够充分发挥性能优势，为用户提供更快速、更高效的存储解决方案。 SPDK的特点主要可以总结为以下几点：首先，它实现了用户空间的直接访问SSD，无需通过内核态，从而实现了零拷贝的数据传输，极大地提高了存储系统的效率和吞吐量。其次，SPDK采用了轮询模式和异步操作的方式，避免了传统存储系统中频繁的锁竞争和阻塞，提高了系统的并发访问能力和响应速度。此外，SPDK针对NVMe设备进行了专门优化，利用了NVMe协议的性能优势，使得存储系统能够更好地发挥NVMe设备的性能。同时，SPDK还提供了丰富的开发工具和文档支持，为开发者提供了便利的开发环境和丰富的资源，帮助他们更好地利用SPDK开发高性能的存储应用。此外，SPDK还提供了丰富的示例代码和用例，帮助开发者更快速地上手和深入理解SPDK的设计理念和实现细节。总之，SPDK作为一款基于用户空间、轮询模式、异步和无锁NVMe驱动程序的存储性能开发套件，为用户提供了高性能、低延迟的存储解决方案。通过SPDK，用户可以直接从用户空间的应用程序通过零拷贝的方式实现与SSD的高并发访问，极大地提高了存储系统的效率和吞吐量。同时，SPDK还提供了丰富的开发工具和文档支持，帮助开发者更好地利用SPDK开发高性能的存储应用。在未来，随着存储技术的不断发展和演进，相信SPDK将会发挥越来越重要的作用，为用户提供更加高效和便利的存储解决方案。

C 语言的局限性

消息传递是有效的，但它会导致异步代码。不幸的是，异步代码在 C 中是一个挑战。它通常通过

传递操作完成时调用的函数指针来实现。这会削减代码，因此不容易遵循，特别是通过逻辑分

支。最好的解决方案是使用支持 futures 和 promises 的语言（注：在计算机科学中，

future, promise, delay 和 deferred 是指用于在一些并发编程语言中同步程序执行的构造），例如

C ++，Rust，Go 或几乎任何其他更高级别的语言。但是，SPDK 是一个低级库，需要非常广泛的兼

容性和可移植性，所以我们选择留在普通的旧 C 中。

不过，我们确实有一些建议要分享。对于

简单的

回调链，如果从下到上编写函数，这是最简单

的。我们的意思是，如果函数 foo 执行一些异步操作，并且当 bar 调用完成函数时，函数 bar 执

行一些 baz 在完成时调用函数的操作，写它的好方法是这样的：

void baz(void *ctx) {

...

}

void bar(void *ctx) {

async_op(baz, ctx);

}

void foo(void *ctx) {

async_op(bar, ctx);

}

不要拆分这些功能 - 将它们保存为一个可以从下到上阅读的好单元。

对于更复杂的回调链，尤其是具有逻辑分支或循环的回调链，最好写出状态机。事实证明，支持

未来和承诺的更高级语言只是在编译时生成状态机，所以即使我们没有能力在 C 中生成它们，我

们仍然可以手动编写它们。举个例子，这里有一个回调链，它执行 5 次 foo，然后调用 bar——实

际上是异步 for 循环。

enum states {

FOO_START = 0,

FOO_END,

BAR_START,

BAR_END

};

struct state_machine {

enum states state;

int count;

};

static void

sm->state = BAR_START;

}

break;

case BAR_START:

bar(sm);

break;

case BAR_END:

break;

}

} while (prev_state != sm->state);

}

void do_async_for(void)

{

struct state_machine *sm;

sm = malloc(sizeof(*sm));

sm->state = FOO_START;

sm->count = 0;

run_state_machine(sm);

}

当然，这很复杂，但是 run_state_machine 可以从上到下阅读该函数，以便清楚地了解代码中发生

的情况，而无需追逐每个回调。

2.4. NAND Flash SSD 内部

固态设备（SSD）是复杂的设备，其性能取决于它们的使用方式。以下描述旨在帮助软件开发人员

了解 SSD 内部发生的情况，以便他们能够提供更好的软件设计。它不应被视为 SSD 硬件真正工作

的严格准确指南。

在撰写本文时，SSD 通常在 NAND 闪存之上实现。在很高的层面上，这种媒体有一些重要的属

性：

将介质分组到称为 NAND 管芯的芯片上，并且每个管芯可以并行操作。

翻转是一个高度不对称的过程。以一种方式翻转它很容易，但是将其翻转是非常困难的。

NAND 闪存介质被分组为通常称为擦除块的大单元。擦除块的大小是高度特定于实现的，但可以

认为介于 1MiB 和 8MiB 之间。对于每个擦除块，可以用位粒度一次写入每个位（即，其位从 0 翻

转到 1）。为了第二次写入擦除块，必须擦除整个块（即块中的所有位都被翻转回 0）。这是上面

的不对称部分。擦除块会导致可测量的磨损量，并且每个块可能仅被擦除有限次数。

SSD 向主机系统公开接口，使其看起来好像驱动器由一组固定大小的逻辑块组成，这些逻辑块的

大小通常为 512B 或 4KiB。这些块完全是设备固件的逻辑结构，并且它们不会静态映射到后备介

质上的位置。相反，在每次写入逻辑块时，选择并写入 NAND 闪存上的新位置，并更新逻辑块到

其物理位置的映射。选择此位置的算法是整体 SSD 性能的关键部分，通常称为闪存转换层

（FTL）。该算法必须正确分配块以考虑磨损（称为磨损均衡）并将它们分布在 NAND 裸片上以提

高总体可用性能。最简单的模型是使用类似于 RAID 的算法将每个芯片上的所有物理介质分组在一

起，然后按顺序写入该集合。真正的 SSD 要复杂得多，但对于软件开发人员来说这是一个非常好

的简单模型 - 想象他们只是记录到 RAID 卷并更新内存中的散列表。

闪存转换层的一个结果是逻辑块不一定总是对应于 NAND 上的物理位置。实际上，有一个命令可

以清除块的转换。在 NVMe 中，此命令称为 deallocate，在 SCSI 中称为 unmap，在 SATA 中称为

trim。当用户尝试读取没有映射到物理位置的块时，驱动器将执行以下两项操作之一：

1. 立即成功完成读取请求，而不执行任何数据传输。这是可以接受的，因为驱动器将返回的

数据不再比用户数据缓冲区中已有的数据有效。

2. 返回全 0 作为数据。

选择＃1 更为常见，对完全解除分配的设备执行读取操作通常会显示远远超出驱动器声称的能

力，因为它实际上并没有传输任何数据。在进行基准测试时，在读取之前写入所有块！

在写入 SSD 时，内部日志最终将消耗所有可用的擦除块。为了继续写入，SSD 必须释放其中一

些。此过程通常称为垃圾回收。所有 SSD 都保留了一些擦除块，以便它们可以保证有可用于垃圾

收集的空闲擦除块。垃圾收集通常由以下方式进行：

1. 选择一个目标擦除块（一个好的心理模型是它选择最近最少使用的擦除块）

2. 遍历擦除块中的每个条目并确定它是否仍然是有效的逻辑块。

3. 通过读取它们并将它们写入不同的擦除块（即日志的当前头部）来移动有效的逻辑块

4. 擦除整个擦除块并标记它可供使用。

由于擦除块已经为空，因此当跳过步骤＃3 时，垃圾收集显然更有效。有两种方法可以使步骤＃3

更有可能被跳过。首先，SSD 会保留超出其报告容量的额外擦除块（称为过度供应），因此从统

计上来说，擦除块不太可能包含有效数据。第二种是软件可以按顺序以圆形模式写入设备上的

块，不再需要时丢弃旧数据。在这种情况下，软件保证最近最少使用的擦除块不包含必须移动的

任何有效数据。

如果工作负载填满整个设备，则设备过度配置的数量会显着影响随机读写工作负载的性能。然

而，通常可以通过简单地在软件中保留设备上的给定量的空间来获得相同的效果。这种理解对于

产生一致的基准是至关重要的。特别是，如果后台垃圾收集无法跟上，并且驱动器必须切换到按

需垃圾收集，则写入的延迟将显着增加。因此，在运行基准以保持一致性之前，必须强制设备的

内部状态进入某种已知状态。这通常是通过从开始到结束顺序写入设备两次来完成的。有关如何

强制 SSD 进入已知状态进行基准测试的详细说明，请参阅 SNIA 文章。

2.5. 将 I / O 提交到 NVMe 设备**

2.5.1 NVMe 规范

NVMe 规范描述了用于与存储设备交互的硬件接口。该规范包括远程存储的网络传输定义以及本

地 PCIe 设备的硬件寄存器布局。以下是对如何通过 SPDK 将 I / O 提交到本地 PCIe 设备的概述。

NVMe 设备允许主机软件（在我们的例子中，SPDK NVMe 驱动程序）在主机内存中分配队列对。

术语“主机”经常使用，因此要明确这是 NVMe SSD 插入的系统。队列对由两个队列组成 - 提交队列

和完成队列。这些队列更准确地描述为固定大小条目的圆环。提交队列是一个 64 字节命令结构的

数组，加上 2 个整数（头部和尾部索引）。完成队列类似于 16 字节完成结构的数组，加上 2 个

整数（头部和尾部索引）。还涉及两个 32 位寄存器，称为门铃。

通过构造 64 字节命令将 I / O 提交到 NVMe 设备，将其放入提交队列头索引的当前位置的提交队

列中，然后将提交队列头的新索引写入提交队列头门铃登记。将一整套命令复制到环中的开放槽

中，然后只需一次写门铃就可以提交整个批次，这实际上是有效的。

NVMe 规范中的命令提交和完成过程有一个非常详细的描述，可以从 NVM Express 的主页面上方

便地获得。

最重要的是，命令本身描述了操作，并且如果需要，还描述了主机存储器中的位置，该位置包含

与命令相关联的主机存储器的描述符。该主机存储器是要写入写入命令的数据，或者是将数据置

于读取命令上的位置。使用 NVMe 设备上的 DMA 引擎将数据传输到此位置或从此位置传输数

据。

完成队列的工作方式类似，但设备是将条目写入环中的设备。每个条目都包含一个“相位”位，通

过整个环在每个循环上切换 0 到 1。当队列对设置为生成中断时，中断包含完成队列头的索引。

但是，SPDK 不会启用中断，而是轮询相位以检测完成。中断是非常繁重的操作，因此轮询此相位

通常要高效得多。

2.5.2 SPDK NVMe 驱动程序 I / O 路径

现在我们知道环结构的工作原理，让我们来介绍 SPDK NVMe 驱动程序如何使用它们。用户将在程

序的生命周期中的某个早期时间构建队列对，因此这不是“热”路径的一部分。然后，他们将调用

spdk_nvme_ns_cmd_read（）之类的函数来执行 I / O 操作。用户提供数据缓冲区，目标 LBA 和长

度，以及命令所针对的 NVMe 命名空间和要使用的 NVMe 队列对等其他信息。最后，用户提供了

一个回调函数和上下文指针，在稍后调用 spdk_nvme_qpair_process_completions（）期间发现结

果命令的完成时将调用该函数和上下文指针。

驱动程序的第一个阶段是分配一个请求对象来跟踪操作。这些操作是异步的，因此它不能简单地

跟踪调用堆栈上的请求状态。在堆上分配新的请求对象会太慢，因此 SPDK 会在 NVMe 队列对对

象内部保留一组预先分配的请求对象——struct spdk_nvme_qpair。分配给队列对的请求数大于

NVMe 提交队列的实际队列深度，因为 SPDK 支持几个关键的便利功能。第一个是软件排队 - SPDK

将允许用户提交比硬件队列实际可以容纳的更多请求，SPDK 将自动在软件中排队。第二是拆分。

SPDK 将出于多种原因拆分请求，其中一些原因将在下面列出。请求对象的数量可在队列对创建时

配置，如果未指定，SPDK 将根据硬件队列深度选择合理的数字。

第二阶段是构建 64 字节 NVMe 命令本身。该命令内置于嵌入请求对象的内存中——而不是直接

嵌入到 NVMe 提交队列槽中。构建命令后，SPDK 会尝试在 NVMe 提交队列中获取一个打开的插

槽。对于提交队列中的每个元素，将分配一个称为跟踪器的对象。跟踪器以数组形式分配，因此

可以通过索引快速查找它们。跟踪器本身包含指向当前占用该槽的请求的指针。获取特定跟踪器

剩余104页未读，继续阅读

自动驾驶小哥

粉丝: 19
资源: 20

"SPDK：用户空间无锁NVMe驱动程序，实现零拷贝高并发访问"

用SDK实现文件拷贝源码，操作方便、实用

实时多轮询应用程序：DSC应用程序

windows wdm驱动的例子,采用异步完成的方式实现驱动程序和应用程序通信的程序

串口驱动轮询方式程序实现

异步调用03-轮询异步调用是否完成-c#

entass3billing:glassfish 服务器上的后端计费应用程序从 GAE 前端支付应用程序轮询任务

轮询应用

WK2114 一拖四串口 cc2530驱动程序__轮询方式

Polling-App：在线轮询和调查应用程序-使用Spring Boot，Spring Security，JWT，React和Maven构建的全栈轮询应用程序

最新资源