SPDK存储性能开发套件中文文档详解

需积分: 50 103 浏览量更新于2024-07-14 1 收藏 1.59MB PDF 举报

"SPDK官方文档中文版是2019年8月的版本，由王海亮翻译，涵盖了SPDK的基本概念、用户指南以及详细的技术实现，旨在帮助读者理解和应用SPDK这一高性能存储开发套件。" SPDK（Storage Performance Development Kit，存储性能开发套件）是一个开源项目，它提供了构建高性能、低延迟存储服务所需的库和工具，特别是在用户空间中直接处理I/O操作。其主要目标是提高数据传输速度，减少系统开销，特别适合于NVMe（非易失性内存 express）和其他高速存储设备。在文档中，首先介绍了SPDK的基本概念。用户空间驱动程序是SPDK的核心特性，允许直接在用户空间执行I/O操作，避免了内核空间的上下文切换，从而提高了性能。用户空间的DMA（直接内存访问）使得数据传输更高效，同时消息传递和并发机制保证了多线程环境下的高效工作。 NAND Flash SSD内部机制的讨论深入到固态硬盘的工作原理，这对于理解SPDK如何优化SSD性能至关重要。文档详细阐述了如何将I/O提交到NVMe设备，包括对NVMe规范的解释以及SPDK NVMe驱动程序的I/O路径。此外，SPDK支持通过Vhost-user接口实现虚拟化I/O，这是一种让QEMU等虚拟机管理程序与SPDK直接通信的方法，减少了hypervisor的I/O处理开销。文档详细描述了Vhost-user的设备初始化、I/O路径和优化策略。用户指南部分为读者提供了系统配置指导，如IOMMU配置，以及如何启动和配置SPDK应用程序，如iSCSI Target和NVMe over Fabrics Target。iSCSI Target部分详细说明了如何创建和管理iSCSI目标，包括热插拔功能。同时，文档还介绍了各种块设备（bdev）模块，如Ceph RBD、压缩和加密模块、延迟模块、GPT、iSCSI bdev、Linux AIO bdev、OCF虚拟bdev、Malloc bdev、NULL bdev、NVMebdev和逻辑卷，这些模块为构建复杂的存储解决方案提供了基础。这份SPDK官方文档中文版提供了全面的SPDK技术细节和实践指南，对想要开发和优化高性能存储解决方案的工程师极具价值。

C 语言的局限性

消息传递是有效的，但它会导致异步代码。不幸的是，异步代码在 C 中是一个挑战。它通常通过

传递操作完成时调用的函数指针来实现。这会削减代码，因此不容易遵循，特别是通过逻辑分

支。最好的解决方案是使用支持 futures 和 promises 的语言（注：在计算机科学中，

future, promise, delay 和 deferred 是指用于在一些并发编程语言中同步程序执行的构造），例如

C ++，Rust，Go 或几乎任何其他更高级别的语言。但是，SPDK 是一个低级库，需要非常广泛的兼

容性和可移植性，所以我们选择留在普通的旧 C 中。

不过，我们确实有一些建议要分享。对于

简单的

回调链，如果从下到上编写函数，这是最简单

的。我们的意思是，如果函数 foo 执行一些异步操作，并且当 bar 调用完成函数时，函数 bar 执

行一些 baz 在完成时调用函数的操作，写它的好方法是这样的：

void baz(void *ctx) {

...

}

void bar(void *ctx) {

async_op(baz, ctx);

}

void foo(void *ctx) {

async_op(bar, ctx);

}

不要拆分这些功能 - 将它们保存为一个可以从下到上阅读的好单元。

对于更复杂的回调链，尤其是具有逻辑分支或循环的回调链，最好写出状态机。事实证明，支持

未来和承诺的更高级语言只是在编译时生成状态机，所以即使我们没有能力在 C 中生成它们，我

们仍然可以手动编写它们。举个例子，这里有一个回调链，它执行 5 次 foo，然后调用 bar——实

际上是异步 for 循环。

enum states {

FOO_START = 0,

FOO_END,

BAR_START,

BAR_END

};

struct state_machine {

enum states state;

int count;

};

static void

sm->state = BAR_START;

}

break;

case BAR_START:

bar(sm);

break;

case BAR_END:

break;

}

} while (prev_state != sm->state);

}

void do_async_for(void)

{

struct state_machine *sm;

sm = malloc(sizeof(*sm));

sm->state = FOO_START;

sm->count = 0;

run_state_machine(sm);

}

当然，这很复杂，但是 run_state_machine 可以从上到下阅读该函数，以便清楚地了解代码中发生

的情况，而无需追逐每个回调。

2.4. NAND Flash SSD 内部

固态设备（SSD）是复杂的设备，其性能取决于它们的使用方式。以下描述旨在帮助软件开发人员

了解 SSD 内部发生的情况，以便他们能够提供更好的软件设计。它不应被视为 SSD 硬件真正工作

的严格准确指南。

在撰写本文时，SSD 通常在 NAND 闪存之上实现。在很高的层面上，这种媒体有一些重要的属

性：

将介质分组到称为 NAND 管芯的芯片上，并且每个管芯可以并行操作。

翻转是一个高度不对称的过程。以一种方式翻转它很容易，但是将其翻转是非常困难的。

NAND 闪存介质被分组为通常称为擦除块的大单元。擦除块的大小是高度特定于实现的，但可以

认为介于 1MiB 和 8MiB 之间。对于每个擦除块，可以用位粒度一次写入每个位（即，其位从 0 翻

转到 1）。为了第二次写入擦除块，必须擦除整个块（即块中的所有位都被翻转回 0）。这是上面

的不对称部分。擦除块会导致可测量的磨损量，并且每个块可能仅被擦除有限次数。

SSD 向主机系统公开接口，使其看起来好像驱动器由一组固定大小的逻辑块组成，这些逻辑块的

大小通常为 512B 或 4KiB。这些块完全是设备固件的逻辑结构，并且它们不会静态映射到后备介

质上的位置。相反，在每次写入逻辑块时，选择并写入 NAND 闪存上的新位置，并更新逻辑块到

其物理位置的映射。选择此位置的算法是整体 SSD 性能的关键部分，通常称为闪存转换层

（FTL）。该算法必须正确分配块以考虑磨损（称为磨损均衡）并将它们分布在 NAND 裸片上以提

高总体可用性能。最简单的模型是使用类似于 RAID 的算法将每个芯片上的所有物理介质分组在一

起，然后按顺序写入该集合。真正的 SSD 要复杂得多，但对于软件开发人员来说这是一个非常好

的简单模型 - 想象他们只是记录到 RAID 卷并更新内存中的散列表。

闪存转换层的一个结果是逻辑块不一定总是对应于 NAND 上的物理位置。实际上，有一个命令可

以清除块的转换。在 NVMe 中，此命令称为 deallocate，在 SCSI 中称为 unmap，在 SATA 中称为

trim。当用户尝试读取没有映射到物理位置的块时，驱动器将执行以下两项操作之一：

1. 立即成功完成读取请求，而不执行任何数据传输。这是可以接受的，因为驱动器将返回的

数据不再比用户数据缓冲区中已有的数据有效。

2. 返回全 0 作为数据。

选择＃1 更为常见，对完全解除分配的设备执行读取操作通常会显示远远超出驱动器声称的能

力，因为它实际上并没有传输任何数据。在进行基准测试时，在读取之前写入所有块！

在写入 SSD 时，内部日志最终将消耗所有可用的擦除块。为了继续写入，SSD 必须释放其中一

些。此过程通常称为垃圾回收。所有 SSD 都保留了一些擦除块，以便它们可以保证有可用于垃圾

收集的空闲擦除块。垃圾收集通常由以下方式进行：

1. 选择一个目标擦除块（一个好的心理模型是它选择最近最少使用的擦除块）

2. 遍历擦除块中的每个条目并确定它是否仍然是有效的逻辑块。

3. 通过读取它们并将它们写入不同的擦除块（即日志的当前头部）来移动有效的逻辑块

4. 擦除整个擦除块并标记它可供使用。

由于擦除块已经为空，因此当跳过步骤＃3 时，垃圾收集显然更有效。有两种方法可以使步骤＃3

更有可能被跳过。首先，SSD 会保留超出其报告容量的额外擦除块（称为过度供应），因此从统

计上来说，擦除块不太可能包含有效数据。第二种是软件可以按顺序以圆形模式写入设备上的

块，不再需要时丢弃旧数据。在这种情况下，软件保证最近最少使用的擦除块不包含必须移动的

任何有效数据。

如果工作负载填满整个设备，则设备过度配置的数量会显着影响随机读写工作负载的性能。然

而，通常可以通过简单地在软件中保留设备上的给定量的空间来获得相同的效果。这种理解对于

产生一致的基准是至关重要的。特别是，如果后台垃圾收集无法跟上，并且驱动器必须切换到按

需垃圾收集，则写入的延迟将显着增加。因此，在运行基准以保持一致性之前，必须强制设备的

内部状态进入某种已知状态。这通常是通过从开始到结束顺序写入设备两次来完成的。有关如何

强制 SSD 进入已知状态进行基准测试的详细说明，请参阅 SNIA 文章。

2.5. 将 I / O 提交到 NVMe 设备**

2.5.1 NVMe 规范

NVMe 规范描述了用于与存储设备交互的硬件接口。该规范包括远程存储的网络传输定义以及本

地 PCIe 设备的硬件寄存器布局。以下是对如何通过 SPDK 将 I / O 提交到本地 PCIe 设备的概述。

NVMe 设备允许主机软件（在我们的例子中，SPDK NVMe 驱动程序）在主机内存中分配队列对。

术语“主机”经常使用，因此要明确这是 NVMe SSD 插入的系统。队列对由两个队列组成 - 提交队列

和完成队列。这些队列更准确地描述为固定大小条目的圆环。提交队列是一个 64 字节命令结构的

数组，加上 2 个整数（头部和尾部索引）。完成队列类似于 16 字节完成结构的数组，加上 2 个

整数（头部和尾部索引）。还涉及两个 32 位寄存器，称为门铃。

通过构造 64 字节命令将 I / O 提交到 NVMe 设备，将其放入提交队列头索引的当前位置的提交队

列中，然后将提交队列头的新索引写入提交队列头门铃登记。将一整套命令复制到环中的开放槽

中，然后只需一次写门铃就可以提交整个批次，这实际上是有效的。

NVMe 规范中的命令提交和完成过程有一个非常详细的描述，可以从 NVM Express 的主页面上方

便地获得。

最重要的是，命令本身描述了操作，并且如果需要，还描述了主机存储器中的位置，该位置包含

与命令相关联的主机存储器的描述符。该主机存储器是要写入写入命令的数据，或者是将数据置

于读取命令上的位置。使用 NVMe 设备上的 DMA 引擎将数据传输到此位置或从此位置传输数

据。

完成队列的工作方式类似，但设备是将条目写入环中的设备。每个条目都包含一个“相位”位，通

过整个环在每个循环上切换 0 到 1。当队列对设置为生成中断时，中断包含完成队列头的索引。

但是，SPDK 不会启用中断，而是轮询相位以检测完成。中断是非常繁重的操作，因此轮询此相位

通常要高效得多。

2.5.2 SPDK NVMe 驱动程序 I / O 路径

现在我们知道环结构的工作原理，让我们来介绍 SPDK NVMe 驱动程序如何使用它们。用户将在程

序的生命周期中的某个早期时间构建队列对，因此这不是“热”路径的一部分。然后，他们将调用

spdk_nvme_ns_cmd_read（）之类的函数来执行 I / O 操作。用户提供数据缓冲区，目标 LBA 和长

度，以及命令所针对的 NVMe 命名空间和要使用的 NVMe 队列对等其他信息。最后，用户提供了

一个回调函数和上下文指针，在稍后调用 spdk_nvme_qpair_process_completions（）期间发现结

果命令的完成时将调用该函数和上下文指针。

驱动程序的第一个阶段是分配一个请求对象来跟踪操作。这些操作是异步的，因此它不能简单地

跟踪调用堆栈上的请求状态。在堆上分配新的请求对象会太慢，因此 SPDK 会在 NVMe 队列对对

象内部保留一组预先分配的请求对象——struct spdk_nvme_qpair。分配给队列对的请求数大于

NVMe 提交队列的实际队列深度，因为 SPDK 支持几个关键的便利功能。第一个是软件排队 - SPDK

将允许用户提交比硬件队列实际可以容纳的更多请求，SPDK 将自动在软件中排队。第二是拆分。

SPDK 将出于多种原因拆分请求，其中一些原因将在下面列出。请求对象的数量可在队列对创建时

配置，如果未指定，SPDK 将根据硬件队列深度选择合理的数字。

第二阶段是构建 64 字节 NVMe 命令本身。该命令内置于嵌入请求对象的内存中——而不是直接

嵌入到 NVMe 提交队列槽中。构建命令后，SPDK 会尝试在 NVMe 提交队列中获取一个打开的插

槽。对于提交队列中的每个元素，将分配一个称为跟踪器的对象。跟踪器以数组形式分配，因此

可以通过索引快速查找它们。跟踪器本身包含指向当前占用该槽的请求的指针。获取特定跟踪器

剩余104页未读，继续阅读

dremi

粉丝: 62
资源: 16

SPDK存储性能开发套件中文文档详解

SPDK官方文档中文版（2019年8月版）

SPDK官方文档中文版.pdf

SPDK官方文档中文版发布，涵盖2019年8月最新技术

SPDK官方文档：2019年8月中文版 - 掌握用户空间驱动与NVMe开发

SPDK开发手册中文版.docx

spdk开发手册中文版

baidu-pmem-spdk-whitepaper.pdf

DPDK技术峰会：Accelerate VM IO via SPDK and Crypto for Generic vHost.pdf

04-SPDK加速Ceph-XSKY Bluestore案例分享-扬子夜-王豪迈.pdf

spdk-20.10-0.el7.x86_64.rpm

最新资源