【免费】LinuxI/O原理和Zero-copy技术全面揭秘_pythoncopydeepcopy

需积分: 0 35 浏览量更新于2023-05-05 评论收藏 1.94MB PDF 举报

身份认证购VIP最低享 7 折!

领优惠券(最高得80元）

资源详情

资源评论

资源推荐

Linux I/O 原理和 Zero-copy 技术全面揭秘

导言

如今的网络应用早已从 CPU 密集型转向了 I/O 密集型，网络服务器大多是基于 C-S 模型，

也即客户端 - 服务端模型，客户端需要和服务端进行大量的网络通信，这也决定了现代网络

应用的性能瓶颈：I/O。

传统的 Linux 操作系统的标准 I/O 接口是基于数据拷贝操作的，即 I/O 操作会导致数据在

操作系统内核地址空间的缓冲区和用户进程地址空间定义的缓冲区之间进行传输。设置缓冲

区最大的好处是可以减少磁盘 I/O 的操作，如果所请求的数据已经存放在操作系统的高速

缓冲存储器中，那么就不需要再进行实际的物理磁盘 I/O 操作；然而传统的 Linux I/O 在

数据传输过程中的数据拷贝操作深度依赖 CPU，也就是说 I/O 过程需要 CPU 去执行数据

拷贝的操作，因此导致了极大的系统开销，限制了操作系统有效进行数据传输操作的能力。

I/O 是决定网络服务器性能瓶颈的关键，而传统的 Linux I/O 机制又会导致大量的数据拷贝

操作，损耗性能，所以我们亟需一种新的技术来解决数据大量拷贝的问题，这个答案就是零

拷贝(Zero-copy)。

计算机存储器

既然要分析 Linux I/O，就不能不了解计算机的各类存储器。

存储器是计算机的核心部件之一，在完全理想的状态下，存储器应该要同时具备以下三种特

性：

1. 速度足够快：存储器的存取速度应当快于 CPU 执行一条指令，这样 CPU 的效率

才不会受限于存储器

2. 容量足够大：容量能够存储计算机所需的全部数据

3. 价格足够便宜：价格低廉，所有类型的计算机都能配备

但是现实往往是残酷的，我们目前的计算机技术无法同时满足上述的三个条件，于是现代计

算机的存储器设计采用了一种分层次的结构：

我们平时一直提及的物理内存就是上文中对应的第三种计算机存储器，RAM 主存，它在计

算机中以内存条的形式存在，嵌在主板的内存槽上，用来加载各式各样的程序与数据以供

CPU 直接运行和使用。

虚拟内存

在计算机领域有一句如同摩西十诫般神圣的哲言：“计算机科学领域的任何问题都可以通过

增加一个间接的中间层来解决”，从内存管理、网络模型、并发调度甚至是硬件架构，都能

看到这句哲言在闪烁着光芒，而虚拟内存则是这一哲言的完美实践之一。

虚拟内存是现代计算机中的一个非常重要的存储器抽象，主要是用来解决应用程序日益增长

的内存使用需求：现代物理内存的容量增长已经非常快速了，然而还是跟不上应用程序对主

存需求的增长速度，对于应用程序来说内存还是不够用，因此便需要一种方法来解决这两者

之间的容量差矛盾。

计算机对多程序内存访问的管理经历了静态重定位 --> 动态重定位 --> 交换(swapping)技

术 --> 虚拟内存，最原始的多程序内存访问是直接访问绝对内存地址，这种方式几乎是完全不

可用的方案，因为如果每一个程序都直接访问物理内存地址的话，比如两个程序并发执行以

下指令的时候：

mov cx, 2

mov bx, 1000H

mov ds, bx

mov [0], cx

...

mov ax, [0]

add ax, ax

这一段汇编表示在地址 1000:0 处存入数值 2，然后在后面的逻辑中把该地址的值取出来乘

以 2，最终存入 ax 寄存器的值就是 4，如果第二个程序存入 cx 寄存器里的值是 3，那

么并发执行的时候，第一个程序最终从 ax 寄存器里得到的值就可能是 6，这就完全错误了，

得到脏数据还顶多算程序结果错误，要是其他程序往特定的地址里写入一些危险的指令而被

另一个程序取出来执行，还可能会导致整个系统的崩溃。所以，为了确保进程间互不干扰，

每一个用户进程都需要实时知晓当前其他进程在使用哪些内存地址，这对于写程序的人来说

无疑是一场噩梦。

因此，操作绝对内存地址是完全不可行的方案，那就只能用操作相对内存地址，我们知道每

个进程都会有自己的进程地址，从 0 开始，可以通过相对地址来访问内存，但是这同样有

问题，还是前面类似的问题，比如有两个大小为 16KB 的程序 A 和 B，现在它们都被加

载进了内存，内存地址段分别是 0 ~ 16384，16384 ~ 32768。A 的第一条指令是 jmp 1024，

而在地址 1024 处是一条 mov 指令，下一条指令是 add，基于前面的 mov 指令做加法运算，

与此同时，B 的第一条指令是 jmp 1028，本来在 B 的相对地址 1028 处应该也是一

条 mov 去操作自己的内存地址上的值，但是由于这两个程序共享了段寄存器，因此虽然他们

使用了各自的相对地址，但是依然操作的还是绝对内存地址，于是 B 就会跳去执行 add 指

令，这时候就会因为非法的内存操作而 crash。

有一种静态重定位的技术可以解决这个问题，它的工作原理非常简单粗暴：当 B 程序被加载

到地址 16384 处之后，把 B 的所有相对内存地址都加上 16384，这样的话当 B 执行 jmp

1028 之时，其实执行的是 jmp 1028+16384，就可以跳转到正确的内存地址处去执行正确的

指令了，但是这种技术并不通用，而且还会对程序装载进内存的性能有影响。

再往后，就发展出来了存储器抽象：地址空间，就好像进程是 CPU 的抽象，地址空间则是

存储器的抽象，每个进程都会分配独享的地址空间，但是独享的地址空间又带来了新的问题：

如何实现不同进程的相同相对地址指向不同的物理地址？最开始是使用动态重定位技术来实

现，这是用一种相对简单的地址空间到物理内存的映射方法。基本原理就是为每一个 CPU

配备两个特殊的硬件寄存器：基址寄存器和界限寄存器，用来动态保存每一个程序的起始物

理内存地址和长度，比如前文中的 A，B 两个程序，当 A 运行时基址寄存器和界限寄存器

就会分别存入 0 和 16384，而当 B 运行时则两个寄存器又会分别存入 16384 和 32768。

然后每次访问指定的内存地址时，CPU 会在把地址发往内存总线之前自动把基址寄存器里

的值加到该内存地址上，得到一个真正的物理内存地址，同时还会根据界限寄存器里的值检

查该地址是否溢出，若是，则产生错误中止程序，动态重定位技术解决了静态重定位技术造成

的程序装载速度慢的问题，但是也有新问题：每次访问内存都需要进行加法和比较运算，比

较运算本身可以很快，但是加法运算由于进位传递时间的问题，除非使用特殊的电路，否则

会比较慢。

然后就是交换（swapping）技术，这种技术简单来说就是动态地把程序在内存和磁盘之间进

行交换保存，要运行一个进程的时候就把程序的代码段和数据段调入内存，然后再把程序封

存，存入磁盘，如此反复。为什么要这么麻烦？因为前面那两种重定位技术的前提条件是计

算机内存足够大，能够把所有要运行的进程地址空间都加载进主存，才能够并发运行这些进

程，但是现实往往不是如此，内存的大小总是有限的，所有就需要另一类方法来处理内存超

载的情况，第一种便是简单的交换技术：

剩余42页未读，继续阅读

羽黯

粉丝: 3
资源: 1

会员权益专享

Linux I/O 原理和 Zero-copy 技术全面揭秘

评论0

会员权益专享

最新资源

Linux I/O 原理和 Zero-copy 技术全面揭秘

评论0

浅析Linux中的零拷贝技术的使用

零拷贝技术

linux zero copy mmap

linux dma拷贝数据到用户态,图解：零拷贝Zero-Copy技术大揭秘

Zero-DCE开源代码

qt gpu zero-copy

已知某离散LTI系统的差分方程为：y(n)-1/3y(n-1)=x(n)（1）若系统的零状态响应为y(n)=3((1/2)^n-(1/3)^n)u(n)，求出并画出激励信号x(n)；（2）画出该系统的幅频响应特性曲线和相频响应特性曲线。

perl mount： /dev/mapper/backupvg-backuplv Could this be a zero-length partition?

Failed to shutdown: context is zero-initialized, at /tmp/binarydeb/ros-foxy-rcl-1.1.14/src/rcl/init.c:241

Linux 下测试磁盘读写 I/O 速度的方法汇总

The command '/bin/sh -c apk --no-cache add curl' returned a non-zero code: 127

linux /dev/zero

Sending build context to Docker daemon 108.1MB Step 1/4 : FROM django_project_tos_services_local:latest ---> 71fc97bcebc6 Step 2/4 : RUN apt-get update ---> Running in 3706e59f53c6 /bin/sh: apt-get: not found The command '/bin/sh -c apt-get update' returned a non-zero code: 127

如何使用zero-DCE

会员权益专享

最新资源