eBPF进阶：从基础到应用扩展详解

需积分: 0 174 浏览量更新于2024-07-01 2 收藏 1.25MB PDF 举报

eBPF（扩展Berkeley Packet Filter）是一种强大的网络和系统管理工具，源自Linux内核中的古老技术BPF（Berkeley Packet Filter）。与传统的BPF相比，eBPF经历了显著的增强，特别是从Linux 3.18版本开始引入的特性： 1. **架构升级**：eBPF采用了类似于X86的RISC指令集，拥有11个64位寄存器和512字节栈空间，这使得其能够处理更复杂的操作。 2. **JIT编译**：eBPF程序不再依赖于解释器，而是通过Just-In-Time编译（JIT）直接转化为目标体系结构的机器码，提升了执行效率。 3. **解耦与通用性**：eBPF的数据模型变得更通用，它可以与网络子系统和其他内核功能无缝集成，支持Kprobe和Tracepoint，使得程序能够灵活地挂钩到关键点。 4. **Map机制**：引入Maps作为全局数据存储，实现了eBPF程序间的数据共享，增强了状态管理功能。 5. **助手函数**：提供了丰富的助手函数，如封包处理、校验和计算和封包克隆等，丰富了eBPF的功能集。 6. **尾调用**：解决了旧版eBPF的长度限制问题，允许程序控制流在eBPF内部自由流转。 7. **伪文件系统**：为eBPF程序和相关对象创建了专门的伪文件系统，便于管理和操作。 8. **硬件加速**：支持将eBPF负载转移到智能硬件，进一步提升性能。 eBPF的应用范围广泛，包括： - **网络**：用于XDP（eXpress Data Path）、TC（Traffic Control）、socketprogs、kcm（kernel-controlled modules）、calico、cilium等网络流量处理。 - **性能监控与内核跟踪**：KProbes、UProbes和TracePoints帮助开发者深入了解系统运行情况。 - **安全**：如Secomp（secure computing mode）和landlock，限制特定系统调用，增强系统安全。由于eBPF的代码在内核空间执行，避免了用户空间与内核之间的数据拷贝和上下文切换，从而带来出色的性能优势。此外，严格的eBPF校验器确保了字节码的安全性，防止可能导致系统故障的代码执行。 eBPF凭借其灵活性、高性能和广泛的适用场景，已经成为Linux内核中不可或缺的一部分，不仅用于网络过滤，还延伸到了系统管理和安全等多个领域。

verdicts

tc ingress/egress钩子能够返回的verdict定义在：

应用场景

容器网络策略

对于容器来说，容器网络命名空间和初始网络命名空间通过一对veth连接。我们可以在宿主机端实现网

络策略：

1. 主机侧的egress，对应容器的ingress

2. 主机侧的ingress，对应容器的egress

将tc BPF程序挂钩到宿主机veth的egress/ingress钩子即可。

对于veth这样的虚拟设备，XDP是不适合的。因为内核在虚拟设备这里，单纯在一个skb上操作，XDP由

于一些限制，无法和克隆的skb一起工作。克隆skb在内核TCP/IP栈被大量使用，用来存放重传的数据

段，这里XDP钩子会被直接跳过。此外，XDP需要线性化（放到单个页）整个skb，这也导致严重的性能

影响。

 __u32 remote_ip6[4];  /* Stored in network byte order */

 __u32 local_ip6[4];  /* Stored in network byte order */

 __u32 remote_port;  /* Stored in network byte order */

 __u32 local_port;  /* stored in host byte order */

 /* ... here. */

 __u32 data_meta;

 __bpf_md_ptr(struct bpf_flow_keys *, flow_keys);

 __u64 tstamp;

 __u32 wire_len;

 __u32 gso_segs;

 __bpf_md_ptr(struct bpf_sock *, sk);

};

// 未指定，如果有多个BPF程序，会继续运行下一个。如果没有更多BPF程序

// 则提示内核在没有任何side-effect的情况下继续处理skb

#define TC_ACT_UNSPEC     (-1)

// 从tc BPF程序角度，TC_ACT_OK、TC_ACT_RECLASSIFY等价

#define TC_ACT_OK        0

// 提示内核丢弃封包，在ingress方向，网络栈上层无法看到封包；在egress方向，封包不会被发出

#define TC_ACT_SHOT       2

// 从tc BPF程序角度，TC_ACT_STOLEN、TC_ACT_QUEUED、TC_ACT_TRAP等价

// 类似于TC_ACT_SHOT，区别：

//  TC_ACT_SHOT导致内核通过kfree_skb()释放封包并返回NET_XMIT_DROP作为即时的反馈

//  TC_ACT_STOLEN导致内核通过consume_skb()释放封包，并且返回NET_XMIT_SUCCESS，

//   效果是上层以为封包是成功发送的

#define TC_ACT_STOLEN      4

// 利用助手函数bpf_redirect()，重定向封包到相同/不同设备的ingress/egress路径

#define TC_ACT_REDIRECT     7

转发和负载均衡

容器工作负载的东西向流量是主要的目标场景。

不像XDP仅作用在ingress上，tc BPF可以在某些场景下，应用到容器egress方向。在对容器透明的前提

下，可以利用BPF在egress进行NAT和LB处理，利用bpf_redirection助手函数，BPF可以将封包转到任

何接口的ingress/egress路径，不需要网桥之类的设备辅助。

流采样和监控

类似XDP，流采样和监控可以通过高性能、无锁的per-CPU内存映射的perf ring buffer实现，依此tc

BPF程序可以调用助手函数 bpf_skb_event_output() 推送定制数据、完整/截断的封包内容到用户空

间。

由于tc BPF程序可以同时挂到ingress/egress，因此可以为任何节点实现双向的监控。

BPF程序可以预先做一些聚合，而不是把所有东西推送到用户空间。

预处理封包调度

如上文所提到，sch_clsact的egress钩子，即 sch_handle_egress() ，在获取内核qdisc root锁之前运

行。这种无锁的特征让tc BPF程序适合执行较重（耗时）的分类任务，并将分类结果设置到skb的某些字

段，在后续交由常规的、有锁的qdisc进行塑形和重排。

开发环境

内核和工具

本节介绍如何创建完整的BPF开发环境。尽管手工构建iproute2和Linux内核是非必须的（主流发行版已

经内置），但是测试最新特性、或者需要贡献BPF补丁到内核、iproute2时则需要。

安装构建需要的软件：

构建内核

BPF相关的新特性在内核的net-next分支上开发，最后的BPF fixes则在net分支上。

注意打开以下内核配置项：

sudo apt-get install -y make gcc libssl-dev bc libelf-dev libcap-dev \

clang gcc-multilib llvm libncurses5-dev git pkg-config libmnl-dev bison flex \

graphviz

CONFIG_CGROUP_BPF=y

CONFIG_BPF=y

CONFIG_BPF_SYSCALL=y

CONFIG_NET_SCH_INGRESS=m

CONFIG_NET_CLS_BPF=m

CONFIG_NET_CLS_ACT=y

# 如果目标体系结构支持JIT，自动y

CONFIG_BPF_JIT=y

CONFIG_LWTUNNEL_BPF=y

CONFIG_HAVE_EBPF_JIT=y

CONFIG_BPF_EVENTS=y

CONFIG_TEST_BPF=m

编译命令

对于下面这个最简单的XDP Drop程序：

可以这样编译：

BPF CO-RE

所谓CO-RE是指一次编译，到处运行（Compile Once – Run Everywhere）。

编写可移植性（能够跨越不同内核版本运行）的BPF程序是一项挑战，BPF CO-RE能够辅助这一过程。

问题

BPF程序本质上是一段直接插入内核的代码，它可以访问（被允许访问的）所有内核内部状态。BPF程序

无法控制所运行内核的内存布局：

1. 不同内核版本，结构体字段的顺序可能不同，某些字段可能在新版本被内嵌到子结构中，字段的类

型可能出现不兼容的变更

2. 根据内核构建时的配置不同，某些字段可能被注释掉

并不是所有BPF程序都需要访问内核数据结构，例如opensnoop，它依赖 kprobes/tracepoints 来追踪

程序打开了那些文件，仅仅需要捕获一些系统调用参数，而系统调用提供稳定的ABI，不会随着内核版本

而变化。

不幸的是，opensnoop这样的程序是少数派，不访问内核数据结构也限制了程序的能力。

内核中的BPF机制提供了一个有限集合的稳定接口，BPF程序可以依赖这套结构，不用担心跨内核的兼容

性问题。尽管底层结构会发生变化，但是BPF提供的抽象保持稳定。这种接口的一个例子是

__sk_buff ，它是内核数据结构 sk_buff 的稳定接口，可以访问sk_buff的一部分重要字段。对sk_buff

字段的访问，会被透明的转写（可以需要多次pointer chasing）为对sk_buff对应字段的访问。类似

sk_buff的、针对特定类型BPF程序的接口抽象还有不少，如果你编写这些类型的BPF程序，可能（如果

接口可以满足需求）不用担心可移植性问题。

 bpfel   - BPF (little endian)

#include <linux/bpf.h>

#ifndef __section

# define __section(NAME)         \

 __attribute__((section(NAME), used))

#endif

__section("prog")

int xdp_drop(struct xdp_md *ctx)

{

 return XDP_DROP;

}

char __license[] __section("license") = "GPL";

clang -O2 -Wall -target bpf -c xdp-example.c -o xdp-example.o

# 加载，需要4.12或更高版本

# ip link set dev em1 xdp obj xdp-example.o

剩余79页未读，继续阅读

啊看看

粉丝: 37
资源: 323

eBPF进阶：从基础到应用扩展详解

learning ebpf

ssh学习笔记1 ssh学习笔记1

学习笔记学习笔记笔记

Java学习笔记学习笔记

CCNA学习笔记 CCNA学习笔记

python 学习笔记python 学习笔记

云的学习笔记-云的学习笔记系统-云的学习笔记系统源码-云的学习笔记管理系统-基于ssm的云的学习笔记系统-ssm-java代码

云的学习笔记-云的学习笔记系统-云的学习笔记系统源码-云的学习笔记管理系统-基于Web的云的学习笔记系统设计与实现-java代码

Linux学习笔记-学习笔记自用

javaee学习笔记，javaee学习笔记

最新资源