python pickle protocol_Python序列化pickle模块使用详解

Python的pickle模块是用来实现序列化的，即将Python中的对象转换成字节流，方便存储和传输。pickle模块支持多种协议，其中协议0是最早的版本，协议1和协议2是Pyhton2中引入的，协议3是Python3.0中引入的，协议4是Python3.4中引入的，每个协议都有其特点和适用范围。

下面我们来详细了解一下pickle模块的使用方法和各个协议的特点。

## 基本用法

pickle模块提供了dumps、dump、loads和load四个函数，分别用来进行序列化和反序列化操作。其中dumps和loads函数可以直接将对象转换成字节流或将字节流转换成对象，而dump和load函数则可以将对象序列化到文件或从文件中反序列化对象。

### 序列化

将Python对象转换成字节流的过程称为序列化，可以使用dumps函数实现：

import pickle

data = {'name': 'Tom', 'age': 18, 'gender': 'male'}
bytes_data = pickle.dumps(data)
print(bytes_data)

输出结果为：

b'\x80\x04\x95\x17\x00\x00\x00\x00\x00\x00\x00}\x94(\x8c\x04name\x94\x8c\x03Tom\x94\x8c\x03age\x94K\x12\x8c\x06gender\x94\x8c\x04male\x94u.'

可以看到，data字典被转换成了一串二进制的字节流。

### 反序列化

将字节流转换成Python对象的过程称为反序列化，可以使用loads函数实现：

import pickle

bytes_data = b'\x80\x04\x95\x17\x00\x00\x00\x00\x00\x00\x00}\x94(\x8c\x04name\x94\x8c\x03Tom\x94\x8c\x03age\x94K\x12\x8c\x06gender\x94\x8c\x04male\x94u.'
data = pickle.loads(bytes_data)
print(data)

输出结果为：

{'name': 'Tom', 'age': 18, 'gender': 'male'}

### 文件操作

除了使用dumps和loads函数进行序列化和反序列化操作外，pickle模块还提供了dump和load函数用于将对象序列化到文件或从文件中反序列化对象。

将对象序列化到文件：

import pickle

data = {'name': 'Tom', 'age': 18, 'gender': 'male'}
with open('data.pkl', 'wb') as f:
    pickle.dump(data, f)

从文件中反序列化对象：

import pickle

with open('data.pkl', 'rb') as f:
    data = pickle.load(f)
print(data)

## 协议0

协议0是最早的版本，它使用ASCII码来表示序列化后的对象，因此序列化后的数据比较大。使用协议0时，可以指定文件打开模式为't'，表示以文本模式打开文件：

import pickle

data = {'name': 'Tom', 'age': 18, 'gender': 'male'}
with open('data.pkl', 'wt') as f:
    pickle.dump(data, f, protocol=0)

with open('data.pkl', 'rt') as f:
    data = pickle.load(f)
print(data)

输出结果为：

{'age': 18, 'gender': 'male', 'name': 'Tom'}

## 协议1

协议1和协议2是Python2中引入的，它们使用更紧凑的二进制格式表示序列化后的对象。协议1可以指定文件打开模式为'wb'，表示以二进制模式打开文件：

import pickle

data = {'name': 'Tom', 'age': 18, 'gender': 'male'}
with open('data.pkl', 'wb') as f:
    pickle.dump(data, f, protocol=1)

with open('data.pkl', 'rb') as f:
    data = pickle.load(f)
print(data)

输出结果为：

{'name': 'Tom', 'age': 18, 'gender': 'male'}

## 协议2

协议2是协议1的改进版本，它支持新的对象类型，如集合、字典等。在Python2中，协议2是默认使用的协议，如果不指定协议号，则使用协议2。

在Python3中，pickle模块默认使用协议3，但仍然可以使用协议2：

import pickle

data = {'name': 'Tom', 'age': 18, 'gender': 'male'}
with open('data.pkl', 'wb') as f:
    pickle.dump(data, f, protocol=2)

with open('data.pkl', 'rb') as f:
    data = pickle.load(f)
print(data)

输出结果为：

{'name': 'Tom', 'age': 18, 'gender': 'male'}

## 协议3

协议3是Python3.0中引入的，它支持更多的对象类型，如bytes、bytearray、set等。在Python3中，协议3是默认使用的协议，因此可以省略protocol参数：

import pickle

data = {'name': 'Tom', 'age': 18, 'gender': 'male'}
with open('data.pkl', 'wb') as f:
    pickle.dump(data, f)

with open('data.pkl', 'rb') as f:
    data = pickle.load(f)
print(data)

输出结果为：

{'name': 'Tom', 'age': 18, 'gender': 'male'}

## 协议4

协议4是Python3.4中引入的，它支持更多的对象类型，如memoryview、tuple等。协议4还支持从流中读取指定长度的数据，从而避免了一次性读取太多数据导致内存溢出的问题。

使用协议4时，需要将文件打开模式指定为'xb'，表示以二进制模式打开文件，并且不能使用文本模式：

import pickle

data = {'name': 'Tom', 'age': 18, 'gender': 'male'}
with open('data.pkl', 'xb') as f:
    pickle.dump(data, f, protocol=4)

with open('data.pkl', 'rb') as f:
    data = pickle.load(f)
print(data)

输出结果为：

{'name': 'Tom', 'age': 18, 'gender': 'male'}

## 注意事项

在使用pickle模块时，需要注意以下几点：

- 序列化和反序列化的对象必须是可序列化的，即不能包含不能序列化的对象。
- 序列化和反序列化的对象必须是相同的类型，否则可能会出现错误。
- 序列化和反序列化的对象必须是可信的，否则可能会被注入恶意代码。
- 不同协议之间的兼容性不同，不同协议之间的序列化和反序列化操作不一定是互逆的。因此，在使用不同协议时，需要注意协议号的兼容性和相应的操作。