python爬虫获取的数据在存储数据库之前修改为utf-8

在 Python 爬虫中获取的数据通常是 Unicode 编码的，如果想要将其存储到数据库中，需要将其转换为 UTF-8 编码。

可以使用 `encode` 方法将 Unicode 编码的字符串转换为 UTF-8 编码：

data = "爬虫获取的数据"
utf8_data = data.encode("utf-8")

如果获取的数据是字典或列表，可以使用递归的方式将其中的所有字符串都转换为 UTF-8 编码：

def utf8_encode(data):
    if isinstance(data, str):
        return data.encode("utf-8")
    elif isinstance(data, bytes):
        return data
    elif isinstance(data, list):
        return [utf8_encode(item) for item in data]
    elif isinstance(data, tuple):
        return tuple(utf8_encode(item) for item in data)
    elif isinstance(data, dict):
        return {utf8_encode(key): utf8_encode(value) for key, value in data.items()}
    else:
        return data

这样就可以将获取的数据全部转换为 UTF-8 编码了。在存储到数据库时，可以直接将转换后的数据写入数据库。