python爬取的时候乱码\u4e00\u3001\u603b\u8425\u6536

在Python爬取网页时，出现乱码的情况通常是由于编码问题引起的。常见的编码问题包括网页编码与解码方式不一致、网页编码与Python解码方式不一致等。解决这些问题的方法有很多，下面提供两种常用的解决方法。

方法一：指定网页编码方式
在爬取网页时，可以通过requests库的encoding属性指定网页的编码方式，例如：

import requests

url = 'http://www.example.com'
response = requests.get(url)
response.encoding = 'utf-8' # 指定编码方式为utf-8
html = response.text

如果不确定网页的编码方式，可以使用chardet库自动检测编码方式，例如：

import requests
import chardet

url = 'http://www.example.com'
response = requests.get(url)
encoding = chardet.detect(response.content)['encoding'] # 自动检测编码方式
response.encoding = encoding
html = response.text

方法二：解压缩网页内容
有些网页的内容是经过压缩的，需要先解压缩才能正常显示。可以通过response.header中的content-encoding信息来确定使用哪个方式来解压解码，例如：

import requests
import gzip
import zlib

url = 'http://www.example.com'
response = requests.get(url)
if response.headers.get('content-encoding') == 'gzip':
    html = gzip.decompress(response.content).decode('utf8')
elif response.headers.get('content-encoding') == 'deflate':
    try:
        html = zlib.decompress(response.content, -zlib.MAX_WBITS).decode('utf8')
    except zlib.error:
        html = zlib.decompress(response.content).decode('utf8')
else:
    html = response.text