python requests 爬取网页乱码

问题: python requests 爬取网页乱码

回答: 当使用Python的requests库爬取网页时，有时会遇到网页乱码的问题。解决这个问题的方法有几种。一种方法是在获取网页内容后，使用response.encoding属性来设置编码格式。例如，可以将response.encoding设置为'utf-8'来解决乱码问题。\[1\]

另一种方法是使用response.apparent_encoding属性来获取网页的实际编码格式，然后将response.encoding设置为该编码格式。这样可以更准确地解决乱码问题。例如，可以使用response.apparent_encoding来获取网页的实际编码格式，然后将response.encoding设置为该编码格式，如response.encoding = response.apparent_encoding。\[2\]

下面是一个示例代码，演示了如何使用requests库解决网页乱码问题：

import requests

url = 'https://data.stats.gov.cn/easyquery.htm?m=QueryData&dbcode=hgnd&rowcode=zb&colcode=sj&wds=%5B%5D&dfwds=%5B%5D&k1=1651977499228&h=1'
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.4951.54 Safari/537.36 Edg/101.0.1210.39'
}

def solveCoding(url, headers):
    response = requests.get(url=url, headers=headers, verify=False)
    response.encoding = response.apparent_encoding
    print(response.json())

if __name__ == '__main__':
    solveCoding(url=url, headers=headers)

通过使用上述代码中的方法，你可以解决Python requests库爬取网页乱码的问题。\[3\]
#### 引用[.reference_title]
- *1* *2* *3* [python 使用requests模块爬取数据时中文乱码问题](https://blog.csdn.net/weixin_48368715/article/details/124645013)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item]
[ .reference_list ]