同一段爬虫代码爬取爱奇艺评论数据,第一次可以成功爬取,但是第二次爬取结果出现中文乱码
时间: 2023-06-18 16:01:54 浏览: 223
中文乱码问题可能是因为编码格式不一致导致的。你可以尝试在代码中添加以下语句来指定编码格式为 UTF-8:
```python
import sys
import io
sys.stdout = io.TextIOWrapper(sys.stdout.buffer,encoding='utf8')
```
如果还是出现乱码问题,可以尝试在请求头中添加 Accept-Encoding 为 gzip, deflate,即:
```python
headers = {
'Accept-Encoding': 'gzip, deflate',
# 其他请求头信息
}
```
这样可以让服务器返回压缩后的数据,减小数据传输量,也有可能解决乱码问题。
阅读全文