python爬取网页时response.status_code返回418，文件读取写入_<response[418]>,response[418] - CSDN文库

5星 · 超过95%的资源 72 浏览量更新于2023-03-16 评论收藏 52KB PDF 举报

身份认证购VIP最低享 7 折!

领优惠券(最高得80元）

资源详情

资源评论

资源推荐

python爬取网页时爬取网页时response.status_code返回返回418，文件读，文件读

取写入取写入

问题：问题：

response.status_code为418

问题描述：问题描述：

当我使用Python的requests爬取网页时response和soup都是None，检查后发现response.status_code为418

错误描述：错误描述：

经过网上查询得知，418的意思是被网站的反爬程序返回的，网上解释为，418 I’m a teapot

The HTTP 418 I’m a teapot client error response code indicates that the server refuses to brew coffee because it is a teapot.

This error is a reference to Hyper Text Coffee Pot Control Protocol which was an April Fools’ joke in 1998.

翻译为：HTTP 418 I’m a teapot客户端错误响应代码表示服务器拒绝煮咖啡，因为它是一个茶壶。这个错误是对1998年愚人

节玩笑的超文本咖啡壶控制协议的引用。

解决办法：解决办法：

当时用了requests库，没有添加请求头等信息，可能被反爬程序识别了，再次请求添加了header的User-Agent信息就可以了。

代码：代码：

import requests

headers={'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko)

Chrome/79.0.3945.88 Safari/537.36'}

res = requests.get(url,headers=headers)

以豆瓣图书为例：以豆瓣图书为例：

import requests

class DouBan:

def __init__(self, type):

'''

初始化方法，当创建一个类的对象的时候，该方法会被自动执行，不需要手动调用

'''

self.book_type = type

self.url = "https://book.douban.com/tag/"+self.book_type+"?start={}&type=T"

def get_urls(self):

'''该方法用来构造所有的url'''

# 列表生成式

return [self.url.format(20*i) for i in range(5)]

def parse_url(self, url):

'''发送请求并解析数据'''

headers={'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko)

Chrome/79.0.3945.88 Safari/537.36'}

response = requests.get(url, headers=headers)

return response.content.decode()

def save_data(self, content, page_count):

'''保存数据'''

file_name = '豆瓣图书-{}-第{}页.html'.format(self.book_type, page_count)

with open('./DouBan/' + file_name, 'w', encoding='utf-8') as f:

f.write(content)

def run(self):

'''爬虫程序启动'''

# 1. 构造url地址

request_list = self.get_urls()

本内容试读结束，登录后可阅读更多

下载后可阅读完整内容，剩余1页未读，立即下载

评论10

BJWcn

2023-06-18

就我个人而言，这篇文章给我带来的收获还是比较大的。

weixin_38626928

粉丝: 2
资源: 949

会员权益专享

图片转文字

全年可省5，000元立即开通

最新资源

资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！点击此处反馈