import scrapy class WeatherSpider(scrapy.Spider): name = 'weather' allowed_domains = ['tianqi.com'] start_urls = ['https://www.tianqi.com/'] def parse(self, response): city = 'beijing' # 自选城市 url = f'https://tianqi.com/{city}/' yield scrapy.Request(url, callback=self.parse_weather) def parse_weather(self, response): date = response.css('.week>p::text').get() weather = response.css('.weather span::text').get() temperature = response.css('.weather .temp::text').get() humidity = response.css('.weather .shidu::text').get() wind = response.css('.weather .zi .name::text').get() with open('weather.txt', 'a', encoding='utf-8') as f: f.write(f'{date} {weather} {temperature} {humidity} {wind}\n'上面的代码运行后在cmd中显示<403https://www.tianqi.com/>:HTTP status code is not handled or not allowed如何解决)
时间: 2024-04-05 22:35:43 浏览: 121
在你的代码中,你请求的 URL 是 https://tianqi.com/beijing/,而不是 https://www.tianqi.com/,这可能是引起 403 错误的原因之一。
此外,你需要在请求头中添加一个 User-Agent 字段,模拟一个浏览器的请求,以避免被网站反爬虫机制拦截。你可以在请求头中添加类似以下代码的字段:
```
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
}
yield scrapy.Request(url, headers=headers, callback=self.parse_weather)
```
这里模拟的 User-Agent 是 Chrome 的一个版本,你可以根据需要更改。
最后,你可以添加一个错误处理函数,用于处理发生错误时的情况。你可以在 Spider 类中添加以下代码:
```
def handle_error(self, failure):
self.logger.error(repr(failure))
```
然后在 Request 中添加 errback 参数,将错误处理函数传入即可:
```
yield scrapy.Request(url, headers=headers, callback=self.parse_weather, errback=self.handle_error)
```
这样就可以在发生错误时打印出错误信息了。
阅读全文