请写一个用Scrapy爬取页面的代码
时间: 2024-04-06 22:33:09 浏览: 121
下面是一个使用Scrapy爬取页面的示例代码:
```
import scrapy
class MySpider(scrapy.Spider):
name = 'myspider'
start_urls = ['http://example.com']
def parse(self, response):
# 解析页面
title = response.css('title::text').get()
links = response.css('a::attr(href)').getall()
# 打印结果
print('Title:', title)
print('Links:', links)
# 递归爬取链接
for link in links:
yield scrapy.Request(link, callback=self.parse)
```
这个代码定义了一个名为`MySpider`的爬虫类,它从`http://example.com`开始爬取页面,并解析页面中的标题和所有链接。然后,它打印结果并递归爬取所有链接。
你可以使用以下命令来运行这个爬虫:
```
scrapy runspider myspider.py
```
需要注意的是,Scrapy是一个非常强大的爬虫框架,具有很多高级功能和可配置选项。在实际使用时,你需要根据自己的需求进行配置和调整。同时,爬取网站时需要遵守相关法律法规和道德规范,不要进行非法的爬取行为。
阅读全文