用爬虫框架Scrapy、PySpid,如何获取上述房价信息
时间: 2024-03-30 19:34:19 浏览: 96
爬取房价信息_python爬虫_
5星 · 资源好评率100%
使用 Scrapy 或 PySpider 爬虫框架,你可以更加高效地获取上述房价信息。以下是 Scrapy 爬取房天下二手房信息的示例代码:
1. 创建 Scrapy 项目
在命令行中执行以下命令,创建一个名为 fangtianxia 的 Scrapy 项目:
```
scrapy startproject fangtianxia
```
2. 创建 Spider
在项目中创建一个名为 esf 的 Spider,用于爬取二手房信息。在 `fangtianxia/spiders` 目录下创建一个名为 `esf.py` 的文件,添加如下代码:
```python
import scrapy
class EsfSpider(scrapy.Spider):
name = "esf"
allowed_domains = ["fang.com"]
start_urls = ["https://esf.fang.com/house/i3{}/"]
def start_requests(self):
for url in self.start_urls:
for i in range(1, 21):
yield scrapy.Request(url.format(i), callback=self.parse, dont_filter=True)
def parse(self, response):
# 解析房源信息
house_list = response.css(".shop_list .floatl")
for house in house_list:
title = house.css("p.title a::text").get().strip()
link = house.css("p.title a::attr(href)").get()
price = house.css(".price_right span::text").get().strip()
layout = house.css(".tel_shop::text").get().strip()
area = house.css(".area_right span::text").get().strip()
floor = house.css(".flood .floatl::text").get().strip()
region = house.css(".add_shop a::text").get().strip()
address = house.css(".add_shop span::text").get().strip()
# 将数据保存到文件或数据库中
yield {
"title": title,
"link": link,
"price": price,
"layout": layout,
"area": area,
"floor": floor,
"region": region,
"address": address,
}
```
在这个 Spider 中,我们定义了一个名为 EsfSpider 的 Spider,它爬取房天下二手房信息的前20页数据。在 start_requests 方法中,我们使用 `yield` 关键字生成了20个 HTTP 请求,分别对应前20页数据的 URL。在 parse 方法中,我们使用 CSS Selector 提取了房源信息的各个字段,并使用 `yield` 关键字将数据保存到字典中。
3. 运行 Spider
在命令行中执行以下命令,运行 Spider:
```
scrapy crawl esf -o esf.csv
```
这个命令将会运行名为 esf 的 Spider,并将爬取到的数据保存到一个名为 esf.csv 的 CSV 文件中。你可以在 Spider 中修改数据的保存方式,例如保存到数据库中。同样的方法也可以使用 PySpider 爬虫框架来实现。
阅读全文