用爬虫框架Scrapy、PySpid，如何获取上述房价信息

使用 Scrapy 或 PySpider 爬虫框架，你可以更加高效地获取上述房价信息。以下是 Scrapy 爬取房天下二手房信息的示例代码：

1. 创建 Scrapy 项目

在命令行中执行以下命令，创建一个名为 fangtianxia 的 Scrapy 项目：

   scrapy startproject fangtianxia

2. 创建 Spider

在项目中创建一个名为 esf 的 Spider，用于爬取二手房信息。在 `fangtianxia/spiders` 目录下创建一个名为 `esf.py` 的文件，添加如下代码：

   import scrapy
   
   class EsfSpider(scrapy.Spider):
       name = "esf"
       allowed_domains = ["fang.com"]
       start_urls = ["https://esf.fang.com/house/i3{}/"]
   
       def start_requests(self):
           for url in self.start_urls:
               for i in range(1, 21):
                   yield scrapy.Request(url.format(i), callback=self.parse, dont_filter=True)
   
       def parse(self, response):
           # 解析房源信息
           house_list = response.css(".shop_list .floatl")
           for house in house_list:
               title = house.css("p.title a::text").get().strip()
               link = house.css("p.title a::attr(href)").get()
               price = house.css(".price_right span::text").get().strip()
               layout = house.css(".tel_shop::text").get().strip()
               area = house.css(".area_right span::text").get().strip()
               floor = house.css(".flood .floatl::text").get().strip()
               region = house.css(".add_shop a::text").get().strip()
               address = house.css(".add_shop span::text").get().strip()
   
               # 将数据保存到文件或数据库中
               yield {
                   "title": title,
                   "link": link,
                   "price": price,
                   "layout": layout,
                   "area": area,
                   "floor": floor,
                   "region": region,
                   "address": address,
               }

在这个 Spider 中，我们定义了一个名为 EsfSpider 的 Spider，它爬取房天下二手房信息的前20页数据。在 start_requests 方法中，我们使用 `yield` 关键字生成了20个 HTTP 请求，分别对应前20页数据的 URL。在 parse 方法中，我们使用 CSS Selector 提取了房源信息的各个字段，并使用 `yield` 关键字将数据保存到字典中。

3. 运行 Spider

在命令行中执行以下命令，运行 Spider：

   scrapy crawl esf -o esf.csv

这个命令将会运行名为 esf 的 Spider，并将爬取到的数据保存到一个名为 esf.csv 的 CSV 文件中。你可以在 Spider 中修改数据的保存方式，例如保存到数据库中。同样的方法也可以使用 PySpider 爬虫框架来实现。