美团民宿爬虫python
时间: 2023-11-16 11:04:44 浏览: 259
以下是一个简单的美团民宿爬虫的Python代码示例:
```python
import scrapy
class MeituanSpider(scrapy.Spider):
name = 'meituan'
allowed_domains = ['meituan.com']
start_urls = ['https://hotel.meituan.com/guangzhou/k10/']
def parse(self, response):
for item in response.css('.hotel-item'):
meituan_item = {
'title': item.css('.hotel-name::text').get(),
'place': item.css('.hotel-address::text').get(),
'price': item.css('.price-num::text').get(),
'room': item.css('.room-info::text').get(),
'bed_num': item.css('.bed-info::text').get(),
'num': item.css('.person-info::text').get(),
}
yield meituan_item
next_page = response.css('.next-page::attr(href)').get()
if next_page is not None:
yield response.follow(next_page, self.parse)
```
这个爬虫使用Scrapy框架,爬取了美团民宿广州地区的信息,并将民俗名称,地区,价格,房间类型及数量,床的数量,可住几人等信息存储在一个字典中,最后使用yield返回。同时,爬虫还会自动翻页,直到爬取完所有页面。