Python爬虫获取一个地方的餐厅名和地址
时间: 2024-05-06 17:20:32 浏览: 21
以下是一个简单的Python爬虫示例,用于获取某个城市的餐厅名称和地址。本例使用了BeautifulSoup和requests库。
```python
import requests
from bs4 import BeautifulSoup
# 设置要爬取的城市和页面数量
city = '上海'
page_num = 5
# 循环爬取每一页的数据
for i in range(1, page_num+1):
url = f'https://www.dianping.com/{city}/ch10/p{i}'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
res = requests.get(url, headers=headers)
soup = BeautifulSoup(res.text, 'html.parser')
# 获取每个餐厅的名称和地址
for item in soup.select('.shop-list li'):
name = item.select('.tit h4')[0].text.strip()
address = item.select('.tag-addr')[0].text.strip()
print(name, address)
```
此爬虫将获取上海市的餐厅名称和地址,从第一页到第五页。可以根据需要更改城市和页数。输出结果将打印在控制台上,可以根据需要进行进一步的处理。