python爬虫爬取海底捞全国门店地址详细信息
时间: 2023-12-27 12:01:55 浏览: 35
根据提供的引用内容,以下是使用Python爬虫爬取海底捞全国门店地址详细信息的示例:
```python
import requests
from bs4 import BeautifulSoup
def get_haidilao_stores():
url = "https://www.dianping.com/search/keyword/2/0_%E6%B5%B7%E5%BA%95%E6%8D%9E"
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.150 Safari/537.36"
}
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, "html.parser")
store_list = soup.find_all("div", class_="txt")
stores = []
for store in store_list:
name = store.find("h4").text.strip()
address = store.find("span", class_="addr").text.strip()
stores.append({"name": name, "address": address})
return stores
haidilao_stores = get_haidilao_stores()
for store in haidilao_stores:
print("店名:", store["name"])
print("地址:", store["address"])
print("--")
```
这段代码使用了requests库发送HTTP请求,使用BeautifulSoup库解析HTML页面。首先,我们发送GET请求到海底捞在大众点评上的搜索页面,然后使用BeautifulSoup解析页面内容。通过分析页面结构,我们找到了包含门店信息的`<div>`标签,并使用find方法获取店名和地址信息。最后,将获取到的门店信息存储在一个列表中,并逐个打印出来。