python爬取大众点评
时间: 2023-07-12 21:58:12 浏览: 154
好的,您想了解如何使用 Python 爬取大众点评的数据,是吗?那我来简单介绍一下。
首先,需要使用第三方库 requests 和 BeautifulSoup,可以通过 pip 安装:
```
pip install requests
pip install beautifulsoup4
```
然后,可以使用 requests 发送 HTTP 请求,获取大众点评的网页内容,例如:
```python
import requests
url = 'https://www.dianping.com/'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
response = requests.get(url, headers=headers)
print(response.text)
```
接着,可以使用 BeautifulSoup 解析 HTML 文档,提取所需的数据,例如:
```python
from bs4 import BeautifulSoup
soup = BeautifulSoup(response.text, 'html.parser')
shop_list = soup.find_all('div', class_='shop-list J_shop-list shop-all-list')
for shop in shop_list:
shop_name = shop.find('div', class_='tit').find('a').text.strip()
shop_score = shop.find('div', class_='comment').find('span', class_='sml-rank-stars')['title']
shop_address = shop.find('div', class_='tag-addr').find('span', class_='addr').text.strip()
print(shop_name, shop_score, shop_address)
```
以上代码仅为示例,具体的网页结构和数据提取方法需要根据实际情况进行调整。
希望能对您有所帮助!
阅读全文