爬取https://www.dianping.com/liquan/ch10/g102的商户信息
时间: 2023-08-02 18:08:58 浏览: 208
爬取企查查信息
4星 · 用户满意度95%
要爬取大众点评李泉县的商户信息,您可以使用Python和第三方库如Requests和BeautifulSoup来发送HTTP请求并解析HTML内容。
以下是一个示例代码,使用Python和BeautifulSoup来爬取大众点评李泉县的商户名称、地址和电话号码:
```python
import requests
from bs4 import BeautifulSoup
url = 'https://www.dianping.com/liquan/ch10/g102'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.190 Safari/537.36'
}
# 发送HTTP请求获取页面内容
response = requests.get(url, headers=headers)
html_content = response.text
# 使用BeautifulSoup解析HTML内容
soup = BeautifulSoup(html_content, 'html.parser')
# 定位商户信息所在的HTML元素,并提取商户名称、地址和电话号码
merchant_list = soup.find_all('div', class_='txt')
for merchant in merchant_list:
name = merchant.find('h4').text.strip()
address = merchant.find('span', class_='addr').text.strip()
phone = merchant.find('span', class_='tel').text.strip()
print('商户名称:', name)
print('地址:', address)
print('电话号码:', phone)
print('---')
```
请注意,这只是一个简单的示例代码,实际爬取过程可能会遇到反爬机制和其他复杂情况。为了遵守网站的使用规则,您可能还需要设置适当的请求头、使用代理、调整请求频率等方法。
同时,请确保您的爬取行为合法合规,并尊重网站的使用条款和隐私政策。在进行任何数据抓取活动时,请遵循道德规范并尊重他人的权益。
阅读全文