爬取汽车之家经销商实例
时间: 2023-07-05 18:05:12 浏览: 47
好的,以下是爬取汽车之家经销商的示例代码:
```python
import requests
from bs4 import BeautifulSoup
url = "https://dealer.autohome.com.cn/china/S0/1/0/0/0/0/0/0/0.html"
res = requests.get(url)
soup = BeautifulSoup(res.text, "html.parser")
dealer_list = soup.find_all("div", class_="list-cont")
for dealer in dealer_list:
dealer_name = dealer.find("h3").text.strip()
dealer_address = dealer.find("p", class_="dealer-address").text.strip()
dealer_phone = dealer.find("p", class_="dealer-tel").text.strip()
print(dealer_name)
print(dealer_address)
print(dealer_phone)
```
该代码使用 requests 库发送请求获取页面内容,再用 BeautifulSoup 库解析页面。我们找到包含经销商信息的 div 标签,并使用 find 函数查找需要的信息,如经销商名称、地址和电话等。最后将获取到的信息打印出来。
注意:为了防止被反爬,建议添加 User-Agent 和 Referer 头部信息。同时,也要遵守网站的 Robots 协议,不要频繁访问同一页面。
相关推荐
![.zip](https://img-home.csdnimg.cn/images/20210720083646.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)