python爬虫案例贝壳网
时间: 2024-03-17 10:37:36 浏览: 105
贝壳网是中国领先的房地产互联网平台之一,提供房源信息、房价走势、小区评价等服务。下面是一个简单的Python爬虫案例,用于爬取贝壳网的房源信息:
```python
import requests
from bs4 import BeautifulSoup
def get_house_info(url):
# 发送HTTP请求获取网页内容
response = requests.get(url)
# 使用BeautifulSoup解析网页内容
soup = BeautifulSoup(response.text, 'html.parser')
# 定位房源信息所在的HTML元素
house_list = soup.find_all('div', class_='info')
# 遍历房源信息列表,提取所需信息
for house in house_list:
title = house.find('a', class_='title').text.strip()
price = house.find('span', class_='price').text.strip()
print(f"标题:{title},价格:{price}")
# 爬取贝壳网上北京市朝阳区的二手房信息
url = 'https://bj.ke.com/ershoufang/chaoyang/pg1/'
get_house_info(url)
```
这个爬虫案例使用了`requests`库发送HTTP请求,使用`BeautifulSoup`库解析网页内容。通过定位HTML元素,提取了房源的标题和价格信息,并打印输出。
阅读全文