python爬虫requests源码链家_python 爬取链家网二手房信息(重庆部分区县)
时间: 2023-10-17 15:37:01 浏览: 138
pyhton+requests 爬链家二手房
好的,以下是Python爬虫使用requests库爬取链家网二手房信息(重庆部分区县)的示例代码:
```python
import requests
from bs4 import BeautifulSoup
# 设置请求头
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
# 设置请求参数
params = {
'page': 1, # 页数
'region': '江北', # 区域
'sort': 'price_desc' # 排序方式:按价格降序
}
# 发送请求
url = 'https://cq.lianjia.com/ershoufang/'
res = requests.get(url, headers=headers, params=params)
# 解析数据
soup = BeautifulSoup(res.text, 'html.parser')
house_items = soup.find_all('div', class_='info clear')
for item in house_items:
# 获取房源信息
title = item.find('div', class_='title').a.text.strip() # 标题
address = item.find('div', class_='address').div.text.strip() # 地址
price = item.find('div', class_='priceInfo').div.text.strip() # 价格
print('标题:{}\n地址:{}\n价格:{}\n'.format(title, address, price))
```
以上代码实现了爬取重庆江北地区的链家网二手房信息,并按价格降序排列。可以根据需要修改参数来爬取其他区县的数据。需要注意的是,爬取网站时需要设置请求头,否则会被网站封禁。
阅读全文