python爬取链家租房信息
时间: 2023-07-06 19:43:40 浏览: 205
好的,我可以帮你解答这个问题。
首先,我们需要安装相关的 Python 库,比如 requests、beautifulsoup4 和 pandas。你可以使用 pip 命令来安装它们:
```
pip install requests
pip install beautifulsoup4
pip install pandas
```
然后,我们可以编写 Python 代码来爬取链家租房信息。下面是一个简单的示例:
```python
import requests
from bs4 import BeautifulSoup
import pandas as pd
url = 'https://hz.lianjia.com/zufang/'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')
house_list = soup.find_all('div', class_='content__list--item--main')
data = []
for house in house_list:
title = house.find('p', class_='content__list--item--title').text.strip()
size = house.find('span', class_='content__list--item--size').text
price = house.find('span', class_='content__list--item-price').text.strip()
data.append([title, size, price])
df = pd.DataFrame(data, columns=['标题', '面积', '价格'])
df.to_csv('lianjia.csv', index=False, encoding='utf-8-sig')
```
这个代码将会爬取杭州链家网站的租房信息,并将标题、面积和价格保存到一个 CSV 文件中。你也可以根据自己的需要修改代码来爬取其他城市的租房信息。
阅读全文