58同城租房信息爬虫python
时间: 2023-09-24 18:10:07 浏览: 183
应用Python爬虫、Flask框架、Echarts、WordCloud等技术将豆瓣租房信息爬取出来保存于Excel和数据库中
5星 · 资源好评率100%
你好!关于爬取58同城租房信息的问题,你可以使用Python来实现。以下是一个简单的示例代码,可以帮助你开始:
```python
import requests
from bs4 import BeautifulSoup
def get_rental_list(city, keyword):
url = f"https://{city}.58.com/chuzu/?key={keyword}"
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.150 Safari/537.36",
}
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')
rental_list = []
items = soup.select(".listUl > li")
for item in items:
title = item.select_one(".des h2 a").text.strip()
price = item.select_one(".money i").text.strip()
location = item.select_one(".des .add").text.strip()
rental_list.append({
'title': title,
'price': price,
'location': location
})
return rental_list
# 示例用法
city = "beijing"
keyword = "整租"
rental_list = get_rental_list(city, keyword)
for rental in rental_list:
print(rental)
```
在上面的示例代码中,我们使用了`requests`库发送HTTP请求,并使用`BeautifulSoup`库解析HTML页面。通过指定城市和关键词,你可以获取相应的租房信息列表。请注意,为了避免被反爬虫机制检测到,我们在请求头中设置了一个User-Agent。
这只是一个简单的爬虫示例,具体的实现可能需要根据网页结构和反爬虫机制进行调整。还请遵守网站的使用规则,不要对网站造成不必要的负担或侵犯他人的权益。
阅读全文