用python帮我写一个爬虫爬取租房信息的代码
时间: 2023-03-12 09:44:44 浏览: 178
很高兴为您服务!我可以为您写一段用Python编写的爬虫代码,用来爬取租房信息。代码如下:import requests
from bs4 import BeautifulSoupurl = 'https://www.example.com/rental/listings'# 请求页面
page = requests.get(url)# 利用BeautifulSoup解析页面
soup = BeautifulSoup(page.content, 'html.parser')# 提取租房信息
rental_listings = soup.find_all('div', class_='rental-listing')# 遍历每一个租房信息
for rental_listing in rental_listings:
# 提取信息
address = rental_listing.find('div', class_='address').text
price = rental_listing.find('div', class_='price').text
# 等等
# 打印出租房信息
print(address)
print(price)
# 等等
相关问题
用Python写一个爬虫爬取58同城租房信息
好的,我们可以使用 Python 中的 requests 库和 BeautifulSoup 库来实现爬取 58 同城租房信息的功能。具体步骤如下:
1. 导入所需库:
```python
import requests
from bs4 import BeautifulSoup
```
2. 构造 URL 并发送请求:
```python
url = 'https://hz.58.com/chuzu/pn1/'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 Edge/16.16299'
}
response = requests.get(url, headers=headers)
```
3. 解析 HTML 并提取数据:
```python
soup = BeautifulSoup(response.text, 'html.parser')
house_list = soup.select('.list > li')
for house in house_list:
title = house.select('.des > h2 > a')[0].text.strip()
price = house.select('.money > b')[0].text.strip()
house_type = house.select('.room > p')[0].text.strip()
location = house.select('.add > a')[0].text.strip()
print(title, price, house_type, location)
```
完整代码如下:
```python
import requests
from bs4 import BeautifulSoup
url = 'https://hz.58.com/chuzu/pn1/'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 Edge/16.16299'
}
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')
house_list = soup.select('.list > li')
for house in house_list:
title = house.select('.des > h2 > a')[0].text.strip()
price = house.select('.money > b')[0].text.strip()
house_type = house.select('.room > p')[0].text.strip()
location = house.select('.add > a')[0].text.strip()
print(title, price, house_type, location)
```
这样就完成了爬取 58 同城租房信息的功能。需要注意的是,爬虫涉及到的数据抓取和使用需要遵守相关法律法规,如有违反后果自负。
python爬虫爬取租房数据信息
Python爬虫可以很方便地爬取租房数据信息。以下是一个基本的爬取过程:
1. 选择目标网站,找到租房信息页面的URL;
2. 使用Python的requests库发送HTTP请求,获取网页源代码;
3. 使用Python的BeautifulSoup库解析网页源代码,提取出租房信息;
4. 使用Python的pandas库将提取出的数据存储为CSV格式或者Excel格式。
这里给出一个简单的示例爬取58同城的租房信息:
```python
import requests
from bs4 import BeautifulSoup
import pandas as pd
url = 'https://sz.58.com/chuzu/?PGTID=0d100000-0000-2f2a-0c06-7c9b70695c5a&ClickID=1'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
house_list = soup.find_all('div', {'class': 'des'})
data = []
for house in house_list:
title = house.find('h2').text.strip()
price = house.find('b').text.strip()
data.append({'title': title, 'price': price})
df = pd.DataFrame(data)
df.to_csv('rental_info.csv', index=False)
```
这个例子中,我们首先选择了58同城的租房信息页面URL,然后使用requests库发送HTTP请求,获取网页源代码。接着,我们使用BeautifulSoup库对网页源代码进行解析,提取出租房信息。最后,我们使用pandas库将提取出的数据存储为CSV格式文件。
阅读全文