python爬虫爬取58同城
时间: 2023-12-29 22:25:36 浏览: 120
58同城-长沙二手房-爬虫代码
以下是使用Python爬虫爬取58同城的示例代码:
```python
import requests
from bs4 import BeautifulSoup
# 设置请求头,模拟浏览器访问
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
}
# 发送请求获取网页内容
url = 'https://www.58.com/chuzu/'
response = requests.get(url, headers=headers)
html = response.text
# 使用BeautifulSoup解析网页内容
soup = BeautifulSoup(html, 'html.parser')
# 获取租房信息的相关标签
house_list = soup.find_all('div', class_='des')
# 遍历标签获取租房信息
for house in house_list:
title = house.find('h2').text.strip() # 标题
price = house.find('b').text.strip() # 价格
print('标题:', title)
print('价格:', price)
print('--')
```
这段代码使用了`requests`库发送HTTP请求,使用`BeautifulSoup`库解析网页内容。首先,我们设置了请求头,模拟浏览器访问。然后,发送请求获取网页内容,并使用`BeautifulSoup`解析网页内容。接下来,我们通过查找相关标签,获取租房信息的标题和价格,并打印输出。
阅读全文