使用Python爬取https://nj.fang.ke.com/loupan/内的所有价格位置名称
时间: 2023-12-03 14:02:04 浏览: 152
python定向爬取淘宝商品价格
好的,我明白了。为了爬取https://nj.fang.ke.com/loupan/上的所有价格、位置和名称,我们可以使用Python的爬虫库 requests 和解析库 BeautifulSoup 来实现。下面是示例代码:
```python
import requests
from bs4 import BeautifulSoup
url = 'https://nj.fang.ke.com/loupan/'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')
# 获取所有楼盘信息
houses = soup.select('ul.house-lst > li')
for house in houses:
# 获取价格
price = house.select_one('div.price > span').text.strip()
# 获取位置
location = house.select_one('div.positionInfo > a').text.strip()
# 获取名称
name = house.select_one('div.name > a').text.strip()
print('名称:', name)
print('位置:', location)
print('价格:', price)
```
运行以上代码,即可在控制台输出所有楼盘的名称、位置和价格信息。需要注意的是,由于该网站可能存在反爬机制,所以我们在请求时添加了 User-Agent 头部信息,以模拟浏览器行为进行访问。另外,在解析 HTML 时,我们使用了 BeautifulSoup 库,它可以方便地提取 HTML 中的元素信息。
阅读全文