帮我写一个的爬虫代码,能够爬取到https://cd.newhouse.fang.com/xfbusiness/deal.htm,该网站的数据
时间: 2023-06-27 15:07:07 浏览: 82
一个爬虫代码
5星 · 资源好评率100%
好的,以下是一个简单的爬虫代码,使用Python的 requests 和 Beautiful Soup 库来实现:
```python
import requests
from bs4 import BeautifulSoup
# 设置请求头
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
# 目标网站的url
url = 'https://cd.newhouse.fang.com/xfbusiness/deal.htm'
# 发送请求
response = requests.get(url, headers=headers)
# 解析网页
soup = BeautifulSoup(response.text, 'html.parser')
# 获取需要的数据
data = []
for tr in soup.select('table tr'):
td_list = tr.select('td')
if len(td_list) == 6:
name = td_list[0].text.strip()
price = td_list[1].text.strip()
area = td_list[2].text.strip()
address = td_list[3].text.strip()
date = td_list[4].text.strip()
data.append({'name': name, 'price': price, 'area': area, 'address': address, 'date': date})
# 打印数据
for item in data:
print(item)
```
这个爬虫会获取目标网站上的房地产交易数据,并将其以字典的形式存储在列表中。然后,它会遍历这个列表并打印出每个交易的名称、价格、面积、地址和日期。你可以根据自己的需求来修改代码。
阅读全文