python爬虫实例源码
时间: 2023-10-15 10:01:07 浏览: 175
Python爬虫实例源码通常用于从网页上获取数据,并可以根据需要进行数据处理和分析。下面是一个简单的Python爬虫实例源码,用于从网页中获取楼盘信息:
```python
import requests
from bs4 import BeautifulSoup
def get_loupan_info(url):
# 发起HTTP请求获取网页内容
response = requests.get(url)
# 使用BeautifulSoup解析网页内容
soup = BeautifulSoup(response.text, 'html.parser')
# 找到楼盘信息所在的HTML元素
loupan_infos = soup.find_all('div', class_='loupan-info')
# 遍历每个楼盘信息
for loupan_info in loupan_infos:
# 提取楼盘名称
name = loupan_info.find('a', class_='name').text.strip()
# 提取楼盘价格
price = loupan_info.find('span', class_='price').text.strip()
# 输出楼盘名称和价格
print('楼盘名称:', name)
print('楼盘价格:', price)
# 测试爬虫
if __name__ == '__main__':
url = 'http://www.example.com/loupan'
get_loupan_info(url)
```
以上源码通过使用requests库发起HTTP请求,获取指定网址的网页内容,然后使用BeautifulSoup库解析网页内容,找到包含楼盘信息的HTML元素,并提取楼盘的名称和价格。最后,将楼盘名称和价格进行输出。可以根据实际需求,适当修改源码以满足不同的爬虫任务。
阅读全文