帮我写一个爬取http://www.clzx.net/search/product链接里的材料名称和价格
时间: 2023-07-04 07:30:05 浏览: 43
好的,以下是一个使用Requests和BeautifulSoup库实现的简单爬虫示例,用于抓取 http://www.clzx.net/search/product 链接里的材料名称和价格:
```python
import requests
from bs4 import BeautifulSoup
url = 'http://www.clzx.net/search/product'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
# 获取所有材料名和价格
materials = []
prices = []
for item in soup.find_all('div', class_='pro-list-item'):
# 获取材料名
material = item.find('a').text.strip()
materials.append(material)
# 获取价格
price = item.find('span', class_='price').text.strip()
prices.append(price)
print(material, price)
# 输出所有材料名和价格
for i in range(len(materials)):
print('材料名:', materials[i])
print('价格:', prices[i])
```
这个示例中,首先使用requests库发送GET请求获取网页内容,然后使用BeautifulSoup库解析HTML文档。通过soup.find_all('div', class_='pro-list-item')可以获取所有材料的信息,然后通过find方法获取材料名和价格。最后将所有材料名和价格存储到materials和prices列表中,并输出所有材料名和价格。