python爬取闲鱼网页
时间: 2023-09-14 17:14:56 浏览: 296
你可以使用Python中的requests库和BeautifulSoup库来爬取闲鱼网页。首先,确保你已经安装了这两个库。在开始之前,你还需要了解一些基本的HTML和CSS知识。
下面是一个简单的示例代码,演示如何使用Python爬取闲鱼网页:
```python
import requests
from bs4 import BeautifulSoup
# 设置请求头,模拟浏览器访问
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.190 Safari/537.36'
}
# 发起HTTP GET请求,获取闲鱼网页的内容
url = 'https://2.taobao.com/'
response = requests.get(url, headers=headers)
html = response.content
# 使用BeautifulSoup解析网页内容
soup = BeautifulSoup(html, 'html.parser')
# 根据HTML结构提取你想要的信息
items = soup.find_all('div', class_='item')
for item in items:
title = item.find('a', class_='title').text.strip()
price = item.find('em', class_='price').text.strip()
print('标题:', title)
print('价格:', price)
print('--------------------------')
```
以上代码会输出闲鱼网页中的商品标题和价格。你可以根据自己的需求修改代码,提取其他感兴趣的信息。
请注意,爬取网页信息需要遵守网站的使用规则,并避免过度请求。在实际应用中,你可能需要添加一些延时,或使用代理IP等方式来防止被封禁。
阅读全文