写一个python脚本,爬取京东所有服装类商品
时间: 2024-06-09 16:06:38 浏览: 165
以下是一个简单的Python脚本,可以使用BeautifulSoup库和requests库来爬取京东的所有服装类商品:
```python
import requests
from bs4 import BeautifulSoup
# 设置请求头
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
# 设置URL和参数
url = 'https://search.jd.com/Search'
params = {'keyword': '服装', 'enc': 'utf-8', 'page': 1}
# 发送请求
response = requests.get(url, headers=headers, params=params)
# 解析HTML
soup = BeautifulSoup(response.text, 'html.parser')
# 提取商品链接
items = soup.find_all('div', class_='p-name')
links = []
for item in items:
link = item.find('a')['href']
if link.startswith('//'):
link = 'https:' + link
links.append(link)
# 打印商品链接
for link in links:
print(link)
```
这个脚本会爬取京东搜索页面上所有的服装类商品链接,并打印出来。你可以根据自己的需求对脚本进行修改,比如添加翻页功能、提取商品信息等。不过需要注意的是,爬取京东等网站的商品数据可能会违反网站的规定,需要谨慎使用。
阅读全文