如何爬取咸鱼商品数据

使用Python编写网络爬虫抓取闲鱼商品信息
工具和技术选型
为了实现这一目标，可以选择使用requests库发送HTTP请求以及BeautifulSoup或lxml库解析HTML文档。对于更复杂的场景，则推荐采用Scrapy框架，它专为网页抓取设计，提供了更多高级功能[^2]。
获取页面内容
首先需要向目标网站发起请求以获得网页源代码，在此过程中要注意设置合理的User-Agent头模拟浏览器行为以免被服务器识别为异常流量而遭到封禁：
import requests

url = 'https://www.xianyu.com/search' # 假设这是搜索页URL模式
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64)"
}
response = requests.get(url, headers=headers)

if response.status_code == 200:
html_content = response.text
else:
print(f"Failed to fetch page with status code {response.status_code}")
登录后复制
解析HTML结构
接着利用BeautifulSoup来分析返回的数据流，定位到包含商品详情的位置，并从中抽取有用字段如标题、价格等：
from bs4 import BeautifulSoup

soup = BeautifulSoup(html_content, 'html.parser')
items = soup.find_all('div', class_='item') # 这里假设每件商品都包裹在一个具有特定class属性的<div>标签内

for item in items:
title = item.select_one('.title').get_text(strip=True) if item.select_one('.title') else None
price = item.select_one('.price').get_text(strip=True).replace('¥','') if item.select_one('.price') else None

print({'Title': title, 'Price': price})
登录后复制
需要注意的是实际开发时应仔细研究目标站点的具体DOM树形结构以便准确定位元素；另外考虑到反爬机制的存在，建议适当加入延时操作减少频率过高带来的风险[^1]。
存储收集到的信息
最后一步就是把得到的结果保存下来供后续处理用了，这里简单举例说明如何将其写入CSV文件中去：
import csv

with open('output.csv', mode='w', newline='', encoding='utf-8-sig') as file:
writer = csv.writer(file)
writer.writerow(['Title', 'Price'])

for data in collected_data:
writer.writerow([data['Title'], data['Price']])
登录后复制
以上即是一个基本版基于Python编写的针对闲鱼平台的商品数据采集器概览[^3]。