爬取江东商品数据python

使用 Python 爬虫抓取江东商品数据
为了实现这一目标，可以采用 requests 和 BeautifulSoup 库来完成网页抓取的任务。以下是具体的方法：
准备工作
确保安装了必要的库：
pip install requests beautifulsoup4 lxml
登录后复制
抓取流程

指定 URL
需要找到提供江东商品信息的具体网址并将其作为目标URL。

发起请求
利用 requests 发送 HTTP 请求到服务器获取网页内容。

解析 HTML 文档
使用 BeautifulSoup 解析HTML文档结构以便提取所需的信息。

保存或处理数据
将收集来的信息存入文件数据库或其他形式用于后续分析。

下面是一个简单的例子展示如何操作这些步骤[^1]：
import requests
from bs4 import BeautifulSoup

def get_jiangdong_product_info():
# 指定url
url = "http://example.jiangdong.com/products" # 这里应替换为实际的目标链接

try:
# 发起请求
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)',
}
response = requests.get(url, headers=headers)

if response.status_code == 200:
soup = BeautifulSoup(response.content.decode('utf-8'), features="lxml")

products = []

items = soup.find_all('div', class_='product-item')
for item in items:
name = item.select_one('.name').get_text(strip=True)
price = float(item.select_one('.price').get_text(strip=True).replace('$', ''))

product = {"Name": name, "Price": price}
products.append(product)

return products

else:
print(f"Failed to retrieve data from {url}. Status code: {response.status_code}")

except Exception as e:
print(e)

if __name__ == '__main__':
result = get_jiangdong_product_info()
if result is not None:
for r in result[:5]:
print(r)
登录后复制
这段代码展示了基本的爬虫逻辑，并假设了一个虚构的商品列表页面布局。对于真实的项目来说，可能还需要考虑更多细节比如分页加载、反爬机制等问题。