python爬取淘宝商品信息csdn

Python爬虫可以通过网络请求抓取淘宝商品信息，这里假设使用requests和BeautifulSoup库实现。首先，我们需要导入所需的库：

import requests
from bs4 import BeautifulSoup

然后，我们可以定义一个函数来获取淘宝商品信息：

def crawl_taobao(keyword):
    url = 'https://search.taobao.com/search?q=' + keyword
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
    }  # 模拟浏览器访问

    response = requests.get(url, headers=headers)
    soup = BeautifulSoup(response.text, 'html.parser')

    items = soup.select('.J_MouserOnverReq')
    for item in items:
        title = item.select('.J_ClickStat')[0].text
        price = item.select('.price')[0].text
        shop = item.select('.shop')[0].text.strip()

        print('商品名称：', title)
        print('商品价格：', price)
        print('商品店铺：', shop)
        print('----------------------')


# 使用示例
crawl_taobao('手机')

上述代码中，我们首先构建了淘宝搜索的URL，然后发送请求并获取响应。接着，利用BeautifulSoup解析页面内容，找到商品的名称、价格和店铺信息，并进行打印输出。

需要注意的是，为了模拟浏览器的请求，我们设置了较为完整的User-Agent，这样可以避免遭到反爬虫的屏蔽。

执行上述代码，即可实现通过Python爬取淘宝商品信息。当然，更复杂的操作和数据处理都可以在上述代码的基础上进行拓展和优化。