帮我生成一份python爬虫代码自动爬取淘宝网页商品信息

Python爬虫的基本结构通常会包括以下几个步骤：导入必要的库、发送HTTP请求、解析HTML内容和存储数据。以下是一个简单的示例，使用BeautifulSoup库来抓取淘宝商品信息。请注意，这只是一个基本的框架，实际应用中需要处理反爬机制（如设置User-Agent、cookies等），并且遵守网站的robots.txt规则。

import requests
from bs4 import BeautifulSoup
import pandas as pd

# 指定URL
url = 'https://item.taobao.com/item.htm?id=your_item_id'

def get_html(url):
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
    }
    response = requests.get(url, headers=headers)
    if response.status_code == 200:
        return response.text
    else:
        print(f"Failed to fetch the page, status code: {response.status_code}")
        return None

def parse_html(html):
    soup = BeautifulSoup(html, 'lxml')
    # 假设商品信息在class为'main'的div下，具体字段名需根据实际网页结构调整
    product_info = soup.find('div', class_='main').find_all(['span', 'p'])  # 找到所有包含商品信息的标签
    data = []
    for info in product_info:
        try:
            data.append(info.text.strip())  # 存储每个元素的内容
        except AttributeError:
            pass  # 如果不是文本，忽略
    return data

def save_to_csv(data):
    df = pd.DataFrame(data, columns=['field1', 'field2', ...])  # 根据实际商品信息创建列名
    df.to_csv('taobao_items.csv', index=False)

html_content = get_html(url)
if html_content is not None:
    parsed_data = parse_html(html_content)
    save_to_csv(parsed_data)
else:
    print("No data fetched.")