python爬虫获取列表数据

Python爬虫获取列表数据通常涉及网络请求、解析HTML或JSON等步骤。下面是一个简单的例子，假设我们要从一个网页上抓取一个包含商品列表的HTML页面：

1. **安装必要的库**：首先需要安装`requests`库来进行HTTP请求，以及如`BeautifulSoup`或`lxml`用于解析HTML。

pip install requests beautifulsoup4

2. **发送GET请求**：使用`requests.get()`函数获取网页内容。

import requests
url = "http://example.com/list"  # 替换为你想要抓取的URL
response = requests.get(url)

3. **解析HTML**：使用BeautifulSoup或其他库解析响应文本，找到包含列表数据的部分。

from bs4 import BeautifulSoup

soup = BeautifulSoup(response.text, 'html.parser')
list_data = soup.find('ul')  # 假设列表数据在一个`<ul>`标签内

4. **提取数据**：遍历`list_data`中的每个元素，提取所需的数据（例如`li`标签下的文字或链接）。

items = list_data.find_all('li')
list_items = []
for item in items:
    text = item.get_text()  # 获取元素文本
    link = item.find('a')['href'] if 'a' in item else None  # 如果有链接，提取链接
    list_items.append((text, link))

5. **处理结果**：最后，你可以将`list_items`存储到文件、数据库，或者作为字典等结构保存。

with open('data.txt', 'w') as f:
    for text, link in list_items:
        f.write(f"{text}\n{link}\n")