如何爬取多个标签下不同的内容

当你想要从HTML中爬取多个标签下的不同内容时，可以按照以下步骤操作：

1. **选择正确的解析库**：Python的`BeautifulSoup`是一个很好的选择，它支持多种解析器，如`lxml`、`html.parser`等。

from bs4 import BeautifulSoup
import requests

# 获取网页内容
url = "http://example.com"
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')

2. **定位多个标签**：如果你知道每个标签的位置和类名、ID，可以直接通过`.find_all()`或`.select()`方法找到它们。例如，假设你想分别获取`<div class="content">`和`<p>`下的文本：

   content_divs = soup.find_all('div', class_='content')
   paragraph_texts = soup.select('p')

   content_data = [div.text for div in content_divs]
   paragraph_data = [p.text for p in paragraph_texts]

3. **存储数据**：把提取的数据分别存储起来，可能使用列表、字典或自定义的数据结构。

   results = {'content': content_data, 'paragraphs': paragraph_data}

4. **遍历和组合**：如果多个标签分布在不同的部分，可能需要遍历整个HTML树来组合你需要的信息。

5. **异常处理**：在遍历过程中，记得处理可能出现的解析错误，如找不到指定的标签。

6. **批量处理**：如果要爬取大量相同的网页，考虑编写循环并批量运行。

记住，在实际操作中，要确保遵守网站的robots.txt规则，并尽量减少对服务器的压力。