python 爬虫获取标签内容
时间: 2023-08-12 13:09:44 浏览: 120
要获取网页中的标签内容,可以使用 Python 的 requests 库和 BeautifulSoup 库。
首先,使用 requests 库发送 HTTP 请求获取网页的 HTML 内容,例如:
```python
import requests
url = 'https://example.com'
response = requests.get(url)
html_content = response.content
```
然后,使用 BeautifulSoup 库解析 HTML 内容,并使用标签名或 CSS 类名等方式获取标签内容,例如:
```python
from bs4 import BeautifulSoup
soup = BeautifulSoup(html_content, 'html.parser')
tag_content = soup.find('tag_name').text
class_content = soup.find(class_='class_name').text
```
其中,`find()` 方法用于查找单个标签,`text` 属性用于获取标签的文本内容。你可以根据网页的具体情况,使用不同的查找方式来获取标签内容。
阅读全文