python爬取网页内容
时间: 2023-09-23 11:13:34 浏览: 79
python 爬取网页
使用Python爬取网页内容可以使用多种第三方库,其中比较常用的是requests和BeautifulSoup。以下是一个简单的示例代码:
```python
import requests
from bs4 import BeautifulSoup
# 发送请求获取页面内容
url = 'https://www.example.com'
response = requests.get(url)
# 解析页面内容
soup = BeautifulSoup(response.text, 'html.parser')
# 提取需要的信息
title = soup.title.text
content = soup.find('div', {'class': 'content'}).text
print(title)
print(content)
```
在这个示例中,我们首先使用requests库发送GET请求获取页面内容,然后使用BeautifulSoup解析HTML页面内容,并提取出我们需要的信息。对于具体的网页,需要根据其HTML结构进行相应的解析。
阅读全文