python爬取静态网页多页数据
时间: 2023-09-04 11:11:23 浏览: 140
实例讲解Python爬取网页数据
5星 · 资源好评率100%
要爬取静态网页多页数据,可以使用Python的requests和BeautifulSoup库。以下是一个简单的示例代码:
```python
import requests
from bs4 import BeautifulSoup
url_template = 'http://example.com/page/{}/'
for page in range(1, 11): # 爬取1到10页的数据
url = url_template.format(page)
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
# 解析数据
# ...
```
这里假设目标网页的URL格式为`http://example.com/page/{页码}/`,通过循环遍历1到10页的URL,使用requests获取网页内容,然后使用BeautifulSoup解析数据。在解析数据时,可以根据网页的HTML结构使用find、find_all等方法获取需要的数据。
阅读全文