python爬虫获取页面指定日期的信息
时间: 2023-06-14 13:04:18 浏览: 462
可以使用Python中的requests和BeautifulSoup库来实现爬取页面指定日期的信息。
1. 首先,需要发送HTTP请求获取页面内容。使用requests库中的get()方法来发送GET请求,并将日期作为参数传递给URL。
```python
import requests
date = '2021-09-01'
url = 'https://example.com/page?date=' + date
response = requests.get(url)
```
2. 接着,需要使用BeautifulSoup库解析HTML内容,并提取所需的信息。这里以提取新闻标题为例。
```python
from bs4 import BeautifulSoup
soup = BeautifulSoup(response.text, 'html.parser')
titles = soup.find_all('h2', class_='news-title')
for title in titles:
print(title.text)
```
完整代码:
```python
import requests
from bs4 import BeautifulSoup
date = '2021-09-01'
url = 'https://example.com/page?date=' + date
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
titles = soup.find_all('h2', class_='news-title')
for title in titles:
print(title.text)
```
注意:具体的页面结构和需要提取的信息可能有所不同,请根据实际情况进行调整。
阅读全文