编写一个使用requests+BeautifulSoup的python爬虫爬取页面的模板
时间: 2023-06-12 17:04:00 浏览: 245
使用Python的requests库和BeautifulSoup库进行网页爬取的示例案例
以下是一个使用requests和BeautifulSoup库的Python爬虫爬取页面的模板代码:
```python
import requests
from bs4 import BeautifulSoup
# 设置请求头,模拟浏览器访问
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
# 发起请求
response = requests.get(url, headers=headers)
# 解析网页内容
soup = BeautifulSoup(response.text, 'html.parser')
# 找到需要的信息
result = soup.find('div', class_='result')
# 输出结果
print(result.text)
```
在上述代码中,首先我们定义了一个请求头,用于模拟浏览器访问。然后使用requests库发送请求,获取网页的源代码。接着,使用BeautifulSoup库解析网页的HTML内容,找到需要的信息。最后,将结果打印输出。如果要获取多个结果,可以使用soup.find_all()方法。
阅读全文