python爬虫爬取网页数据
时间: 2023-07-29 09:09:37 浏览: 43
Python爬虫是一种自动化获取互联网信息的程序,可以通过模拟人类在网页上的行为来获取网页数据。通常情况下,爬虫会通过网络请求获取网页源代码,然后使用解析库(如BeautifulSoup)来解析网页数据,提取出需要的信息。
以下是一个简单的Python爬虫示例,用于获取百度首页的标题:
```python
import requests
from bs4 import BeautifulSoup
url = 'https://www.baidu.com/'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
title = soup.title.string
print(title)
```
这个示例中,我们使用了requests库发起了一个GET请求,获取了百度首页的源代码,然后使用BeautifulSoup解析了这个源代码,并提取出了页面的标题。