jupyter爬虫例子
时间: 2023-11-16 13:56:40 浏览: 168
pythonScraping:网页爬虫
Jupyter是一个非常方便的Python交互式编程环境,可以用于编写爬虫代码。以下是一个简单的Jupyter爬虫例子:
1. 首先,导入需要的库,比如requests和BeautifulSoup:
```
import requests
from bs4 import BeautifulSoup
```
2. 然后,使用requests库发送HTTP请求,获取网页源代码:
```
url = 'https://www.example.com'
response = requests.get(url)
html = response.text
```
3. 接着,使用BeautifulSoup库解析网页源代码,提取需要的信息:
```
soup = BeautifulSoup(html, 'html.parser')
links = soup.find_all('a')
for link in links:
print(link.get('href'))
```
这个例子中,我们首先发送了一个HTTP请求,获取了一个网页的源代码。然后,使用BeautifulSoup库解析这个源代码,提取了所有的链接,并打印了出来。
阅读全文