python 实现一个网页爬虫 代码示例
时间: 2024-04-25 21:26:02 浏览: 118
python实现网络爬虫使用了第三方库beautifulsoup来解析网页文件,并且实现了cookie登录特定网站访问.zip
好的,以下是一个基于Python的简单网页爬虫示例代码:
```python
import requests
from bs4 import BeautifulSoup
url = 'https://www.example.com/' # 要爬取的网页 URL
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
# 找到网页中所有的超链接
links = soup.find_all('a')
for link in links:
print(link.get('href'))
```
这个示例代码使用了 `requests` 库来获取网页 HTML 内容,使用了 `BeautifulSoup` 库来解析 HTML 内容,然后找到了网页中所有的超链接并打印出来。这只是一个简单的示例,实际上,网页爬虫可以实现更多的功能,比如自动化登录、数据抓取、数据存储等。
阅读全文