如何用python 写一个网页爬虫
时间: 2024-05-11 12:14:14 浏览: 95
以下是一个基本的Python爬虫示例:
```python
import requests
from bs4 import BeautifulSoup
# 定义要爬取的网页链接
url = "https://www.example.com"
# 发送HTTP请求
response = requests.get(url)
# 解析HTML内容
soup = BeautifulSoup(response.content, 'html.parser')
# 查找所有的链接
links = []
for link in soup.find_all('a'):
links.append(link.get('href'))
# 输出链接
for link in links:
print(link)
```
在上面的示例中,我们使用了Requests库发送HTTP请求,然后使用BeautifulSoup库解析HTML内容。我们从页面中查找所有的链接,并将它们输出到控制台。您可以根据需要修改代码以满足您的需求,例如查找特定元素或保存数据到文件中。
阅读全文