python爬虫实现_python简单爬虫的实现
时间: 2024-05-25 10:04:46 浏览: 187
Python是一种非常流行的编程语言,也是一种非常适合爬虫开发的语言。在Python中,有很多用于爬虫开发的库和模块,例如requests、BeautifulSoup、Scrapy等。
下面是一个使用requests和BeautifulSoup库实现简单爬虫的示例代码:
```
import requests
from bs4 import BeautifulSoup
url = 'https://www.example.com'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
links = soup.find_all('a')
for link in links:
print(link.get('href'))
```
这个示例代码会向https://www.example.com发起GET请求,并使用BeautifulSoup解析响应内容。最后打印出页面中所有链接的href属性。
阅读全文