请用python写出爬虫
时间: 2023-10-12 12:06:07 浏览: 95
用Python写爬虫
好的,以下是一个简单的Python爬虫示例,用于爬取网页上的所有链接:
```python
import requests
from bs4 import BeautifulSoup
def get_links(url):
# 发送GET请求并获取页面内容
response = requests.get(url)
# 使用BeautifulSoup解析页面内容
soup = BeautifulSoup(response.content, 'html.parser')
# 获取页面中所有的链接
links = []
for link in soup.find_all('a'):
href = link.get('href')
if href and href.startswith('http'):
links.append(href)
return links
if __name__ == '__main__':
# 要爬取的网页链接
url = 'https://www.example.com'
# 获取链接并打印
links = get_links(url)
for link in links:
print(link)
```
这个示例使用了`requests`库和`BeautifulSoup`库,前者用于发送HTTP请求和获取页面内容,后者用于解析HTML内容。这个爬虫会搜索页面中所有的链接,并将以`http`或`https`开头的链接保存到一个列表中,最后打印所有链接。当然,这只是一个简单的示例,实际的爬虫可能需要更复杂的逻辑和更多的处理。
阅读全文