用Python语言编写一段爬虫代码
时间: 2024-01-31 08:04:02 浏览: 79
用Python写爬虫
好的,以下是一个简单的爬虫代码,用于爬取指定网站的标题和链接:
```python
import requests
from bs4 import BeautifulSoup
url = "https://www.example.com"
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
for link in soup.find_all('a'):
print(link.get('href'))
print(link.string)
```
这个爬虫通过requests库发送HTTP请求获取网页内容,然后使用BeautifulSoup库解析网页内容,从中提取出所有的链接和标题,并打印出来。当然,具体的爬取方式和目标网站的结构有关,需要根据实际情况做出相应的调整。
阅读全文