用python写一个爬虫
时间: 2023-12-01 16:05:05 浏览: 77
好的,以下是一个用 Python 编写的简单爬虫示例,用于获取指定网页的标题和链接:
```python
import requests
from bs4 import BeautifulSoup
def scrape_website(url):
# 发送 GET 请求获取页面内容
response = requests.get(url)
# 使用 BeautifulSoup 解析页面内容
soup = BeautifulSoup(response.content, 'html.parser')
# 获取页面的标题
title = soup.title.text
# 获取页面中的所有链接
links = []
for link in soup.find_all('a'):
links.append(link.get('href'))
return title, links
# 输入要爬取的网页 URL
url = input("请输入要爬取的网页 URL:")
# 爬取网页内容
title, links = scrape_website(url)
# 打印标题和链接
print("页面标题:", title)
print("页面链接:")
for link in links:
print(link)
```
这段代码使用了 requests 库发送 HTTP 请求,以获取网页内容。然后使用 BeautifulSoup 库解析 HTML 内容,提取页面的标题和链接信息。最后将获取到的标题和链接打印出来。
请注意,爬虫涉及到网页抓取和解析,可能会受到网站的反爬虫机制限制。在实际使用中,请确保遵守网站的使用规则,并尊重网站的数据使用政策。
阅读全文