用Python写一份网页爬虫代码
时间: 2023-11-21 19:45:51 浏览: 126
Python编写网页爬虫
好的,下面是一个简单的 Python 爬虫代码,用于爬取指定网站的网页内容:
```python
import requests
from bs4 import BeautifulSoup
# 设置需要爬取的网站链接
url = "http://example.com"
# 使用 requests 库获取网页内容
response = requests.get(url)
# 将网页内容转换为 BeautifulSoup 对象
soup = BeautifulSoup(response.text, "html.parser")
# 查找需要的内容,比如标题
title = soup.find("title").get_text()
print(title)
```
这份代码使用 requests 库获取指定网站的网页内容,并将其转换为 BeautifulSoup 对象。我们可以使用 BeautifulSoup 的 API 查找特定的内容,比如标题,进而对其进行处理。
阅读全文