帮我用python 写一个爬虫程序,要求源码有解析
时间: 2023-06-26 16:05:06 浏览: 99
一个用Python写的爬虫程序
好的,我可以帮你写一个简单的爬虫程序,以下是代码:
```python
import requests
from bs4 import BeautifulSoup
url = "http://www.example.com" # 要爬取的网址
# 发送请求并获取响应
response = requests.get(url)
html = response.text
# 解析HTML
soup = BeautifulSoup(html, "html.parser")
# 获取需要的内容
content = soup.find("div", {"class": "content"}).text
print(content)
```
这个程序可以爬取指定网址的HTML页面,并使用BeautifulSoup库解析HTML,最后获取需要的内容。你可以根据自己的需求修改代码。
阅读全文