给我写一个爬取网页的爬虫
时间: 2023-12-15 19:04:18 浏览: 144
当然可以!以下是一个使用Python编写的简单网页爬虫示例:
```python
import requests
def get_html(url):
response = requests.get(url)
return response.text
# 示例:爬取CSDN博客首页
url = 'https://www.csdn.net/'
html = get_html(url)
print(html)
```
这个示例使用了Python的requests库来发送HTTP请求并获取网页内容。`get_html()`函数接受一个URL参数,返回该URL对应的网页内容。在示例中,我们使用了CSDN博客的首页作为示例URL,并打印了获取到的网页内容。
请注意,爬取网页时需遵守相关法律法规和网站的使用条款,确保合法合规使用爬虫。
阅读全文