编写一个python爬虫代码
时间: 2024-04-21 15:16:39 浏览: 75
python 爬虫代码
以下是一个简单的Python爬虫代码,用于爬取指定网页的HTML代码,并将其保存到本地文件中:
```python
import requests
# 要爬取的网页URL
url = 'https://www.example.com'
# 发送HTTP GET请求
response = requests.get(url)
# 获取网页HTML代码
html = response.text
# 将HTML代码保存到本地文件
with open('output.html', 'w', encoding='utf-8') as f:
f.write(html)
```
该代码使用requests库发送HTTP GET请求来获取指定网页的HTML代码,并将其保存到本地文件output.html中。你可以将url修改为你想要爬取的网页URL,也可以将输出文件名修改为你喜欢的名称。需要注意的是,爬取网页时需要遵守robots协议和网站的使用规则,不要过度请求或者非法爬取数据。
阅读全文