python爬虫爬取网页数据代码
时间: 2023-10-06 08:08:59 浏览: 234
爬虫抓取网页数据
下面是一个简单的Python爬虫爬取网页数据的代码示例:
```python
import requests
# 发送 GET 请求
response = requests.get('http://www.example.com')
# 打印响应内容
print(response.text)
# 保存响应内容到文件
with open('example.html', 'w', encoding='utf-8') as f:
f.write(response.text)
```
需要注意的是,爬虫需要遵守网站的爬虫协议,不得进行恶意爬取。此外,还需要注意防止爬虫被反爬措施拦截,例如使用代理、随机 User-Agent 等技术手段。
阅读全文