我想自选适当的网址爬虫下载数据到本地,请你帮我编写一段网络爬虫程序
时间: 2024-09-29 21:16:10 浏览: 27
天气后报网爬虫及数据分析(python)
在网络爬虫编程中,通常我们会使用Python语言以及一些库,如`requests`用于发送HTTP请求获取网页内容,`BeautifulSoup`或`lxml`用于解析HTML文档提取所需数据。下面是一个简单的示例,演示如何用Python和`requests`下载网站上的HTML内容:
```python
import requests
def download_html(url):
# 发送GET请求
response = requests.get(url)
# 检查请求是否成功(状态码200表示成功)
if response.status_code == 200:
# 将响应内容保存到本地文件
with open('output.html', 'w', encoding='utf-8') as f:
f.write(response.text)
print(f"成功下载了 {url} 的内容并保存至 output.html")
else:
print(f"无法访问 {url}, 状态码: {response.status_code}")
# 替换为你想要抓取的URL
target_url = "http://example.com" # 这里只是一个示例,实际使用时替换为你需要的网址
download_html(target_url)
阅读全文