网页源代码获取及保存

网页源代码获取通常是指通过编程手段从互联网上抓取HTML、XML或其他类型的文件内容。这通常用于爬虫技术、数据分析或自动化测试等场景。常见的方法有使用HTTP库（如Python的requests库）向网站发送GET请求，并接收返回的响应数据。

以下是一个简单的Python示例，演示如何使用requests库获取并保存网页源代码：

import requests

def get_html(url):
    response = requests.get(url)
    if response.status_code == 200:  # 检查请求是否成功
        with open('page_source.html', 'w', encoding='utf-8') as f:
            f.write(response.text)  # 将源代码保存到本地文件
    else:
        print(f"Failed to fetch the page. Status code: {response.status_code}")

get_html('https://www.example.com')

在这个例子中，我们首先发起一个HTTP GET请求到指定URL，然后检查状态码是否为200（表示成功），如果成功，则将服务器返回的HTML内容保存到名为`page_source.html`的文件中。

相关问题

python获取网页源代码

可以使用Python中的requests库来获取网页源代码，示例如下：

import requests

url = "http://example.com"  # 要获取源代码的网页地址
response = requests.get(url)
source_code = response.text  # 获取网页源代码

print(source_code)

这段代码将会发送一个GET请求到指定的URL，然后获取响应的源代码并打印到控制台。如果需要保存源代码到本地文件中，可以使用文件操作相关的Python库进行保存。

豆瓣电影TOP250由影迷评选出的250部电影的排行榜，为人们寻找好的电影提供一个参考。 本关任务：获取豆瓣电影Top250的所有网页源代码，并保存这些网页文件用于后面的信息提取。 任务分析： 1、网址 豆瓣电影TOP250共有十个网页，每个网页上展示了25部电影的简要信息。 首页网址 https://movie.douban.com/top250 第二页网址 https://movie.douban.com/top250?start=25&filter= 第三页网址 https://movie.douban.com/top250?start=50&filter= ...... 第十页网址 https://movie.douban.com/top250?start=225&filter= 2、获取方法：采用requests库进行源码获取，得到的文件保存到step1/webpages文件夹中。 重要提示：不要反复多次爬取，防止IP被封！ 编程要求 根据提示，请勿修改已有代码，在右侧编辑器 Begin-End 之间补充代码，完成网页源码获取及保存文件的任务。要求将获取的十个网页代码保存到 step1/webpages/ 文件夹中，并分别顺序命名为 page0.txt, page1.txt, ... , page9.txt。每保存好一个网页文件，输出一条“文件保存成功！”的信息。 编程提示 需要为 request 库的 get 方法指定 headers 参数 header = {'User-Agent':'Chrome/81.0.4044.138 Safari/537.36'} #模拟浏览器头部信息 测试说明 平台会对你编写的代码进行测试。若代码正确，全部网页代码保存完毕，输出 十个网页成功保存！。 系统进行输出结果文本比对，只有全部文本相同才能通过本关测试。

# 已有代码，请勿修改
import requests

header = {'User-Agent':'Chrome/81.0.4044.138 Safari/537.36'} #模拟浏览器头部信息

# 循环遍历十个网页，获取源码并保存到文件
for i in range(10):
url = 'https://movie.douban.com/top250?start=' + str(i*25) + '&filter='
response = requests.get(url, headers=header)
filename = 'step1/webpages/page' + str(i) + '.txt'
with open(filename, 'w', encoding='utf-8') as f:
f.write(response.text)
print("文件保存成功！")

print("十个网页成功保存！")