Python爬虫：测试爬取网页100次的耗时

"爬取网页100次所需时间的Python爬虫实践" 在Python编程中，爬虫是一种用于自动抓取网页数据的技术，它广泛应用于数据分析、信息提取等领域。本示例是一个初级爬虫练习，旨在教授如何测量爬取特定网页100次所需的时间。代码使用了`requests`库进行网络请求，并结合`time`库来记录时间。 首先，我们导入了`requests`库，这是一个强大的Python HTTP客户端，用于发送HTTP/1.1请求。`time`库则提供了处理时间的函数，如`perf_counter()`，用于获取高精度的时间戳。 定义了一个名为`getHTMLtext`的函数，该函数接受一个URL作为参数。在函数内部，尝试使用`requests.get()`方法获取网页内容，设置了超时时间为30秒。`raise_for_status()`确保请求成功，即HTTP状态码为200，表示请求成功。接着，根据响应的`apparent_encoding`自动设置编码，然后返回网页的文本内容。如果在请求过程中出现异常，函数会返回一个错误提示字符串。 在主程序部分，我们设置了待爬取的URL，然后记录开始时间`start_time`。使用`for`循环执行100次`getHTMLtext(url)`，每次调用都会尝试获取指定URL的HTML文本。循环结束后，记录结束时间`end_time`。最后，计算总耗时`total_time`，即`end_time - start_time`，并打印出结果，保留3位小数。 这个简单的爬虫示例不仅展示了如何发送HTTP请求，还演示了如何处理异常、控制循环次数以及衡量执行效率。在实际的爬虫项目中，可能还需要考虑其他因素，如反爬机制、数据解析、多线程或异步请求等，以提高爬取速度和效率。对于初学者来说，这是一个很好的起点，可以在此基础上进一步学习和扩展。